딥러닝 모델의 편향, 사전 훈련 데이터가 핵심?

CLIP 기반 비전-언어 모델의 내재적 편향에 대한 대규모 연구 결과, 사전 훈련 데이터셋의 선택이 편향에 가장 큰 영향을 미치며, 성능 향상을 위한 필터링은 오히려 편향을 증폭시킬 수 있음을 밝혔습니다. 내재적 편향과 downstream 성능 간의 높은 상관관계 또한 확인되었습니다.

최근 Kshitish Ghate 등 연구진이 발표한 논문에 따르면, CLIP(Contrastive Language Image Pre-training) 프레임워크 기반의 비전-언어 모델이 내재적인 사회적 편향을 가지고 있다는 사실이 밝혀졌습니다. 이 연구는 기존 연구들과 달리, CLIP 모델의 사전 훈련 요소와 downstream 성능이 내재적 편향과 어떻게 연결되는지에 대한 가장 포괄적인 분석을 제공합니다.

연구진은 26개의 데이터셋을 사용하여 55가지 아키텍처로 다양한 크기의 131개 CLIP 모델을 분석했습니다. 26가지의 unimodal 및 cross-modal Embedding Association Tests를 사용하여 각 모델의 편향을 평가한 결과, 놀라운 사실이 드러났습니다.

가장 중요한 발견은 사전 훈련 데이터셋의 선택이 편향에 가장 큰 영향을 미친다는 것입니다. 아키텍처의 변화는 편향에 미치는 영향이 미미했습니다. 흥미롭게도, downstream 모델 성능 향상을 목표로 정교한 필터링 기법을 사용하여 엄선된 데이터셋일수록 내재적 편향의 수준이 더 높았습니다. 이는 성능 향상을 위해 최적화된 모델이 대표성 편향을 무의식적으로 증폭시킬 수 있음을 시사합니다.

또한, 내재적 편향과 downstream 성능 간에는 상당한 상관관계(0.3 ≤ r ≤ 0.8)가 존재한다는 사실이 밝혀졌습니다. 즉, 모델의 성능이 향상될수록 편향 또한 증폭될 가능성이 높다는 것을 의미합니다. 더욱이, unimodal과 cross-modal association tests 비교를 통해 사회적 그룹 편향이 모달리티에 따라 크게 달라진다는 것을 발견했습니다.

결론적으로, 이 연구는 비전-언어 모델의 내재적 편향을 해결하기 위해서는 모델 개발 파이프라인 전반에 걸쳐 더욱 정교한 전략이 필요함을 시사합니다. 단순히 성능만을 최적화하는 것이 아니라, 편향을 줄이기 위한 노력이 모델 개발 초기 단계부터 필수적임을 강조합니다. 향후 연구에서는 사전 훈련 데이터셋의 구성과 필터링 기법에 대한 더욱 심도있는 연구가 필요할 것으로 예상됩니다. 이러한 연구를 통해 보다 공정하고 윤리적인 AI 모델 개발에 기여할 수 있을 것입니다.

연구진: Kshitish Ghate, Isaac Slaughter, Kyra Wilson, Mona Diab, Aylin Caliskan