AI의 그림자: 시각언어 모델이 드러낸 인종적 편향성
메시 H. J. 리와 전소연 연구원의 연구는 시각언어 모델(VLMs)의 인종적 편향성, 특히 어두운 피부색을 가진 흑인에 대한 획일적인 묘사를 밝혀냈습니다. 이는 AI 시스템 내 편향의 심각성과 추가 연구의 필요성을 강조합니다.

최근, 메시 H. J. 리와 전소연 연구원이 발표한 논문이 충격적인 결과를 담고 있습니다. **'시각언어 모델(VLMs)이 어두운 피부색을 가진 흑인 개체를 밝은 피부색을 가진 흑인 개체보다 더 획일적으로 표현한다'**는 내용입니다. 이는 단순한 기술적 오류가 아닌, AI 시스템 내에 깊숙이 자리 잡은 인종적 편향성을 적나라하게 보여줍니다.
VLMs는 대규모 언어 모델(LLM)의 기능과 이미지 처리 능력을 결합하여 이미지 캡션 생성이나 텍스트-이미지 생성 등 다양한 작업을 수행합니다. 하지만 이러한 기술의 발전에도 불구하고, 인간의 편견을 그대로 반영하고 증폭시킬 가능성에 대한 우려가 끊이지 않았습니다. 특히, 어두운 피부색을 가진 사람들에 대한 부정적인 고정관념이 더 강하게 나타나는 '피부색 편향'은 사회과학 분야에서 잘 알려져 있지만, AI, 특히 VLMs에서는 아직 충분히 연구되지 않았습니다.
연구팀은 GAN Face Database를 사용하여 피부색을 제외한 다른 특징은 동일하게 유지하면서 피부색 변화를 조절한 흑인 남녀 이미지를 생성했습니다. 이후 VLMs를 이용하여 이러한 얼굴에 대한 이야기를 생성하고, 생성된 이야기의 균질성을 비교 분석했습니다. 그 결과, 놀랍게도 네 개의 모델 중 세 개에서 어두운 피부색을 가진 흑인에 대한 이야기가 밝은 피부색을 가진 흑인에 대한 이야기보다 훨씬 더 획일적이었습니다. 또한, 모든 모델에서 흑인 여성이 남성보다 훨씬 더 획일적으로 묘사되었습니다.
상호 작용 효과 분석 결과, 두 개의 VLMs에서는 피부색이 여성에게 더 큰 영향을 미치는 것으로 나타났으며, 나머지 두 개의 모델에서는 유의미한 결과가 나타나지 않았습니다. 이는 사회적으로 알려진 고정관념과 일치하는 결과입니다.
이 연구는 단일 모달리티 AI 시스템의 편향이 다중 모달리티 모델로 전파될 수 있음을 강조하며, AI의 교차적 편향을 해결하기 위한 추가 연구의 필요성을 보여줍니다. AI 기술의 발전과 함께, 우리는 이러한 편향을 극복하고 더욱 공정하고 윤리적인 AI 시스템을 구축하기 위한 노력을 끊임없이 기울여야 할 것입니다. 이는 단순히 기술적 문제가 아닌, 사회적 정의와 공정성을 위한 필수적인 과제입니다.
Reference
[arxiv] Vision-Language Models Represent Darker-Skinned Black Individuals as More Homogeneous than Lighter-Skinned Black Individuals
Published: (Updated: )
Author: Messi H. J. Lee, Soyeon Jeon
http://arxiv.org/abs/2412.09668v1