시각 언어 모델의 맹점: 텍스트에 대한 ‘맹신’

시각 언어 모델(VLMs)의 텍스트에 대한 과도한 의존으로 인한 성능 저하 및 안전 문제를 지적하고, 텍스트 증강을 통한 지도 학습 미세 조정 등 해결 방안을 제시하는 연구 결과를 소개합니다.

최근 Ailin Deng, Tri Cao, Zhirui Chen, Bryan Hooi 연구팀이 발표한 논문, "Words or Vision: Do Vision-Language Models Have Blind Faith in Text?"는 시각 언어 모델(VLMs)의 놀라운 취약점을 밝혀냈습니다. VLMs는 이미지와 텍스트를 통합하여 시각 중심 작업을 수행하는 데 탁월하지만, 이번 연구는 모달 간 불일치 상황에서 VLMs의 반응을 심층적으로 분석했습니다.

연구팀은 네 가지 시각 중심 과제에 다양한 텍스트 변형을 도입하여 10개의 VLMs를 평가했습니다. 그 결과, 충격적인 현상이 발견되었습니다. 바로 '텍스트에 대한 맹신' 입니다. VLMs는 시각 데이터와 텍스트 데이터가 불일치할 때 시각 데이터보다 텍스트 데이터를 과도하게 신뢰하는 경향을 보였습니다. 이는 텍스트가 훼손된 경우 성능 저하로 이어지며, 심각한 안전 문제를 야기할 수 있습니다.

연구팀은 이러한 텍스트 편향에 영향을 미치는 요인을 분석했습니다. 지시 프롬프트, 언어 모델 크기, 텍스트 관련성, 토큰 순서, 시각 및 텍스트의 신뢰도 상호 작용 등이 그 요인입니다. 흥미로운 점은 언어 모델의 크기를 키우는 것과 같은 일부 요인은 텍스트 편향을 완화하지만, 토큰 순서와 같이 언어 모델에서 상속된 위치 편향으로 인해 편향을 악화시키는 요인도 존재한다는 것입니다.

이 문제를 해결하기 위해 연구팀은 텍스트 증강을 통한 지도 학습 미세 조정을 시도했습니다. 그 결과, 텍스트 편향을 줄이는 데 효과적임을 확인했습니다. 더 나아가, 연구팀은 훈련 데이터에서 순수 텍스트 데이터와 다중 모달 데이터 간의 불균형이 '텍스트에 대한 맹신' 현상의 원인일 수 있다는 이론적 분석을 제시했습니다.

이 연구는 VLMs의 강건성과 신뢰성을 높이기 위해 균형 잡힌 훈련과 모달 상호 작용에 대한 신중한 고려가 필요함을 강조합니다. 단순히 성능만을 추구하는 것이 아니라, 모델의 안전성과 신뢰성을 확보하는 것이 얼마나 중요한지를 보여주는 중요한 연구 결과입니다. 앞으로 VLMs 개발에 있어서 이러한 취약점을 보완하고, 더욱 안전하고 신뢰할 수 있는 시스템을 구축하기 위한 노력이 필요합니다. 💯