카운터팩추얼 VLM을 이용한 환각 문제 해결: 인과적 접근

본 기사는 시각-언어 모델(VLMs)의 환각 문제를 인과적 관점에서 해결하는 새로운 연구에 대해 다룹니다. 연구진은 환각을 유발하는 요인을 분석하고, 이를 해결하기 위한 세 가지 단계의 접근법을 제시했습니다. 실험 결과, 이 접근법은 환각을 크게 줄이면서 성능을 유지하여 VLMs의 신뢰성을 향상시키는 것으로 나타났습니다. 연구팀은 코드를 공개하여 접근성과 재현성을 높였습니다.

자율주행부터 의료 영상 분석까지, 시각-언어 모델의 한계를 넘어서

최근 급속도로 발전하는 시각-언어 모델(VLMs)은 이미지 캡션 생성, 시각적 질문 응답, 추론 등 다양한 다중 모달 작업에서 뛰어난 성능을 보여주고 있습니다. 하지만 VLMs는 때때로 시각적 맥락이나 프롬프트와 일치하지 않는 환각 출력을 생성하는 문제점을 가지고 있습니다. 이는 자율 주행이나 의료 영상 분석과 같이 신뢰성이 매우 중요한 응용 분야에서는 치명적인 단점이 될 수 있습니다.

기존 연구들은 환각 문제를 통계적 편향, 언어적 사전 지식, 편향된 특징 학습 등으로 설명해왔지만, 체계적인 인과적 이해는 부족했습니다. Shawn Li 등 연구진(2025)은 이러한 문제를 해결하기 위해 인과적 관점을 도입한 획기적인 연구를 발표했습니다. 그들의 연구는 VLMs의 환각이 시각 또는 언어 모드 중 하나의 의도치 않은 직접적인 영향으로 인해 발생한다는 가설을 제시하고 있습니다. 즉, 적절한 다중 모드 융합을 거치지 않고, 한쪽 모드의 정보가 결과에 직접적으로 영향을 미치는 현상을 지적한 것입니다.

세 가지 단계로 환각을 극복하다:

연구진은 이 가설을 검증하고 환각 문제를 완화하기 위해 세 가지 단계로 구성된 새로운 접근법을 제시했습니다.

1. 구조적 인과 그래프 설계: 올바른 융합 경로와 잘못된 모드 단축 경로를 구별하기 위해 VLMs에 대한 구조적 인과 그래프를 설계합니다. 이를 통해 시각 및 언어 정보의 흐름과 상호작용을 명확하게 파악합니다.
2. 모드별 및 교차 모드 NDE(Natural Direct Effect) 추정: 변형된 이미지 표현, 환각된 텍스트 임베딩, 저하된 시각 입력을 사용하여 모드별 및 교차 모드 NDE를 추정합니다. NDE는 각 모드가 출력에 미치는 직접적인 영향을 정량적으로 측정하는 지표입니다.
3. 테스트 시간 개입 모듈 구현: 각 모드에 대한 모델의 의존성을 동적으로 조절하는 테스트 시간 개입 모듈을 구현합니다. 이 모듈은 NDE 추정 결과를 바탕으로, 환각을 유발하는 모드의 영향을 줄이고 진정한 다중 모드 융합에 기반한 응답을 생성하도록 모델을 제어합니다.

놀라운 결과와 공개된 코드:

실험 결과는 이 접근법이 환각을 상당히 감소시키면서 작업 성능을 유지함을 보여줍니다. 이는 VLMs의 신뢰성을 크게 향상시킬 수 있는 강력하고 해석 가능한 프레임워크임을 의미합니다. 더욱이, 연구진은 접근성과 재현성을 높이기 위해 코드를 공개적으로 제공하고 있습니다 (https://github.com/TREE985/Treble-Counterfactual-VLMs).

이 연구는 VLMs의 환각 문제를 해결하는 데 있어 중요한 이정표를 세웠으며, 앞으로 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다. 이러한 발전은 자율 주행 자동차, 의료 영상 분석, 그리고 더 나아가 인간과 AI의 상호 작용 전반에 걸쳐 긍정적인 영향을 미칠 것입니다.