잊혀진 다각형들: 시각-언어 모델의 '도형맹' 문제

최근 연구에 따르면 최첨단 다중 모달 대형 언어 모델(MLLM)이 시각적 수학 문제 해결, 특히 도형 인식에서 심각한 어려움을 겪는 것으로 나타났습니다. 이는 MLLM이 직관적인 사고에 의존하기 때문이며, 시각적 단서를 활용한 프롬프팅 기법이 이 문제를 해결하는 데 도움이 될 수 있음을 시사합니다.

최근 윌리엄 러드먼(William Rudman) 등 연구진이 발표한 논문 "Forgotten Polygons: Multimodal Large Language Models are Shape-Blind"는 다중 모달 대형 언어 모델(MLLM)의 놀라운 취약점을 드러냅니다. 인상적인 시각-언어 작업 성능에도 불구하고, MLLM은 수학적 문제 해결, 특히 시각적 수학 벤치마크에서 인간의 능력을 크게 밑돌고 있다는 것입니다. 이는 마치 인공지능이 '도형맹'을 앓고 있는 듯한 모습입니다.

연구진은 MLLM의 기하학적 원형 이해 능력을 평가하고 다단계 추론 능력을 검증했습니다. 결과는 충격적입니다. 최첨단 모델조차도 정다각형을 식별하는 정확도가 50% 미만에 그쳤습니다. 이는 단순한 실수가 아닌, MLLM의 근본적인 한계를 보여줍니다.

연구진은 이러한 실패를 '이중 과정 이론'의 관점에서 분석했습니다. MLLM은 신중한 추론을 담당하는 '시스템 2' 대신, 직관적이고 기억에 의존하는 '시스템 1'에 의존한다는 것입니다. 결과적으로, MLLM은 익숙한 도형과 새로운 도형 모두의 변의 개수를 제대로 세지 못합니다. 이는 MLLM이 '변'의 개념을 학습하지 못했거나 시각적 입력을 효과적으로 처리하지 못한다는 것을 의미합니다.

하지만 희망적인 부분도 있습니다. 연구진은 다이어그램의 시각적 주석을 명시적으로 참조하여 다단계 수학적 추론을 향상시키는 '시각적 단서를 활용한 사고 과정(Visually Cued Chain-of-Thought, VC-CoT)' 프롬프팅 기법을 제안했습니다. 이 기법을 통해 GPT-4o의 불규칙 다각형 변의 개수 세기 작업 정확도가 7%에서 93%로 획기적으로 향상되었습니다.

결론적으로, MLLM의 시스템 2 추론 능력은 여전히 해결해야 할 과제이며, 시각적 안내 프롬프팅은 시각적 추론을 성공적으로 수행하는 데 필수적입니다. 이 연구는 MLLM의 발전 방향을 제시하는 동시에, 우리가 얼마나 깊이 인공지능의 한계를 이해해야 하는지를 일깨워줍니다. 연구 코드는 https://github.com/rsinghlab/Shape-Blind에서 확인할 수 있습니다.