잊혀진 다각형들: 다중모달 대규모 언어 모델의 '도형맹' 문제

다중모달 대규모 언어 모델(MLLM)이 시각적 수학 문제 해결에 어려움을 겪는다는 연구 결과가 발표되었습니다. 특히 기본적인 도형 인식에서조차 낮은 정확도를 보이며, 시각적 큐를 활용한 사고 과정(VC-CoT) 프롬프팅을 통해 성능 개선이 가능함을 시사합니다. 이는 MLLM의 시스템 2 추론 능력 향상을 위한 새로운 연구 방향을 제시합니다.

최근, 윌리엄 루드먼(William Rudman)을 비롯한 연구팀이 발표한 논문에서 충격적인 사실이 드러났습니다. 시각과 언어를 모두 처리하는 다중모달 대규모 언어 모델(MLLM)들이 시각적인 수학 문제 해결에 심각한 어려움을 겪고 있다는 것입니다. 이는 오픈소스 모델은 물론 최첨단 모델들까지 포함하는 놀라운 결과입니다.

연구팀은 MLLM의 시각-수학적 추론 능력을 체계적으로 조사하기 위해, 먼저 기본적인 기하학적 도형에 대한 이해도를 평가하고, 다단계 추론 능력을 테스트했으며, 시각적 추론 능력을 향상시키는 잠재적 해결책을 탐색했습니다. 그 결과는 충격적이었습니다. 최고 성능의 모델들조차도 규칙적인 다각형을 식별하는 데 50% 미만의 정확도를 기록했습니다. 이는 단순히 '잘못된 답변'을 넘어, 도형의 기본적인 개념조차 제대로 이해하지 못한다는 것을 의미합니다.

연구팀은 이러한 실패를 이중 과정 이론(dual-process theory)의 관점에서 분석했습니다. MLLM이 의도적인 추론을 담당하는 시스템 2가 아닌, 직관적이고 기억된 연관성에 의존하는 시스템 1에 의존한다는 것입니다. 익숙한 도형뿐만 아니라 새로운 도형의 변의 개수조차 제대로 세지 못하는 이유가 여기에 있습니다. 이는 MLLM이 '변'의 개념 자체를 학습하지 못했거나 시각 정보를 효과적으로 처리하지 못한다는 것을 시사합니다.

하지만 희망적인 부분도 있습니다. 연구팀은 시각적 큐를 활용한 사고 과정(Visually Cued Chain-of-Thought, VC-CoT) 프롬프팅이라는 새로운 방법을 제안했습니다. 도형에 대한 시각적 주석을 명시적으로 참조함으로써 다단계 수학적 추론을 향상시키는 방법입니다. 실제로, 이 방법을 사용하여 GPT-4의 불규칙 다각형 변의 개수 세기 작업 정확도를 7%에서 놀라운 93%까지 끌어올리는 데 성공했습니다.

결론적으로, 이 연구는 MLLM에서 시스템 2 추론이 여전히 해결해야 할 과제임을 강조하고 있습니다. 시각적으로 안내되는 프롬프팅은 시각적 추론을 성공적으로 활용하는 데 필수적이며, 앞으로 MLLM의 시각적 추론 능력 향상을 위한 새로운 연구 방향을 제시합니다. 연구 코드는 GitHub에서 확인할 수 있습니다.