멀티모달 AI, 공간을 이해하다: VSI-Bench가 밝히는 놀라운 가능성
본 연구는 다중모달 대형 언어 모델(MLLM)의 시각-공간 지능을 평가하기 위한 새로운 벤치마크(VSI-Bench)를 제시하고, MLLM의 공간적 추론 능력 향상을 위한 새로운 접근법으로 인지 지도 생성의 효과를 밝혔습니다. 기존 언어적 추론 기법의 한계를 극복하고, MLLM의 공간 이해 능력을 향상시키는 중요한 연구 결과입니다.

멀티모달 AI, 공간을 이해하다: VSI-Bench가 밝히는 놀라운 가능성
인간은 시각적 관찰을 통해 공간을 기억하는 놀라운 능력을 지니고 있습니다. 하지만 수백만 개의 비디오 데이터로 훈련된 다중모달 대형 언어 모델(MLLM)도 과연 비디오를 통해 공간을 '생각'할 수 있을까요?
양지한, 양수성, 굽타안잘리, 한릴린, 페이페이리, 사이닝시에 등 연구진은 이 질문에 답하기 위해 5,000개 이상의 질의응답 쌍으로 구성된 새로운 비디오 기반 시각-공간 지능 벤치마크(VSI-Bench)를 개발했습니다. 연구 결과, MLLM은 인간 수준에는 미치지 못하지만, 놀랍게도 경쟁력 있는 시각-공간 지능을 보여주었습니다.
연구진은 MLLM이 공간을 어떻게 생각하는지 언어적, 시각적으로 분석했습니다. 그 결과, 공간적 추론 능력이 MLLM의 성능 향상에 가장 큰 걸림돌이지만, 모델 내에서 지역적 세계 모델과 공간 인식이 나타난다는 것을 발견했습니다. 흥미롭게도, 기존의 사고연쇄(chain-of-thought), 자기일관성(self-consistency), 사고트리(tree-of-thoughts)와 같은 언어적 추론 기법들은 성능 향상에 기여하지 못했습니다. 반면, 질의응답 과정에서 인지 지도를 명시적으로 생성하는 방법은 MLLM의 공간적 거리 인식 능력을 향상시켰습니다.
이 연구는 MLLM의 시각-공간 지능의 한계와 가능성을 동시에 보여줍니다. 공간적 추론 능력 향상이라는 과제가 남아있지만, 인지 지도 생성과 같은 새로운 접근법은 MLLM의 시각적 이해와 공간적 사고 능력을 한 단계 끌어올릴 수 있는 중요한 전환점이 될 것입니다. VSI-Bench는 앞으로 MLLM의 시각-공간 지능 발전에 중요한 기준점이 될 것으로 기대됩니다. 이를 통해 더욱 발전된 AI 시스템 개발이 가속화되고, 우리 주변의 세계를 더욱 정교하게 이해하고 상호작용하는 AI의 등장을 앞당길 수 있을 것입니다.
주요 연구진: 양지한, 양수성, 굽타안잘리, 한릴린, 페이페이리, 사이닝시에 핵심 내용: VSI-Bench 개발 및 MLLM의 공간적 사고 능력 평가, 인지 지도 생성을 통한 성능 향상
Reference
[arxiv] Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces
Published: (Updated: )
Author: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie
http://arxiv.org/abs/2412.14171v1