혁신적인 공간 지각 능력 평가 벤치마크, SAT: AI의 공간 지능을 깨우다
Arijit Ray 등 연구진이 개발한 새로운 공간 지각 능력 평가 벤치마크 SAT는, 기존 MLM의 한계를 극복하고 동적 공간 추론 능력 향상에 기여할 것으로 기대됩니다. 합성 이미지 기반의 대규모 데이터셋과 instruction-tuning을 통해, 13B 모델이 GPT4-V, Gemini-3-1.0과 유사한 성능을 달성했습니다.

인공지능(AI) 분야에서 획기적인 발전이 이루어지고 있지만, 여전히 AI에게는 넘어야 할 산이 존재합니다. 바로 '공간 지각 능력'입니다. 물체의 상대적 위치를 파악하는 정적인 공간 추론은 어느 정도 가능하지만, 관점 전환이나 자기 중심적인 행동 인식과 같은 동적인 공간 추론은 아직 미흡한 수준입니다. 하지만 최근, 이러한 한계를 극복하기 위한 혁신적인 연구 결과가 발표되었습니다.
Arijit Ray 등 연구진이 개발한 SAT (Spatial Aptitude Training) 은 기존의 정적 공간 추론 테스트를 넘어, 더욱 동적인 공간 추론 능력을 평가하는 새로운 벤치마크입니다. SAT는 실제 세계 적용에 필요한 동적인 공간 지각 능력을 평가하기 위해 고안되었으며, 22,000개의 합성 장면을 기반으로 218,000개의 질의응답 쌍으로 구성되어 있습니다.
흥미로운 점은 SAT의 데이터가 사진처럼 사실적인 물리 엔진을 사용하여 생성되었다는 것입니다. 이는 SAT를 손쉽게 확장하여 새로운 행동, 장면, 3D 자산을 추가할 수 있다는 것을 의미하며, 연구자들에게 폭넓은 활용 가능성을 제공합니다.
연구 결과, 기존의 정적 공간 추론 질문에서는 상대적으로 높은 성능을 보였던 MLM들도 SAT의 동적 공간 추론 질문에서는 어려움을 겪는 것으로 나타났습니다. 하지만 연구진은 SAT를 사용한 instruction-tuning을 통해 이러한 한계를 극복할 수 있음을 보여주었습니다. SAT 기반 instruction-tuning은 CVBench (23%), BLINK (8%), VSR (18%) 등 기존 실제 이미지 공간 벤치마크에서 눈에 띄는 성능 향상을 가져왔습니다.
더욱 놀라운 것은, SAT로 instruction-tuning된 13B 모델이 GPT4-V나 Gemini-3-1.0과 같은 대규모 독점 MLM과 공간 추론 성능에서 비슷한 수준을 달성했다는 점입니다. 이는 SAT가 MLM의 공간 지각 능력 향상에 매우 효과적인 도구임을 시사합니다.
연구진은 SAT 데이터와 코드를 공개하여(http://arijitray1993.github.io/SAT/) 다른 연구자들의 참여와 발전을 독려하고 있습니다. SAT는 AI의 공간 지능 발전에 중요한 이정표를 세웠을 뿐만 아니라, 더욱 발전된 AI 시스템 개발에 중요한 역할을 할 것으로 기대됩니다. 앞으로 SAT를 기반으로 한 연구들이 AI의 공간 지각 능력 향상에 어떤 기여를 할지 주목할 만합니다.
Reference
[arxiv] SAT: Spatial Aptitude Training for Multimodal Language Models
Published: (Updated: )
Author: Arijit Ray, Jiafei Duan, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko
http://arxiv.org/abs/2412.07755v1