획기적인 연구: AI의 공간 지능, 인간과 얼마나 다를까?

본 연구는 인간의 공간 지능과 AI의 공간 지능을 비교 분석한 최초의 연구로, AI가 인간에 비해 공간 능력이 현저히 낮다는 것을 밝혔습니다. 모델의 크기가 성능과 비례하지 않으며, 기존 학습 방법의 한계를 극복하기 위해서는 모델 구조 개선이 필요함을 시사합니다.

AI의 공간 지능, 인간과 얼마나 다를까?

최근, 중국 연구진(Xu, Lyu, Wang, Feng, Gao & Li)이 발표한 논문이 AI 업계에 큰 파장을 일으키고 있습니다. 논문 제목은 "시각 언어 모델의 기본 공간 능력 정의 및 평가: 심리측정학적 관점" 입니다. 이 연구는 인간의 공간 지능과 AI의 공간 지능을 비교 분석한 최초의 시도라는 점에서 주목할 만합니다.

다중 지능 이론을 바탕으로 한 5가지 기본 공간 능력

연구진은 다중 지능 이론에 기반하여 시각 언어 모델(VLMs)의 기본 공간 능력(BSAs)을 5가지로 정의했습니다. 바로 공간 지각, 공간 관계, 공간 방향, 정신 회전, 공간 시각화입니다. 이는 인간의 공간 지능을 평가하는 기존 심리측정학적 방법론을 AI에 적용한 획기적인 시도입니다.

놀라운 실험 결과: AI는 인간보다 훨씬 뒤쳐져 있다?

13개의 주요 VLMs를 대상으로 9가지 검증된 심리측정 실험을 수행한 결과, 놀랍게도 AI는 인간에 비해 공간 능력이 현저히 낮은 것으로 나타났습니다. 평균 점수는 인간이 68.38점인 반면, AI는 24.95점에 불과했습니다. 흥미롭게도, AI는 인간과 마찬가지로 2D 방향 감각은 강하지만 3D 회전 능력은 매우 약한 것으로 나타났습니다. 또한, 각 BSA는 서로 독립적인 특징을 보였습니다 (피어슨 상관계수 r<0.4).

모델 크기가 전부는 아니다: 작은 모델의 역습

더욱 놀라운 사실은 모델의 크기와 성능이 반드시 비례하지 않는다는 점입니다. Qwen2-VL-7B와 같이 작은 모델이 Qwen-7B와 같은 큰 모델보다 더 나은 성능을 보였습니다. 특히, Qwen 시리즈는 30.82점으로 높은 점수를 기록했지만, InternVL2는 19.6점으로 저조한 성적을 보였습니다. 이는 단순히 모델의 크기만으로는 공간 지능을 평가할 수 없다는 것을 시사합니다.

한계 극복을 위한 노력: 사고 연쇄와 5-shot 학습

연구진은 사고 연쇄(chain-of-thought) 및 5-shot 학습과 같은 방법을 통해 AI의 공간 능력을 향상시키려는 시도를 했습니다. 하지만, 이러한 방법은 제한적인 효과(각각 0.100 및 0.259의 정확도 향상)만 보였습니다. 이는 AI의 공간 지능 향상을 위해서는 단순한 학습 방법 개선만으로는 부족하며, 모델의 기본적인 구조적인 개선이 필요함을 시사합니다. 구체적으로, 약한 기하학적 인코딩과 부족한 동적 시뮬레이션 능력이 주요 장애물로 지목되었습니다.

미래를 위한 청사진: 인간 수준의 공간 지능을 향하여

이 연구는 단순한 성능 평가를 넘어, 인간 수준의 공간 지능을 갖춘 AI 개발을 위한 중요한 이정표를 제시했습니다. 심리측정학적 BSA를 VLM의 능력과 연결하여 공간 지능 평가를 위한 진단 도구, 구체적인 AI 개발 방법론, 그리고 인지 과학에 기반한 로드맵을 제공합니다. 앞으로 AI의 공간 지능 향상을 위한 연구는 더욱 활발해질 것으로 예상됩니다.