MM-IQ: 인간 수준의 추상적 사고와 추론 능력을 평가하는 새로운 척도

Huanqia Cai, Yijun Yang, Winston Hu 등 연구진이 개발한 MM-IQ 벤치마크는 AI 모델의 인간 수준 추상적 사고 및 추론 능력 평가에 새로운 기준을 제시하며, 최첨단 AI 모델조차 인간의 능력에 크게 못 미친다는 사실을 밝혀냈습니다. 이는 AI 연구에 새로운 패러다임 전환이 필요함을 시사합니다.

인공지능의 지능, 과연 인간과 얼마나 가까울까요?

인간의 지능을 측정하는 지능지수(IQ) 검사는 언어 능력이나 특정 분야 지식과 무관하게 추상적 사고와 추론 능력을 평가하는 데 초점을 맞춰 왔습니다. 그러나 인공지능(AI) 분야에서는 다중 모달(Multimodal) 시스템의 이러한 핵심 능력을 측정하는 체계적인 벤치마크가 부족했습니다.

Cai, Yang, Hu 연구진의 획기적인 제안: MM-IQ

이러한 문제를 해결하고자 Huanqia Cai, Yijun Yang, Winston Hu를 포함한 연구진은 8가지 추론 패러다임에 걸쳐 2,710개의 엄선된 문제로 구성된 포괄적인 평가 프레임워크, MM-IQ를 제안했습니다. MM-IQ는 AI 모델이 인간처럼 추상적인 문제를 해결하고 추론할 수 있는 능력을 객관적으로 평가할 수 있도록 설계되었습니다. 이는 기존의 AI 평가 방식과는 차별화되는 접근 방식으로, 단순한 성능 측정을 넘어, AI의 인지 능력을 심층적으로 분석하는 데 기여할 것으로 기대됩니다.

충격적인 결과: 최첨단 AI도 인간 수준에는 턱없이 부족

연구진은 MM-IQ를 이용하여 주요 오픈소스 및 상용 다중 모달 모델을 평가했습니다. 그 결과는 놀라웠습니다. 최첨단 아키텍처조차도 우연보다 약간 나은 27.49%의 정확도를 보였을 뿐입니다. (기준 정확도: 25%) 이는 현재의 다중 모달 시스템이 인간의 기본적인 추론 능력을 제대로 모방하지 못한다는 것을 시사합니다. 인간의 지능과 AI의 지능 사이에는 여전히 엄청난 격차가 존재한다는 것을 보여주는 결과입니다.

새로운 패러다임의 필요성

이 연구는 단순한 벤치마크 발표를 넘어, AI 발전을 위한 새로운 패러다임의 전환을 촉구합니다. 인간 수준의 추론 능력을 갖춘 AI를 개발하기 위해서는 기존의 접근 방식을 넘어서는 혁신적인 연구가 필요하다는 메시지를 던집니다. MM-IQ는 이러한 혁신적인 연구를 위한 중요한 이정표가 될 것으로 예상됩니다. 앞으로 MM-IQ를 기반으로 한 연구들이 AI의 인지 능력 향상에 중요한 기여를 할 것으로 기대됩니다.