MOAT: 거대 다중 모달 모델의 한계를 넘어서 - 인간 수준의 지능 향상을 위한 새로운 기준

Ye Zhoutong 등 연구진이 개발한 MOAT 벤치마크는 복잡한 실제 세계 작업에서 거대 다중 모달 모델(LMM)의 한계를 드러냈습니다. 인간의 성능(82.7%)과 최고 LMM(38.8%)의 차이는 LMM의 지능 수준 향상을 위한 지속적인 연구개발의 필요성을 강조합니다. MOAT는 LMM의 10가지 기본 VL 기능을 평가하여 향후 모델 개선에 중요한 정보를 제공합니다.

최근 눈부신 발전을 거듭하고 있는 거대 다중 모달 모델(LMM)은 시각-언어(VL) 작업에서 뛰어난 능력을 선보이고 있습니다. 하지만 Ye Zhoutong 등 연구진이 발표한 논문, "MOAT: Evaluating LMMs for Capability Integration and Instruction Grounding"에 따르면, 복잡한 작업, 특히 여러 기본 VL 기능을 통합하거나 복잡한 지시 사항을 이해하고 적용해야 하는 작업에서는 여전히 인간의 수준에 크게 미치지 못하는 것으로 나타났습니다.

인간과 AI의 격차: MOAT 벤치마크의 등장

연구진은 이러한 인간-LMM 간의 성능 차이와 그 원인을 규명하기 위해 MOAT라는 새로운 벤치마크를 제시했습니다. MOAT는 LMM에게 까다로운 과제를 제시하는 실제 세계 VL 작업으로 구성되어 있습니다. 텍스트 읽기, 숫자 세기, 공간 관계 이해, 텍스트 및 시각적 지시 사항 적용 등 10가지 기본 VL 기능을 통합해야 하는 복합적인 문제 해결 능력을 평가합니다. 이를 통해 LMM의 강점과 약점을 세밀하게 분석할 수 있습니다.

특히 MOAT는 복잡한 텍스트와 시각적 지시 사항을 이해하고 적용하는 LMM의 능력을 명시적으로 평가하는 최초의 벤치마크입니다. 이는 많은 실제 응용 분야에서 매우 중요한 요소입니다.

충격적인 결과: 인간과 AI의 성능 차이

20개 이상의 독점 및 오픈 소스 LMM과 인간을 대상으로 MOAT 평가를 실시한 결과, 인간은 82.7%의 정확도를 달성한 반면, 최고 성능을 기록한 LMM(OpenAI o1)은 38.8%에 그쳤습니다. 이는 LMM이 인간 수준의 지능에 도달하기 위해서는 아직 극복해야 할 과제가 많다는 것을 시사합니다.

향후 연구 방향: LMM의 발전을 위한 단서

연구진은 결과 분석을 통해 LMM의 성능 향상을 위한 중요한 통찰력을 제공합니다. 복잡한 작업에서 어떤 VL 기능이 병목 현상을 일으키는지, 테스트 시간 확장이 MOAT 성능을 향상시키는지, 타일링 전략이 LMM의 숫자 세기 능력에 어떤 영향을 미치는지 등을 분석하여 향후 모델 개발 방향을 제시합니다. MOAT 벤치마크와 코드는 https://cambrian-yzt.github.io/MOAT 에서 확인할 수 있습니다.

MOAT는 LMM의 발전을 위한 중요한 이정표를 제시하며, 앞으로 인간 수준의 지능을 가진 AI 개발을 위한 연구 방향을 제시하는 중요한 결과입니다. 이 연구는 AI 기술의 한계와 잠재력을 동시에 보여주는 동시에, 지속적인 연구 개발을 통해 인간과 AI가 공존하는 미래를 만들어갈 수 있는 가능성을 제시합니다.