MageBench: 거대 다중모달 모델의 에이전트 능력을 평가하다
Microsoft 연구팀이 개발한 MageBench는 거대 다중 모달 모델(LMM)의 에이전트 능력을 평가하는 새로운 벤치마크입니다. 다양한 환경과 시나리오를 통해 LMM의 추론 및 계획 능력을 종합적으로 평가하며, 현재 LMM의 한계와 향후 연구 방향을 제시합니다.

최근 괄목할 만한 발전을 이룬 거대 다중 모달 모델(Large Multimodal Model, LMM)은 뛰어난 시각적 이해 능력을 보여주고 있습니다. 하지만 이러한 잠재력을 실제 에이전트에 적용하기 위해서는 강력한 추론 및 계획 능력이 필수적입니다. 기존 벤치마크들은 주로 언어적 추론 능력에 초점을 맞춰 왔지만, Microsoft 연구팀이 개발한 MageBench는 이러한 한계를 극복하고자 등장했습니다.
MageBench는 시각적 신호가 지속적으로 업데이트되고 의사결정 과정에 필요한, '시각-연쇄 추론(vision-in-the-chain reasoning)' 패러다임을 중심으로 설계되었습니다. 이는 실제 다중 모달 에이전트의 요구사항에 더욱 부합하는 평가 방식입니다. 웹 UI, 소코반, 축구 등 세 가지 유형의 환경으로 구성된 MageBench는 총 483개의 다양한 시나리오를 제공하며, 에이전트의 지식 및 엔지니어링 능력, 시각적 지능, 상호작용 기술을 종합적으로 평가합니다.
흥미롭게도, MageBench의 결과는 현재의 최첨단 LMM들이 무작위 행동보다 나은 성능을 보이는 경우가 드물며, 인간 수준에는 훨씬 못 미친다는 것을 보여줍니다. 특히, 시각적 피드백에 기반한 계획 수정 능력, 시각적 상상력, 이미지와 텍스트 간의 장기 문맥 처리 능력 등에서 심각한 부족함이 드러났습니다. 이는 LMM의 에이전트로서의 활용 가능성에 대한 중요한 시사점을 제공합니다.
MageBench는 LMM 개발에 있어 새로운 방향을 제시합니다. 시각적 피드백을 효과적으로 활용하고, 장기적인 시각-언어적 문맥을 처리하는 능력을 향상시키는 연구가 앞으로 더욱 중요해질 것입니다. Microsoft 연구팀은 MageBench의 코드와 데이터를 공개하여 (https://github.com/microsoft/MageBench) 더 많은 연구자들이 참여하고 발전시킬 수 있도록 지원하고 있습니다. 이를 통해 LMM 기반 에이전트 기술의 발전에 크게 기여할 것으로 기대됩니다.
요약: MageBench는 LMM의 에이전트로서의 능력을 실제적인 시나리오를 통해 평가하는 혁신적인 벤치마크입니다. 그 결과는 현재 LMM의 한계를 명확히 보여주며, 향후 연구 방향을 제시하는 중요한 이정표가 될 것입니다.
Reference
[arxiv] MageBench: Bridging Large Multimodal Models to Agents
Published: (Updated: )
Author: Miaosen Zhang, Qi Dai, Yifan Yang, Jianmin Bao, Dongdong Chen, Kai Qiu, Chong Luo, Xin Geng, Baining Guo
http://arxiv.org/abs/2412.04531v1