EmbodiedBench: 시각 주도형 구현 에이전트를 위한 멀티모달 대규모 언어 모델의 종합적 벤치마크

본 기사는 MLLM 기반 구현 에이전트의 종합적 평가를 위한 새로운 벤치마크인 EmbodiedBench에 대해 소개합니다. 1128개의 다양한 과제와 6개의 하위 집합으로 구성된 EmbodiedBench는 MLLM의 강점과 약점을 명확히 드러내며, 미래 연구의 방향을 제시합니다. 특히, 고차원 작업에서는 우수한 성능을 보이는 반면, 저차원 작업에서는 어려움을 겪는다는 사실을 통해 향후 연구의 중요한 과제를 제시합니다.

EmbodiedBench: 현실 세계 문제 해결의 새로운 지평을 열다

실제 세계의 문제를 해결하기 위한 꿈, 바로 멀티모달 대규모 언어 모델(MLLM) 기반의 구현 에이전트입니다. 하지만, 지금까지는 이러한 에이전트의 성능을 종합적으로 평가할 수 있는 벤치마크가 부족했습니다. 이러한 한계를 극복하기 위해 Rui Yang 등 13명의 연구자들이 개발한 EmbodiedBench가 등장했습니다.

EmbodiedBench: 1128가지 과제의 도전

EmbodiedBench는 4가지 환경에서 총 1128개의 다양한 테스트 과제를 제공합니다. 고차원적인 의미론적 작업(예: 가사일)부터 저차원적인 원자적 행동(예: 이동 및 조작)까지, 다양한 난이도의 과제들이 포함되어 있습니다. 뿐만 아니라, 상식 추론, 복잡한 지시 이해, 공간 인식, 시각적 인지, 장기 계획 등 에이전트의 핵심 능력을 평가하기 위한 6개의 세분화된 하위 집합도 포함되어 있어, 에이전트의 성능을 다각적으로 분석할 수 있습니다.

GPT-4o도 넘지 못한 한계: 저차원 작업의 어려움

19개의 선도적인 독점 및 오픈소스 MLLM을 EmbodiedBench로 평가한 결과, 놀라운 사실이 발견되었습니다. MLLM은 고차원 작업에서는 뛰어난 성능을 보였지만, 저차원 조작 작업에서는 예상보다 훨씬 낮은 성능을 보였습니다. 최고 성능 모델인 GPT-4o조차 평균 28.9%의 점수에 그쳤습니다. 이는 MLLM 기반 에이전트의 발전을 위한 중요한 과제임을 시사합니다. 저차원 작업에서의 낮은 성능은 향후 연구 방향을 제시하는 중요한 단서가 됩니다.

EmbodiedBench: 미래를 향한 이정표

EmbodiedBench는 단순한 벤치마크를 넘어, MLLM 기반 구현 에이전트 연구의 새로운 이정표를 제시합니다. 다면적인 평가를 통해 기존의 한계를 명확히 드러내고, 앞으로 나아가야 할 방향을 제시하는 핵심적인 역할을 수행합니다. EmbodiedBench의 코드는 https://embodiedbench.github.io 에서 확인할 수 있습니다. 이를 통해 연구자들은 더욱 발전된 에이전트 개발에 박차를 가할 수 있을 것입니다.