일상생활 속 AI 계획 능력 평가: EgoPlan-Bench2 벤치마크
Lu Qiu 등 연구진이 개발한 EgoPlan-Bench2는 실제 세계 시나리오에서 MLLM의 계획 능력을 평가하는 벤치마크입니다. 21개의 MLLM을 평가한 결과, 실제 세계 계획에서의 어려움을 발견하고, 훈련 없이도 다중 모달 사고 연쇄 프롬프팅을 통해 성능을 향상시키는 방법을 제시했습니다.

일상생활 속 AI의 계획 능력: EgoPlan-Bench2 벤치마크 소개
인공지능(AI) 분야에서 멀티모달 대규모 언어 모델(MLLM)의 발전은 놀랍습니다. 이제 MLLM은 뛰어난 다중 모달 이해 및 추론 능력을 보여주며 인공 일반 지능(AGI) 시대를 예고하고 있습니다. 하지만 진정한 AGI를 위해서는 이해와 추론 능력뿐 아니라 복잡한 환경에서 합리적인 결정을 내리고 실제 문제를 해결하는 효과적인 계획 능력이 필수적입니다.
하지만 현재 MLLM의 다양한 시나리오에서의 계획 능력은 아직 충분히 탐구되지 않았습니다. Lu Qiu 등 연구진은 이러한 한계를 극복하고자 EgoPlan-Bench2라는 엄격하고 종합적인 벤치마크를 개발했습니다. EgoPlan-Bench2는 인간의 일상 생활과 밀접하게 연결된 4가지 주요 영역과 24가지 세부 시나리오를 포함합니다.
EgoPlan-Bench2의 특징:
- 실제 세계 시나리오: 일상생활에서 마주칠 수 있는 다양한 상황을 반영합니다.
- 1인칭 시점: 인간이 문제를 해결하는 방식을 그대로 반영하여 더욱 현실적인 평가가 가능합니다.
- 반자동 생성: 에고센트릭 비디오를 활용하여 효율적으로 벤치마크를 구축했습니다.
- 수동 검증: 정확성을 높이기 위해 모든 시나리오를 수동으로 검증했습니다.
연구진은 21개의 경쟁 MLLM을 EgoPlan-Bench2로 평가하여 그 한계를 분석했습니다. 그 결과, MLLM이 실제 세계 계획에서 상당한 어려움을 겪는다는 것을 발견했습니다. 이러한 한계를 극복하기 위해, 연구진은 추가적인 훈련 없이 다중 모달 사고 연쇄(CoT) 프롬프팅을 사용하는 훈련 없는 접근 방식을 제안했습니다. 이 방법은 GPT-4V의 EgoPlan-Bench2 성능을 10.24% 향상시켰습니다.
이 연구는 MLLM의 계획 능력의 현황과 한계를 명확히 보여주며, 앞으로 MLLM의 계획 능력 향상을 위한 중요한 방향을 제시합니다. 자세한 정보와 코드는 https://qiulu66.github.io/egoplanbench2/ 에서 확인할 수 있습니다. 🎉
Reference
[arxiv] EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios
Published: (Updated: )
Author: Lu Qiu, Yuying Ge, Yi Chen, Yixiao Ge, Ying Shan, Xihui Liu
http://arxiv.org/abs/2412.04447v1