마인크래프트 정복하는 AI 에이전트, Optimus-2 등장!

중국 연구진이 개발한 Optimus-2는 MLLM과 GOAP를 결합하여 마인크래프트에서 인간과 유사한 행동을 보이는 AI 에이전트입니다. 대규모 MGOA 데이터셋 공개를 통해 AI 에이전트 연구에 큰 기여를 할 것으로 기대됩니다.

마인크래프트 세계를 정복하는 AI 에이전트, Optimus-2

인간의 행동을 모방하여 다양한 작업을 수행하는 에이전트 개발은 오랜 숙제였습니다. 관찰, 행동, 언어 간 복잡한 관계를 모델링하는 것이 핵심 과제였죠. 최근, 중국 연구진(Li, Xie, Shao, Chen, Jiang, Nie)이 이러한 난관을 극복하는 획기적인 연구 결과를 발표했습니다. 바로 Optimus-2라는 마인크래프트 에이전트입니다.

Optimus-2는 고차원 계획을 위한 다중 모드 대규모 언어 모델(MLLM) 과 저차원 제어를 위한 목표-관찰-행동 조건 정책(GOAP) 을 결합한 혁신적인 시스템입니다. GOAP는 각 시간 단계에서 관찰과 행동 간의 인과 관계를 모델링하고, 과거 관찰-행동 시퀀스와 동적으로 상호 작용하여 고정 길이 행동 토큰으로 통합하는 행동 안내 행동 인코더를 포함합니다. MLLM은 이 행동 토큰을 개방형 언어 명령어와 정렬하여 자동 회귀적으로 행동을 예측합니다. 마치 인간처럼 생각하고 행동하는 것이죠!

하지만, 이런 뛰어난 성능은 단순히 모델의 우수성만으로는 이룰 수 없습니다. 연구진은 25,000개의 비디오와 약 3천만 개의 목표-관찰-행동 쌍으로 구성된 고품질 마인크래프트 목표-관찰-행동(MGOA) 데이터셋을 함께 공개했습니다. 이는 마인크래프트 에이전트 훈련을 위한 커뮤니티의 노력에 크게 기여할 것으로 기대됩니다. 자동화된 구성 방법 또한 함께 제공되어 접근성을 높였습니다.

실험 결과, Optimus-2는 마인크래프트의 원자적 작업, 장기간 작업, 개방형 지시 작업에서 뛰어난 성능을 보였다고 합니다. 단순히 명령을 수행하는 수준을 넘어, 마인크래프트 세계를 이해하고, 스스로 계획을 세우고, 목표를 달성하는 인공지능 에이전트의 탄생을 알리는 쾌거입니다. 이 연구는 AI 에이전트 발전에 중요한 이정표를 세웠으며, 앞으로 더욱 발전된 AI 시스템의 개발을 위한 토대를 마련할 것으로 전망됩니다.

핵심: MLLM과 GOAP의 결합, 대규모 MGOA 데이터셋 공개, 다양한 마인크래프트 작업에서의 뛰어난 성능.