마인크래프트 정복하는 AI 에이전트, Optimus-2 등장!

Li Zaijing 등 연구진이 개발한 Optimus-2는 MLLM과 GOAP을 결합하여 마인크래프트에서 뛰어난 성능을 보이는 AI 에이전트입니다. 고품질 MGOA 데이터셋 공개를 통해 연구 커뮤니티에 기여하며, AI 에이전트 연구의 새로운 가능성을 제시합니다.

마인크래프트 세계를 정복하는 똑똑한 AI 에이전트, Optimus-2

인간의 행동 패턴을 모방하여 마인크래프트와 같은 개방형 세계에서 다양한 작업을 수행하는 AI 에이전트 개발은 오랜 꿈이었습니다. 하지만 관찰, 행동, 언어 간의 복잡한 상호작용을 모델링하는 것은 극복해야 할 큰 과제였죠. Li Zaijing 등 6명의 연구진이 개발한 Optimus-2는 이러한 과제에 대한 혁신적인 해결책을 제시합니다.

Optimus-2는 다중 모달 대규모 언어 모델 (MLLM) 을 활용하여 고차원 계획을 수립하고, 목표-관찰-행동 조건 정책 (GOAP) 을 통해 저차원 제어를 수행하는 독창적인 구조를 갖추고 있습니다. GOAP는 (1) 행동 유도 행동 인코더를 통해 각 시간 단계에서 관찰과 행동 간의 인과 관계를 모델링하고, 과거 관찰-행동 시퀀스와 동적으로 상호 작용하여 고정 길이 행동 토큰으로 통합하며, (2) MLLM을 통해 행동 토큰과 개방형 언어 지시어를 정렬하여 자동 회귀적으로 행동을 예측하는 방식으로 작동합니다.

더 나아가, 연구진은 약 25,000개의 비디오와 3천만 개의 목표-관찰-행동 쌍으로 구성된 고품질 마인크래프트 목표-관찰-행동 (MGOA) 데이터셋을 공개했습니다. 이 자동화된 생성 방법과 MGOA 데이터셋은 마인크래프트 에이전트 훈련을 위한 커뮤니티의 노력에 크게 기여할 것으로 기대됩니다.

다양한 실험 결과, Optimus-2는 마인크래프트의 원자 수준 작업, 장기간 작업, 그리고 개방형 지시 작업에서 뛰어난 성능을 보였습니다. 이는 기존 기술을 훨씬 뛰어넘는 성과로 평가되며, AI 에이전트 연구 분야의 중요한 이정표를 세운 것으로 볼 수 있습니다. 자세한 내용은 프로젝트 페이지 (https://cybertronagent.github.io/Optimus-2.github.io/)를 참고하세요.

Optimus-2는 단순한 게임 플레이를 넘어, AI 에이전트의 복잡한 문제 해결 능력과 인간과의 상호작용 가능성을 보여주는 중요한 사례입니다. 이는 앞으로 더욱 발전된 AI 시스템 개발의 가능성을 시사합니다.