늑대인간 게임으로 AGI에 도전하다: 멀티 에이전트 KTO의 놀라운 성과

중국 연구진이 개발한 멀티 에이전트 KTO는 늑대인간 게임에서 뛰어난 성능을 보이며 AGI 개발에 새로운 가능성을 제시합니다. Wittgenstein의 언어 게임 이론을 기반으로, 맥락 안에서의 상호 작용을 통해 학습하는 MaKTO는 인간 수준의 성능과 높은 승률을 달성했습니다.

인공지능(AI) 분야의 최대 목표 중 하나인 인공 일반 지능(AGI) 개발. 그 핵심은 전략적 의사결정 능력과 유연하고 의미있는 의사소통 능력을 갖춘 AI 에이전트를 만드는 것입니다. 최근, 중국 연구진(Rong Ye, Yongxin Zhang 외)이 발표한 논문 "Multi-agent KTO: Reinforcing Strategic Interactions of Large Language Model in Language Game"은 이러한 목표 달성에 한 걸음 더 다가선 흥미로운 연구 결과를 제시합니다.

이 연구는 철학자 비트겐슈타인의 언어 게임 이론에서 영감을 얻었습니다. 기존의 의사결정과 언어 표현을 분리하는 다단계 프레임워크 대신, 맥락 안에서의 상호 작용을 통해 언어 에이전트가 학습하도록 하는 새로운 접근 방식을 제안한 것입니다.

연구진은 언어 이해, 전략적 상호 작용, 적응성을 평가하는 데 적합한 사회적 추론 게임인 "늑대인간 게임"을 선택했습니다. 여기서 핵심은 멀티 에이전트 카네만 & 트버스키 최적화(MaKTO) 라는 새로운 알고리즘입니다. MaKTO는 다양한 언어 모델을 광범위한 게임 플레이에 참여시켜 바람직한 응답과 바람직하지 않은 응답을 생성한 후, KTO를 이용하여 모델의 의사결정 과정을 개선합니다.

9명이 참여하는 늑대인간 게임에서 MaKTO는 다양한 모델에 걸쳐 평균 61%의 승률을 기록했습니다. 이는 GPT-4o 및 2단계 강화학습 에이전트보다 각각 23.0% 및 10.9% 향상된 결과입니다. 더욱 놀라운 것은, MaKTO가 인간 전문가와의 대결에서 60%의 승률을 보였고, 튜링 테스트 유사 실험에서 49%의 식별률에 그쳤다는 점입니다. 이는 MaKTO가 복잡한 사회적 추론 게임에서 뛰어난 의사결정, 전략적 적응력, 자연스러운 언어 생성 능력을 보여준다는 것을 의미합니다.

이 연구는 AGI 개발에 있어 새로운 가능성을 제시합니다. 단순한 정보 처리를 넘어, 상호 작용과 전략적 사고를 통해 지능을 발전시키는 AI 에이전트 개발의 중요성을 강조하는 동시에, 실제 게임 환경에서 그 효과를 입증했습니다. 앞으로 MaKTO의 발전과 다른 사회적 상호 작용 게임으로의 적용이 기대됩니다. AGI 개발의 여정에서 이번 연구는 중요한 이정표가 될 것입니다.