혁신적인 게임 AI 프레임워크 PORTAL: 수천 개의 3D 게임 정복

중국 연구진이 개발한 PORTAL은 LLM을 활용하여 수천 개의 3D 게임을 플레이할 수 있는 혁신적인 게임 AI 프레임워크입니다. 기존 강화학습의 한계를 극복하고, 하이브리드 정책 구조와 이중 피드백 메커니즘을 통해 높은 효율성과 일반화 능력을 보여줍니다.

수천 개의 3D 비디오 게임을 정복하는 AI 에이전트: PORTAL

최근 중국 연구진(저자: Zhongwen Xu 외)이 발표한 논문에서, 놀라운 게임 AI 프레임워크인 PORTAL이 소개되었습니다. PORTAL은 수천 개의 3D 비디오 게임을 언어 기반 정책 생성을 통해 플레이할 수 있는 AI 에이전트를 개발하는 혁신적인 프레임워크입니다. 이는 기존의 강화학습 방식의 한계를 뛰어넘는 획기적인 성과입니다.

기존 강화학습의 한계를 넘어서

기존의 강화학습 기반 게임 AI는 막대한 계산 자원과 시간을 필요로 했습니다. 하지만 PORTAL은 의사결정 문제를 언어 모델링 작업으로 변환하는 독창적인 방식을 채택하여 이러한 문제를 해결했습니다. 대규모 언어 모델(LLM)을 활용하여 도메인 특정 언어(DSL)로 표현된 행동 트리를 생성함으로써, 계산 부담을 크게 줄이면서 전략적 깊이와 빠른 적응성을 동시에 확보했습니다.

하이브리드 정책 구조: 전략과 실행의 완벽한 조화

PORTAL은 규칙 기반 노드와 신경망 구성 요소를 결합한 하이브리드 정책 구조를 도입했습니다. 이를 통해 고차원적인 전략적 추론과 정밀한 저차원 제어를 동시에 수행할 수 있습니다. 양적 게임 지표와 비전-언어 모델 분석을 통합한 이중 피드백 메커니즘은 전술적 및 전략적 수준 모두에서 반복적인 정책 개선을 가능하게 합니다.

실험 결과: 놀라운 성능과 효율성

PORTAL은 수천 개의 1인칭 슈팅 게임(FPS)에서 그 효과를 입증했습니다. 기존 방식에 비해 개발 효율성, 정책 일반화, 행동 다양성이 크게 향상되었습니다. 생성된 정책은 즉시 배포 가능하고 사람이 이해할 수 있으며, 다양한 게임 환경에서 일반화할 수 있다는 장점도 가지고 있습니다. (실험 결과는 https://zhongwen.one/projects/portal 에서 확인 가능합니다.)

결론: 게임 AI 개발의 새로운 지평

PORTAL은 최소한의 개발 오버헤드로 수천 개의 상용 비디오 게임에서 작동할 수 있는 정교한 에이전트를 만드는 실용적인 솔루션을 제공합니다. 게임 AI 개발의 새로운 지평을 열었다고 평가할 수 있으며, 앞으로 게임 AI 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 특히 LLM의 활용은 게임 AI 뿐 아니라 다양한 분야에서 폭넓은 응용 가능성을 시사합니다.