혁신적인 AI: 스타크래프트 II에서 인간 수준의 전략을 구현하다!

중국과학원 자동화연구소 연구팀이 VLM-Attention 프레임워크를 통해 스타크래프트 II에서 인간 수준의 전략적 플레이를 구현하는 데 성공했습니다. RGB 영상과 자연어를 통합한 인간 친화적인 환경과, 전략적 유닛 타겟팅, 전술적 의사결정, 다중 에이전트 협업 기능을 통합한 VLM-Attention은 기존 MARL 방법과 유사한 성능을 보이며, 명시적인 훈련 없이도 복잡한 전술 기동을 수행했습니다. 이 연구는 인간과 협력하고 인간의 의도를 이해하는 AI 개발에 중요한 의미를 가집니다.

스타크래프트 II, AI의 새로운 도전장!

최근, 중국과학원 자동화연구소의 마웨이위(Weiyu Ma) 박사 연구팀은 놀라운 연구 결과를 발표했습니다. 바로 비전-언어 모델(VLM)을 기반으로 스타크래프트 II에서 인간 수준의 전략적 플레이를 가능하게 한 것입니다! 이 연구는 기존의 인공지능 에이전트가 추상적인 상태 표현에 의존하여 인간의 인지 과정과 차이가 컸던 점을 극복하고, RGB 영상과 자연어 관찰을 통합하여 인간과 유사한 게임 플레이를 구현하는 데 성공했습니다.

VLM-Attention: 인간과 같은 생각, 인간과 같은 행동!

연구팀은 이를 가능하게 하는 핵심 기술로 'VLM-Attention' 프레임워크를 개발했습니다. VLM-Attention은 다음 세 가지 핵심 요소로 구성됩니다.

1. 전략적 유닛 타겟팅 및 전투 평가를 위한 특수 자기 주의 메커니즘이 강화된 VLM: 단순히 게임 화면을 보는 것을 넘어, 전장 상황을 정확하게 분석하고, 어떤 유닛을 공격해야 하는지, 어떤 전략이 효과적인지를 판단합니다. 마치 인간 프로게이머처럼 말이죠!
2. 도메인 특화 지식을 활용한 검색 증강 생성 시스템: 스타크래프트 II에 대한 방대한 지식을 활용하여 전술적 의사 결정을 내립니다. 단순한 반복 학습을 넘어, 전략적인 판단을 내리는 능력을 보여줍니다.
3. 동적 역할 기반 작업 분배 시스템: 여러 유닛을 효율적으로 제어하고, 각 유닛의 역할을 조정하여 팀워크를 발휘합니다. 마치 프로게임단의 완벽한 팀플레이를 보는 듯 합니다.

놀라운 성능! 기존 방식과의 비교

21개의 사용자 정의 시나리오를 통해 실험한 결과, Qwen-VL과 GPT-4o 기반 모델을 사용한 VLM 에이전트는 상당한 훈련 반복을 필요로 하는 기존의 다중 에이전트 강화 학습(MARL) 방법과 비슷한 성능을 보였습니다. 무엇보다 놀라운 것은 명시적인 훈련 없이 복잡한 전술적 기동을 수행했다는 점입니다. 이는 AI가 단순히 데이터를 학습하는 수준을 넘어, 전략적 사고 능력을 갖추고 있음을 시사합니다.

미래를 향한 발걸음

이 연구는 단순한 게임 AI 기술을 넘어, 인간과 더욱 긴밀하게 상호작용하고, 인간의 의도를 이해하는 AI 개발에 중요한 발걸음을 내딛었습니다. 연구팀은 이 프로젝트의 코드를 https://github.com/camel-ai/VLM-Play-StarCraft2 에서 공개하여, 더 많은 연구자들이 이 분야에 참여하고 발전시킬 수 있도록 지원하고 있습니다. 앞으로 VLM 기반 AI가 다양한 분야에서 인간을 돕는 모습을 기대해 볼 수 있습니다.