3D 게임 전투의 혁명: CombatVLA의 등장!

중국 과학원 자동화 연구소 연구진이 개발한 CombatVLA는 3D 액션 RPG 게임 전투에 최적화된 효율적인 VLA 모델로, 기존 모델보다 50배 빠른 속도와 인간보다 높은 성공률을 달성했습니다. 모든 자원이 오픈소스로 공개되어 향후 연구 발전에 기여할 것으로 기대됩니다.

최근 비전-언어-행동(VLA) 모델의 발전으로 인공지능의 가능성이 확장되었지만, 복잡한 3D 환경에서의 실시간 의사결정은 여전히 큰 과제로 남아있습니다. 초당 수준의 반응 속도, 고해상도 인식, 그리고 역동적인 상황 속에서의 전략적 추론이 필요하기 때문입니다.

이러한 어려움을 극복하기 위해, CombatVLA라는 혁신적인 모델이 등장했습니다! 중국 과학원 자동화 연구소의 연구진이 개발한 CombatVLA는 3D 액션 롤플레잉 게임(ARPG)의 전투 임무에 최적화된 효율적인 VLA 모델입니다. 무려 30억 개의 매개변수를 가진 이 거대한 모델은 액션 추적기를 통해 수집된 비디오-액션 쌍으로 훈련되었는데, 특히 Action-of-Thought (AoT) 시퀀스 형식의 데이터를 사용했다는 점이 눈에 띕니다. AoT는 인공지능의 사고 과정을 추적하여 학습에 활용하는 기술입니다.

CombatVLA는 잘린 AoT 전략을 통해 효율적인 추론을 가능하게 합니다. 이는 불필요한 계산을 줄여 속도를 향상시키는 핵심 기술입니다. 그 결과는 놀랍습니다. CombatVLA는 기존 모델들을 모두 제치고 전투 이해 벤치마크에서 최고 성능을 달성했을 뿐만 아니라, 게임 전투 속도를 무려 50배나 향상시켰습니다! 게다가, 인간 플레이어보다 높은 작업 성공률을 기록하며 그 실력을 입증했습니다.

하지만 놀라운 성능만이 전부가 아닙니다. 연구진은 액션 추적기, 데이터셋, 벤치마크, 모델 가중치, 훈련 코드, 그리고 프레임워크 구현을 모두 오픈소스로 공개했습니다! (https://combatvla.github.io/) 이는 학계와 산업계 모두에게 큰 기여가 될 것이며, 향후 VLA 모델의 발전에 큰 영향을 미칠 것으로 예상됩니다.

CombatVLA는 단순한 게임 AI를 넘어, 복잡한 환경에서의 실시간 의사결정 문제를 해결하는 데 중요한 발걸음을 내딛었습니다. 앞으로 CombatVLA가 어떤 발전을 거듭할지, 그리고 어떤 분야에 응용될지 기대됩니다.