획기적인 AI 연구: '사고 붕괴'를 막는 GTR 알고리즘

Tong Wei 등 연구진은 VLM 에이전트 훈련에서 발생하는 '사고 붕괴' 현상을 해결하기 위해 GTR 프레임워크를 제안했습니다. GTR은 에이전트의 추론 과정을 자동으로 개선하여 기존 모델보다 3~5배 높은 작업 성공률을 달성했으며, AI 에이전트의 추론 능력 향상에 새로운 가능성을 제시했습니다.

획기적인 AI 연구: '사고 붕괴'를 막는 GTR 알고리즘

최근, 시각 언어 모델(VLM) 에이전트가 복잡한 시각적 환경에서 목표 달성을 위한 추론 능력을 향상시키는 연구가 활발히 진행되고 있습니다. 특히, 검증 가능한 결과 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)에서 사고 연쇄(CoT) 추론을 효과적으로 확장하는 데 기여해 왔습니다.

하지만, Tong Wei 등 연구진이 발표한 논문 "GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training" 은 이러한 강화 학습의 효과가 VLM 에이전트의 시각적 환경에서의 목표 지향적 행동 추론 훈련에는 덜 확립되었다는 점을 지적합니다. 연구진은 24점 게임과 같은 복잡한 카드 게임과 ALFWorld의 구현된 작업을 통해 광범위한 실험을 수행했습니다.

그 결과, 놀라운 사실이 밝혀졌습니다. 행동 결과에만 기반한 보상을 사용할 경우, 강화 학습은 VLM에서 CoT 추론을 유도하는 데 실패하고, '사고 붕괴' 현상이 발생한다는 것입니다. '사고 붕괴'는 에이전트의 사고 다양성이 급격히 감소하고, 상태와 무관하며 불완전한 추론을 하게 되어, 최종적으로 부정적인 보상으로 이어지는 현상을 의미합니다.

이러한 문제를 해결하기 위해, 연구진은 프로세스 지침의 필요성을 강조하고, 각 강화 학습 단계에서 에이전트의 추론을 평가하고 개선하는 자동화된 교정기를 사용하는 GTR(Guided Thought Reinforcement) 프레임워크를 제안했습니다. GTR은 밀집된 단계별 사람의 라벨링 없이 추론과 행동을 동시에 훈련할 수 있는 간단하고 확장 가능한 프레임워크입니다.

실험 결과, GTR은 다양한 시각적 환경에서 LLaVA-7b 모델의 성능과 일반화 능력을 크게 향상시켰습니다. 기존 최고 성능 모델에 비해 3~5배 높은 작업 성공률을 달성했으며, 특히 더 작은 모델 크기를 사용했음에도 불구하고 우수한 성능을 보였습니다. 이는 GTR이 VLM 에이전트의 추론 능력을 획기적으로 향상시킬 수 있는 잠재력을 보여주는 중요한 결과입니다.

이 연구는 단순히 결과에만 초점을 맞추는 것이 아니라, AI 에이전트의 추론 과정 자체를 개선하는 새로운 접근법을 제시하여, 더욱 지능적이고 일반화된 AI 시스템 개발에 중요한 전기를 마련할 것으로 기대됩니다.