혁신적인 AI 미로 탐험: 언어 모델의 공간 지능 강화

Alan Dao와 Dinh Bach Vu 연구진이 개발한 AlphaMaze는 LLM의 공간 지능을 향상시키는 새로운 프레임워크입니다. SFT와 GRPO를 결합하여 미로 탐색 정확도를 93%까지 향상시켰으며, 로봇공학 및 자율 주행 등 다양한 분야에 적용 가능성을 제시합니다.

최근 괄목할 만한 발전을 이룬 대규모 언어 모델(LLM)은 뛰어난 언어 처리 능력을 선보였지만, 시각적 공간 추론을 요구하는 작업에서는 여전히 어려움을 겪고 있습니다. Alan Dao와 Dinh Bach Vu 연구진은 이러한 한계를 극복하기 위해, 'AlphaMaze' 라는 혁신적인 두 단계 훈련 프레임워크를 개발했습니다.

AlphaMaze는 LLM에 미로 탐색 능력을 부여하는 데 초점을 맞추고 있습니다. 첫 번째 단계에서는 Supervised Fine Tuning (SFT) 기법을 활용하여 미로를 텍스트로 변환한 데이터셋으로 모델을 학습시킵니다. 이를 통해 모델은 단계별 이동 명령을 예측하는 능력을 습득하게 됩니다. 이는 마치 사람이 미로를 해결하는 과정을 단계별로 기록하고, 이를 LLM이 학습하는 것과 같습니다.

두 번째 단계에서는 Group Relative Policy Optimization (GRPO) 알고리즘을 적용합니다. DeepSeekR1에서 사용된 이 알고리즘은 신중하게 설계된 보상 함수와 함께 모델의 순차적 의사 결정 과정을 개선하고, 연쇄적 사고(chain-of-thought) 행동을 유도합니다. 이는 모델이 단순히 명령을 따르는 것을 넘어, 자체적으로 문제 해결 전략을 세우고 수정하는 능력을 길러주는 핵심 단계입니다.

연구진은 합성 미로 데이터셋을 사용하여 실험을 진행했습니다. 그 결과, 기본 모델은 미로 탐색에 실패했지만, SFT를 적용한 모델은 86%의 정확도를 달성했습니다. 더 나아가 GRPO를 추가적으로 적용한 결과, 정확도는 놀랍게도 93%까지 향상되었습니다. 이는 GRPO가 모델의 추론 능력을 강화하고, 오류를 스스로 수정하는 능력을 향상시켰다는 것을 보여줍니다.

AlphaMaze는 단순한 미로 탐색을 넘어, 로봇공학, 자율 주행, 그리고 시각적 및 순차적 추론이 통합된 다른 영역에도 막대한 영향을 미칠 것으로 기대됩니다. 이 연구는 LLM의 공간 지능을 향상시키는 새로운 가능성을 제시하며, 앞으로 AI 기술의 발전에 중요한 이정표가 될 것입니다. 향후 연구에서는 더욱 복잡한 환경과 다양한 유형의 문제에 대한 적용 가능성을 탐구할 필요가 있습니다.