사토리(Satori): 사고의 연쇄 행동(COAT)으로 LLM 추론 능력 향상

본 기사는 사토리(Satori), 사고의 연쇄 행동(COAT) 기반의 새로운 LLM에 대해 소개합니다. 강화학습 기반의 2단계 학습 과정과 오픈소스 공개를 통해 AI 추론 기술 발전에 기여할 것으로 기대됩니다.

AI 추론의 혁신: 사토리(Satori)의 등장

최근 대규모 언어 모델(LLM)은 다양한 분야에서 놀라운 추론 능력을 선보였습니다. 하지만 기존의 LLM들은 추론 과정에서 외부 검증 시스템에 의존하는 경우가 많았죠. 외부 시스템의 도움 없이 LLM 스스로 복잡한 문제 해결 능력을 높일 수는 없을까요?

Shen 등 연구진은 이러한 문제에 대한 해답으로 사토리(Satori) 를 제시했습니다. 이는 사고의 연쇄 행동(Chain-of-Action-Thought, COAT) 이라는 새로운 추론 방식을 도입한 7B LLM입니다. COAT는 LLM이 스스로 행동 전략을 탐색하고, 그 과정을 반추하며 학습하는 것을 의미합니다.

사토리 개발에는 흥미로운 두 단계 학습 방식이 사용되었습니다.

1. 소규모 형식 조정 단계: COAT 추론 방식을 LLM에 내재화시키는 단계입니다. 마치 아이가 처음 글쓰기를 배우는 것처럼, LLM에게 추론 과정의 기본 틀을 가르치는 것이죠.
2. 대규모 자기 향상 단계: 강화 학습을 활용하여 LLM이 스스로 추론 능력을 향상시키는 단계입니다. 마치 스스로 공부하며 실력을 키우는 것과 같습니다. 이 단계를 통해 사토리는 더욱 정교하고 효율적인 추론 능력을 갖추게 되었습니다.

놀라운 점은 사토리가 오픈소스 모델과 데이터를 기반으로 훈련되었다는 것입니다. 이는 AI 연구의 민주화를 한층 더 앞당기는 결과입니다. 수학적 추론 벤치마크에서 최첨단 성능을 기록했을 뿐 아니라, 도메인 외 과제에서도 뛰어난 일반화 능력을 보여주었습니다.

더욱 괄목할 만한 점은, 사토리의 모든 코드, 데이터, 모델이 완전히 오픈소스로 공개된다는 것입니다. 이를 통해 전 세계 연구자들이 사토리를 활용하여 AI 추론 기술을 더욱 발전시킬 수 있게 되었습니다. 사토리는 단순한 AI 모델을 넘어, AI 연구의 새로운 지평을 열어갈 잠재력을 가진 혁신적인 성과라고 할 수 있습니다.

주요 연구진: Maohao Shen, Guangtao Zeng, Zhenting Qi, Zhang-Wei Hong, Zhenfang Chen, Wei Lu, Gregory Wornell, Subhro Das, David Cox, Chuang Gan