LLM2: 거대 언어 모델에 시스템 2 추론 기능 부여
Cheng Yang 등 연구진이 개발한 LLM2는 인간의 이중 과정 이론을 기반으로 LLM의 한계를 극복하는 새로운 프레임워크입니다. 토큰 품질 탐색 전략과 자기 일관성 기법을 활용하여 수학적 추론 벤치마크에서 괄목할 만한 성능 향상을 달성했습니다.

LLM2: 인간의 사고 방식을 모방한 AI의 도약
최근 거대 언어 모델(LLM)은 놀라운 성능을 보여주고 있지만, 여전히 예상치 못한 오류를 범하는 경우가 있습니다. Cheng Yang 등 6명의 연구진은 이러한 LLM의 한계를 극복하기 위해 인간의 인지 과정에서 영감을 얻은 새로운 프레임워크, LLM2를 제시했습니다.
LLM2는 인간의 이중 과정 이론(dual-process theory)을 기반으로 합니다. 이 이론은 인간의 사고를 빠르고 직관적인 시스템 1(System 1)과 느리고 논리적인 시스템 2(System 2)로 구분합니다. LLM2에서는 LLM이 시스템 1 역할을, 새로운 검증기가 시스템 2 역할을 수행합니다. LLM은 가능성 있는 답변을 생성하고, 검증기는 이 답변들이 실제로 타당한지 여부를 판단합니다.
핵심은 바로 이 검증기입니다. 연구진은 토큰 품질 탐색 전략(token quality exploration strategy) 을 통해 생성된 합성 프로세스 감독 데이터를 사용하여 검증기를 훈련시켰습니다. 이 전략을 통해 검증기는 LLM이 생성한 결과물 중 바람직한 것과 바람직하지 않은 것을 구분하는 능력을 향상시키게 됩니다.
그 결과는 놀랍습니다. 수학적 추론 벤치마크인 GSM8K에서 Llama3-1B 모델의 정확도를 50.3%에서 57.8%로 무려 **7.5%**나 향상시켰습니다. 더 나아가, 자기 일관성(self-consistency) 기법과 결합했을 때는 major@20 정확도가 56.2%에서 **70.2%**로, **14%**나 증가하는 성과를 거두었습니다.
LLM2는 단순한 LLM 개선을 넘어, 인간의 사고 과정을 모방하여 AI의 한계를 극복하려는 획기적인 시도입니다. 이 연구는 향후 더욱 정교하고 신뢰할 수 있는 AI 시스템 개발에 중요한 이정표가 될 것으로 기대됩니다. 앞으로 LLM2가 어떻게 발전하고 다양한 분야에 적용될지 주목할 필요가 있습니다.
Reference
[arxiv] LLM2: Let Large Language Models Harness System 2 Reasoning
Published: (Updated: )
Author: Cheng Yang, Chufan Shi, Siheng Li, Bo Shui, Yujiu Yang, Wai Lam
http://arxiv.org/abs/2412.20372v1