LLM2: 거대 언어 모델에 시스템 2 추론 기능 부여


Cheng Yang 등 연구진이 개발한 LLM2는 인간의 이중 과정 이론을 기반으로 LLM의 한계를 극복하는 새로운 프레임워크입니다. 토큰 품질 탐색 전략과 자기 일관성 기법을 활용하여 수학적 추론 벤치마크에서 괄목할 만한 성능 향상을 달성했습니다.

related iamge

LLM2: 인간의 사고 방식을 모방한 AI의 도약

최근 거대 언어 모델(LLM)은 놀라운 성능을 보여주고 있지만, 여전히 예상치 못한 오류를 범하는 경우가 있습니다. Cheng Yang 등 6명의 연구진은 이러한 LLM의 한계를 극복하기 위해 인간의 인지 과정에서 영감을 얻은 새로운 프레임워크, LLM2를 제시했습니다.

LLM2는 인간의 이중 과정 이론(dual-process theory)을 기반으로 합니다. 이 이론은 인간의 사고를 빠르고 직관적인 시스템 1(System 1)과 느리고 논리적인 시스템 2(System 2)로 구분합니다. LLM2에서는 LLM이 시스템 1 역할을, 새로운 검증기가 시스템 2 역할을 수행합니다. LLM은 가능성 있는 답변을 생성하고, 검증기는 이 답변들이 실제로 타당한지 여부를 판단합니다.

핵심은 바로 이 검증기입니다. 연구진은 토큰 품질 탐색 전략(token quality exploration strategy) 을 통해 생성된 합성 프로세스 감독 데이터를 사용하여 검증기를 훈련시켰습니다. 이 전략을 통해 검증기는 LLM이 생성한 결과물 중 바람직한 것과 바람직하지 않은 것을 구분하는 능력을 향상시키게 됩니다.

그 결과는 놀랍습니다. 수학적 추론 벤치마크인 GSM8K에서 Llama3-1B 모델의 정확도를 50.3%에서 57.8%로 무려 **7.5%**나 향상시켰습니다. 더 나아가, 자기 일관성(self-consistency) 기법과 결합했을 때는 major@20 정확도가 56.2%에서 **70.2%**로, **14%**나 증가하는 성과를 거두었습니다.

LLM2는 단순한 LLM 개선을 넘어, 인간의 사고 과정을 모방하여 AI의 한계를 극복하려는 획기적인 시도입니다. 이 연구는 향후 더욱 정교하고 신뢰할 수 있는 AI 시스템 개발에 중요한 이정표가 될 것으로 기대됩니다. 앞으로 LLM2가 어떻게 발전하고 다양한 분야에 적용될지 주목할 필요가 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] LLM2: Let Large Language Models Harness System 2 Reasoning

Published:  (Updated: )

Author: Cheng Yang, Chufan Shi, Siheng Li, Bo Shui, Yujiu Yang, Wai Lam

http://arxiv.org/abs/2412.20372v1