시스템 1에서 시스템 2로: 추론 대형 언어 모델에 대한 심층 분석

본 기사는 시스템 1과 시스템 2 추론 방식을 가진 대형 언어 모델(LLM)의 최근 연구 동향을 분석합니다. 특히, 추론 능력 향상을 위한 핵심 방법과 주요 모델들의 성능 비교, 그리고 향후 연구 방향을 제시합니다. OpenAI와 DeepSeek의 모델들을 중심으로 인간 수준의 추론 능력에 대한 접근 방식을 논의합니다.

인간 수준의 지능을 달성하려면 빠르고 직관적인 시스템 1에서 느리고 신중한 시스템 2 추론으로의 전환을 개선하는 것이 필수적입니다. 시스템 1은 빠르고 직관적인 의사결정에 탁월하지만, 시스템 2는 보다 정확한 판단과 편향 감소를 위해 논리적 추론에 의존합니다.

기초적인 대형 언어 모델(LLM)은 빠른 의사결정에 능숙하지만, 진정한 시스템 2 사고의 특징인 단계별 분석을 아직 완전히 수용하지 못했기 때문에 복잡한 추론에는 부족합니다. 최근 OpenAI의 o1/o3 및 DeepSeek의 R1과 같은 추론 LLM은 수학 및 코딩과 같은 분야에서 전문가 수준의 성능을 보여주었으며, 이는 시스템 2의 신중한 추론을 밀접하게 모방하고 인간과 유사한 인지 능력을 보여줍니다.

본 설문 조사는 기초 LLM의 발전과 시스템 2 기술의 초기 개발에 대한 간략한 개요를 시작으로, 이들의 결합이 추론 LLM을 위한 길을 어떻게 열었는지 탐구합니다. 다음으로, 추론 LLM을 구성하는 방법, 고급 추론을 가능하게 하는 핵심 방법, 다양한 추론 LLM의 발전에 대해 논의합니다. 또한, 추론 벤치마크에 대한 개요를 제공하고 대표적인 추론 LLM의 성능을 심층적으로 비교합니다. 마지막으로, 추론 LLM을 발전시키기 위한 유망한 방향을 탐구하고 최신 개발 동향을 추적하기 위해 실시간 GitHub 저장소를 유지합니다. 본 설문 조사가 이 빠르게 발전하는 분야에서 혁신을 고무하고 발전을 이끄는 귀중한 자료가 되기를 바랍니다.

Zhong-Zhi Li, Duzhen Zhang, Ming-Liang Zhang, Jiaxin Zhang, Zengyan Liu, Yuxuan Yao, Haotian Xu, Junhao Zheng, Pei-Jie Wang, Xiuyi Chen, Yingying Zhang, Fei Yin, Jiahua Dong, Zhijiang Guo, Le Song, Cheng-Lin Liu 저자들의 연구는 LLM의 추론 능력 향상에 대한 중요한 통찰력을 제공하며, 앞으로의 연구 방향을 제시합니다. 특히, 시스템 1과 시스템 2의 통합을 통해 인간 수준의 지능에 한층 더 가까워질 수 있는 가능성을 보여주는 흥미로운 연구입니다.