거대 언어 모델의 사고 능력 부상: RLSP를 통한 추론 능력의 진화

본 기사는 거대 언어 모델(LLM)의 추론 능력 향상을 위한 새로운 강화 학습 기반 자기 학습 프레임워크(RLSP)에 대한 연구를 소개합니다. RLSP는 수학 문제 해결에서 LLM의 성능을 향상시키는 동시에, 역추적, 아이디어 탐색, 검증과 같은 새로운 추론 행동을 유발하는 것으로 나타났습니다. 이는 RLSP가 LLM의 복잡한 추론 능력 발현에 기여할 수 있음을 시사합니다.

거대 언어 모델의 사고 능력 부상: RLSP를 통한 추론 능력의 진화

최근 OpenAI의 새로운 모델과 같은 AI의 발전은 거대 언어 모델(LLM)을 추론 과정에서 추론을 수행하는 거대 추론 모델(LRM)로 변모시키고 있습니다. 이는 고품질 출력을 위해 추가적인 시간과 연산을 필요로 합니다. Ye 등(2025)의 연구는 LRM 훈련을 위한 알고리즘 프레임워크를 밝히고자 하는 시도입니다. 자기 일관성, PRM, AlphaZero와 같은 기존 방법들은 추론을 안내된 탐색으로 제시하지만, 연구진은 LLM에서 탐색을 가능하게 하는 가장 간단하고 확장 가능한 방법을 제시하고자 합니다.

그 해답으로 제시된 것이 바로 강화 학습 기반 자기 학습(RLSP: Reinforcement Learning via Self-Play) 입니다. RLSP는 세 단계로 구성됩니다.

1. 지도 학습 기반 미세 조정: 인간 또는 합성 데이터를 활용한 추론 과정의 데모를 통해 모델을 미세 조정합니다.
2. 탐색 보상 신호: 다양하고 효율적인 추론 행동을 장려하기 위해 탐색 보상 신호를 사용합니다.
3. 강화 학습 훈련: 결과 검증기를 사용하여 정확성을 보장하는 동시에 보상 조작을 방지합니다.

핵심적인 혁신은 PPO 훈련 중 탐색과 정확성 신호를 분리하여 성능과 효율성을 개선하는 데 있습니다. 이를 통해 모델은 보다 효과적으로 추론 과정을 학습할 수 있습니다.

수학 분야에서의 실험 결과는 RLSP가 추론 능력 향상에 효과적임을 보여줍니다. Llama-3.1-8B-Instruct 모델에서 MATH-500 테스트 세트의 성능이 23% 향상되었고, AIME 2024 수학 문제에서는 Qwen2.5-32B-Instruct 모델의 성능이 10% 향상되었습니다. 하지만 더 중요한 발견은 단순한 탐색 보상만으로도 모델이 역추적, 아이디어 탐색, 검증과 같은 여러 가지 새로운 행동을 보였다는 점입니다. 이는 RLSP 프레임워크가 확장될 때 LLM에서 복잡한 추론 능력의 출현을 가능하게 할 수 있음을 시사합니다.

마지막으로, CoT(Chain of Thought)가 LLM의 계산 능력을 증가시킨다는 주목할 만한 결과에 영감을 받아 RLSP 탐색 전략이 LLM에 더 적합한 이유에 대한 이론을 제시합니다. 이 연구는 LLM의 추론 능력 향상에 대한 새로운 가능성을 제시하며, 앞으로 더욱 발전된 LLM의 등장을 기대하게 합니다.

참고: Ye, G., Pham, K. D., Zhang, X., Gopi, S., Peng, B., Li, B., ... & Inan, H. A. (2025). On the Emergence of Thinking in LLMs I: Searching for the Right Intuition. (가상 논문)