혁신적인 추론 프레임워크 RFTT: LLM의 사고 능력을 깨우다

본 기사는 LLM의 추론 능력 향상을 위한 혁신적인 프레임워크 RFTT에 대한 최신 연구 결과를 소개합니다. RFTT는 학습 가능한 기능 토큰을 활용하여 지도 학습과 강화 학습을 통해 LLM의 자기 개선 능력을 향상시키며, 수학 벤치마크에서 뛰어난 성능을 보여줍니다.

최근 인공지능 분야에서 가장 주목받는 연구 중 하나는 바로 대규모 언어 모델(LLM)의 추론 능력 향상입니다. 단순한 텍스트 생성을 넘어, 논리적 사고와 문제 해결 능력을 갖춘 LLM을 개발하는 것은 인공지능의 다음 단계를 위한 필수적인 과제입니다. 이러한 흐름 속에서 Kongcheng Zhang 등 연구진이 제시한 RFTT(Reinforced Functional Token Tuning) 는 LLM의 추론 능력에 혁신적인 발전을 가져올 가능성을 제시합니다.

RFTT는 기존의 프롬프트 기반 추론 방식에서 벗어나, 학습 가능한 기능 토큰을 모델에 직접 통합하는 독창적인 접근 방식을 취합니다. <분석>, <검증>, <세련>과 같은 기능 토큰은 모델이 스스로 사고 과정을 구성하고 다양한 추론 전략을 구사할 수 있도록 돕는 중요한 역할을 합니다. 마치 인간처럼 다양한 사고 방식을 가질 수 있도록 하는 것이죠.

RFTT는 크게 두 단계로 구성됩니다. 첫 번째 단계는 지도 학습 미세 조정으로, 기능 토큰으로 주석된 자체 생성 훈련 데이터를 사용하여 모델이 기능 토큰을 이해하고 활용하도록 학습시킵니다. 두 번째 단계는 온라인 강화 학습으로, 프롬프트 없이 기능 토큰 샘플링을 통해 다양한 추론 경로를 탐색하며 모델이 스스로 추론 능력을 향상시키도록 합니다. 이는 마치 스스로 게임을 하며 실력을 키우는 것과 같습니다.

연구 결과는 놀랍습니다. RFTT는 수학 문제 풀이 벤치마크인 MATH 데이터셋에서 Qwen-2.5-7B-Instruct 모델의 정확도를 70.6%에서 79.8%로, LLaMA-3.1-8B-Instruct 모델의 정확도를 32.2%에서 60.2%로 획기적으로 향상시켰습니다. 더욱 흥미로운 점은 추론 시 사용하는 탐색 시도가 많을수록 성능이 더욱 향상된다는 점입니다. 이는 RFTT의 자기 개선 능력을 보여주는 강력한 증거입니다.

RFTT의 코드는 GitHub에서 공개되어 있으며, 앞으로 LLM의 추론 능력 발전에 큰 영향을 미칠 것으로 기대됩니다. 이 연구는 단순히 성능 향상을 넘어, LLM이 인간처럼 복잡한 문제를 해결하고 사고하는 능력을 갖추도록 하는 중요한 이정표를 제시합니다. 이는 AI 기술의 미래를 밝게 하는 획기적인 발견입니다.