혁신적인 AI 추론 향상 기술: 사고 선호도 최적화(ThinkPO)

Wang Yang 등 연구진이 개발한 ThinkPO는 기존 SFT 방식의 한계를 극복하는 새로운 AI 추론 향상 기술로, 저렴하고 손쉽게 얻을 수 있는 데이터를 활용하여 SFT 모델의 성능을 추가적으로 향상시키는 효과를 보였습니다. 수학 추론 정확도를 8.6%, 출력 길이를 25.9% 향상시켰으며, 공개 SFT 모델의 성능 또한 크게 개선했습니다.

최근 AI 분야에서 큰 주목을 받고 있는 장문 사고 연쇄(long chain-of-thought, CoT) 추론은, 인간과 유사한 복잡한 문제 해결 능력을 AI 모델에 부여하는 핵심 기술입니다. 하지만, 이러한 장문 CoT 추론 능력을 향상시키는 것은 쉽지 않습니다. 기존의 지도 학습 미세 조정(Supervised Fine-Tuning, SFT) 방법은 대규모 언어 모델의 장문 CoT 응답을 활용하여 소규모 모델을 학습시키는 방식으로, 효과적이지만 새로운 고품질 데이터 확보에 어려움을 겪고 있으며, 반복 학습 시 성능 향상에 한계가 있습니다.

이러한 문제를 해결하기 위해, Wang Yang 등 연구진은 사고 선호도 최적화(Thinking Preference Optimization, ThinkPO) 라는 혁신적인 방법을 제안했습니다. ThinkPO는 새로운 장문 CoT 데이터를 수집하는 대신, 쉽게 얻을 수 있는 단문 CoT 응답(rejected answers) 과 장문 CoT 응답(chosen answers)을 활용합니다. 즉, 같은 질문에 대한 짧은 답변과 긴 답변을 비교하여 모델이 긴 추론 과정을 선호하도록 직접적인 선호도 최적화를 적용하는 것입니다. 이는 마치 학생에게 짧은 답변보다는 논리적이고 상세한 긴 답변을 더 높이 평가하는 것과 같습니다.

놀랍게도, ThinkPO는 SFT 모델의 성능을 추가적으로 향상시키는 효과를 보였습니다. 실험 결과, 수학 추론 정확도는 8.6%, 출력 길이는 25.9% 증가했습니다. 특히, 공개적으로 공유되는 SFT 모델인 DeepSeek-R1-Distill-Qwen-7B의 MATH500 성능을 87.4%에서 91.2%까지 향상시키는 괄목할 만한 결과를 달성했습니다. 이는 기존 SFT 데이터를 효율적으로 활용하여 AI 모델의 추론 능력을 한층 더 끌어올릴 수 있다는 것을 의미합니다.

ThinkPO는 새로운 고품질 데이터 확보의 어려움을 해결하고, 기존 데이터를 효과적으로 활용하여 AI 모델의 성능을 지속적으로 향상시키는 획기적인 방법입니다. 앞으로 AI 모델의 추론 능력 향상에 있어 ThinkPO의 활용 가능성이 매우 높을 것으로 예상됩니다. 이 연구는 AI 기술 발전에 중요한 기여를 할 뿐만 아니라, 데이터 효율성을 중시하는 지속 가능한 AI 개발에 대한 새로운 패러다임을 제시할 것으로 기대됩니다.