놀라운 발견! LLM의 추론 능력, 내용보다 '구조'가 더 중요하다!

거대 언어 모델(LLM)의 추론 능력 향상을 위한 연구에서, 데이터 효율적인 훈련 기법을 통해 LLM의 장기적 사고 연쇄(Long CoT) 추론 능력을 향상시켰으며, Long CoT의 구조가 내용보다 훨씬 중요하다는 것을 발견했습니다. 이는 LLM의 추론 능력 향상에 대한 새로운 이해를 제공하며, 차세대 추론 모델 개발에 중요한 시사점을 제시합니다.

LLM 추론 능력의 비밀: 구조의 중요성

최근, 거대 언어 모델(LLM)의 추론 능력 향상에 대한 연구가 활발하게 진행되고 있습니다. Dacheng Li 등 연구진은 'LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters!' 논문을 통해 LLM의 추론 능력 향상을 위한 획기적인 발견을 발표했습니다.

연구진은 장기적 사고 연쇄(Long CoT) 를 활용하여 복잡한 추론 문제를 해결하는 거대 추론 모델(LRM) 에 주목했습니다. Long CoT는 반성, 역추적, 자기 검증을 포함하는 긴 사고 과정을 의미합니다. 기존에는 Long CoT를 효과적으로 유도하는 훈련 기법과 데이터 요구 사항이 명확하지 않았습니다.

하지만 이번 연구에서는 데이터 효율적인 지도 학습 미세 조정(SFT) 과 매개변수 효율적인 저차원 적응(LoRA) 을 통해 LLM이 Long CoT 추론을 효과적으로 학습할 수 있다는 것을 밝혀냈습니다. 놀랍게도, 단 17,000개의 Long CoT 훈련 샘플만으로도 Qwen2.5-32B-Instruct 모델은 AIME 2024에서 56.7%(+40.0%), LiveCodeBench에서 57.0%(+8.1%)의 성능 향상을 달성했습니다. 이는 독점적인 o1-preview 모델의 성능과도 경쟁력을 갖는 수치입니다.

더욱 중요한 것은, 연구진이 Long CoT의 구조가 학습 과정에서 내용보다 훨씬 중요하다는 사실을 발견했다는 점입니다. 잘못된 샘플로 훈련하거나 추론 키워드를 제거하는 등 내용을 변경해도 성능에는 거의 영향이 없었습니다. 반면, 추론 단계를 섞거나 삭제하는 등 Long CoT의 논리적 일관성을 깨는 구조적 변경은 정확도를 크게 저하시켰습니다. 예를 들어, 잘못된 답변이 포함된 Long CoT 샘플로 훈련된 모델도 정확한 샘플로 훈련된 모델보다 정확도가 단 3.2%만 낮았습니다.

이러한 발견은 LLM에서 추론 능력을 유도하는 방법에 대한 이해를 심화시키고, 차세대 추론 모델을 효율적으로 훈련하기 위한 중요한 고려 사항을 제시합니다. 이 연구는 이전에 공개된 Sky-T1-32B-Preview 모델의 학술적 근거를 제공하며, 관련 코드는 GitHub(https://github.com/NovaSky-AI/SkyThought)에서 확인할 수 있습니다. LLM의 추론 능력 향상에 대한 새로운 지평을 열었다고 볼 수 있습니다. 앞으로 이 연구 결과를 바탕으로 더욱 강력하고 효율적인 추론 모델이 개발될 것으로 기대됩니다.