TinyR1-32B-Preview: 가지치기-병합 증류로 정확도 향상

Lin Sun 등 17명의 연구원이 개발한 Branch-Merge 증류 기법을 활용한 TinyR1-32B-Preview 모델은 기존 모델 대비 수학, 코딩, 과학 분야에서 성능이 크게 향상되었으며, AIME 2024에서도 우수한 성능을 보였습니다. 이는 LLM 경량화 분야의 획기적인 진전으로 평가됩니다.

거대 언어 모델 경량화의 혁신: TinyR1-32B-Preview

최근 몇 년 동안 거대 언어 모델(LLM)의 발전은 눈부셨습니다. 하지만 이러한 모델들은 엄청난 규모의 계산 자원을 필요로 하기 때문에, 크기를 줄이면서 성능을 유지하는 것이 중요한 과제로 떠올랐습니다. 기존의 모델 증류나 전이 학습 방법들은 이러한 목표를 완벽하게 달성하지 못했습니다.

이러한 한계를 극복하기 위해, Lin Sun 등 17명의 연구원들은 혁신적인 'Branch-Merge 증류' 접근 방식을 제시했습니다. 이 방법은 크게 두 단계로 이루어집니다.

1. Branch Phase (가지치기 단계): 대규모 '교사 모델'(DeepSeek-R1)의 지식을 도메인별 지도 미세 조정(SFT)을 통해 여러 개의 전문화된 '학생 모델'에 선택적으로 증류합니다. 각 학생 모델은 특정 분야에 특화된 지식을 습득하게 됩니다.

2. Merge Phase (병합 단계): Branch Phase에서 훈련된 여러 개의 학생 모델들을 통합하여 하나의 모델로 만듭니다. 이 과정에서 서로 다른 도메인의 지식이 결합되어 일반화 능력이 향상됩니다. 이렇게 탄생한 모델이 바로 TinyR1-32B-Preview입니다.

놀라운 성능 향상:

연구팀은 DeepSeek-R1을 교사 모델로, DeepSeek-R1-Distill-Qwen-32B를 학생 모델로 사용하여 Branch-Merge 증류를 실험했습니다. 그 결과, TinyR1-32B-Preview는 여러 벤치마크에서 기존 모델인 DeepSeek-R1-Distill-Qwen-32B보다 뛰어난 성능을 보였습니다. 특히:

• 수학: +5.5점 향상
• 코딩: +4.4점 향상
• 과학: +2.9점 향상

더욱 놀라운 점은 AIME 2024 벤치마크에서 DeepSeek-R1과 거의 동등한 성능을 달성했다는 것입니다. 이는 크기를 줄이면서 성능 저하 없이 LLM을 구축할 수 있는 가능성을 보여주는 획기적인 결과입니다.

결론:

Branch-Merge 증류는 계산 비용과 시간을 줄이면서 작지만 성능이 뛰어난 LLM을 만드는 확장 가능한 솔루션을 제공합니다. 이 연구는 LLM의 경량화 및 효율적인 개발에 중요한 전환점을 마련할 것으로 기대됩니다. 앞으로 이 기술이 어떻게 발전하고 실제 서비스에 적용될지 주목할 필요가 있습니다.