모든 전문가는 중요하다: MoE 언어 모델을 위한 효과적인 지식 증류 연구

김경만, 추규옥, 양은호 연구팀은 MoE(전문가 혼합) 언어 모델의 효율적인 지식 증류를 위한 새로운 방법인 KA와 SAR을 제안했습니다. 기존의 지식 증류 방법이 MoE 모델의 비활성 전문가의 지식을 활용하지 못하는 한계를 극복하고, 모든 전문가의 지식을 효과적으로 활용하여 성능을 향상시켰습니다.

최근 몇 년 동안 Mixture-of-Experts (MoE) 모델의 등장으로 대규모 언어 모델의 크기 조정이 획기적으로 발전했습니다. 하지만 이러한 MoE 모델은 높은 메모리 요구량 때문에 자원이 제한적인 환경에서는 활용이 어려운 현실적인 문제에 직면해 있습니다.

이러한 문제를 해결하기 위해 지식 증류 (Knowledge Distillation, KD) 기법이 주목받고 있습니다. KD는 대규모 모델의 지식을 작은 모델로 효율적으로 전달하는 기술입니다. 하지만 기존의 KD 방법들은 MoE 모델에 적용될 때 그 효과가 제한적이었습니다. 김경만, 추규옥, 양은호 연구팀은 이러한 한계를 극복하기 위한 연구를 진행했습니다.

연구팀은 MoE 모델 내에서 활성화되지 않은 전문가들도 실제로 유용한 지식을 가지고 있다는 사실을 발견했습니다. 이는 기존의 KD 방법들이 MoE 모델의 잠재력을 충분히 활용하지 못하고 있음을 시사합니다. 기존 방법들은 활성화된 전문가의 지식만을 활용하려고 시도했기 때문입니다.

이러한 문제점을 해결하기 위해 연구팀은 두 가지 혁신적인 MoE 특화 KD 방법을 제안했습니다. 첫 번째는 Knowledge Augmentation (KA) 로, 전문가들을 여러 번 샘플링하여 지식을 증강하는 방법입니다. 두 번째는 Student-Aware Router (SAR) 로, 모든 전문가를 활용하고 라우터 훈련을 통해 학생 모델에 최적의 지식을 전달하는 방법입니다.

연구팀은 광범위한 실험을 통해 KA와 SAR이 기존의 KD 방법들을 능가하는 성능을 보임을 확인했습니다. 이 연구는 MoE 모델의 효율적인 압축 및 활용에 새로운 가능성을 제시하며, 자원 제약 환경에서도 대규모 언어 모델의 활용을 넓힐 수 있는 중요한 발걸음이 될 것으로 기대됩니다. 앞으로 더욱 발전된 MoE 모델과 KD 기술의 발전을 통해, 더욱 강력하고 효율적인 인공지능 시스템 구축이 가능해질 것입니다.

주요 연구 결과:

• MoE 모델의 비활성 전문가도 유용한 지식을 보유
• 기존 KD 방법의 MoE 모델 압축 효율성 한계 지적
• MoE 특화 KD 방법인 KA와 SAR 제안 및 성능 검증
• KA: 전문가 다중 샘플링을 통한 지식 증강
• SAR: 모든 전문가 활용 및 라우터 훈련을 통한 최적 지식 제공