혁신적인 AI 지식 증류 프레임워크 등장: 이중 공간 지식 증류(DSKD)

본 기사는 대규모 언어 모델의 지식 증류를 위한 혁신적인 이중 공간 지식 증류(DSKD) 프레임워크에 대한 연구를 소개합니다. 기존 방법의 한계를 극복하고 프로젝터와 정확한 토큰 정렬 알고리즘을 통해 우수한 성능을 달성한 DSKD는 LLM 경량화 및 실용화에 큰 기여를 할 것으로 예상됩니다.

대규모 언어 모델 경량화의 혁신: 이중 공간 지식 증류(DSKD) 프레임워크

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 그 막대한 크기와 연산 비용 때문에 실제 활용에 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위한 유망한 방법으로 지식 증류(Knowledge Distillation, KD) 가 주목받고 있습니다. KD는 거대한 교사 모델(teacher model)의 지식을 작고 효율적인 학생 모델(student model)로 전이하는 기술입니다.

하지만 기존의 백색 상자 KD 방식은 두 가지 중요한 한계를 가지고 있습니다. 먼저, 교사 모델과 학생 모델의 출력 분포가 서로 다른 공간에 존재하여 모델 간 유사성을 제한한다는 점입니다. 둘째, 서로 다른 어휘 집합을 가진 LLM에는 적용할 수 없다는 점입니다. 이러한 문제의 근본 원인은 KD를 위한 교사와 학생 모델의 분포가 서로 다른 예측 헤드(prediction heads)에 의해 생성되기 때문입니다.

장 쉐(Xue Zhang) 등 7명의 연구진은 이러한 한계를 극복하기 위해 혁신적인 이중 공간 지식 증류(Dual-space Knowledge Distillation, DSKD) 프레임워크를 제안했습니다. DSKD는 교사와 학생 모델의 예측 헤드를 통합하여 이 문제를 해결합니다.

핵심 아이디어는 다음과 같습니다. 먼저, 이상적인 초기화를 가진 두 개의 프로젝터(projector)를 도입하여 교사/학생 모델의 은닉 상태(hidden states)를 학생/교사 모델의 표현 공간으로 투영합니다. 이를 통해 서로 다른 모델의 은닉 상태가 동일한 헤드를 공유하고 출력 공간이 통합됩니다. 또한, 연구진은 정확한 토큰 정렬(Exact Token Alignment, ETA) 알고리즘을 개발하여 서로 다르게 토큰화된 시퀀스에서 동일한 토큰을 정렬합니다.

DSKD 프레임워크는 정책 기반(on-policy) 및 오프 정책 기반(off-policy) KD를 모두 지원하며, 어휘 집합이 다른 LLM 간의 KD도 가능하게 합니다. 명령어 따르기, 수학적 추론, 코드 생성 등 다양한 벤치마크 실험 결과, DSKD는 기존의 백색 상자 KD 방식 및 다른 토큰 간 KD 방법보다 훨씬 우수한 성능을 보였습니다. 이는 LLM의 경량화 및 실용화에 큰 도약을 가져올 것으로 기대됩니다.

이 연구는 LLM의 효율성과 성능 향상에 크게 기여하며, 앞으로 AI 기술 발전에 중요한 이정표가 될 것으로 예상됩니다. 특히, 서로 다른 어휘를 가진 모델 간의 지식 전이를 가능하게 한 점은 매우 주목할 만합니다. 향후 DSKD 프레임워크를 기반으로 한 다양한 연구가 활발히 진행될 것으로 예상됩니다.