Jakiro: MoE 기반의 분리형 다중 헤드를 활용한 추측적 디코딩 가속화

황해두 등 연구진이 개발한 Jakiro는 MoE와 하이브리드 추론 전략을 통해 추측적 디코딩의 성능을 크게 향상시킨 기술입니다. 다양한 모델에서 효과가 검증되었으며, 추측적 디코딩 분야의 새로운 SOTA를 달성했습니다.

Jakiro: 추측적 디코딩의 새로운 지평을 열다

대규모 언어 모델(LLM)의 추론 속도 향상은 인공지능 분야의 핵심 과제입니다. 최근 황해두(Haiduo Huang) 등 연구진이 발표한 논문 "Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE"는 이 문제에 대한 혁신적인 해결책을 제시합니다. 기존의 추측적 디코딩(SD) 방식은 소규모 모델을 이용해 여러 토큰을 예측한 후, 대규모 모델로 검증하는 방식입니다. 하지만, 소규모 모델의 한계로 인해 정확도 향상을 위해 트리 기반 샘플링이 필요했고, 이는 각 단계에서 생성되는 후보들이 동일한 표현에서 유래되어 다양성이 부족하고 전반적인 효율성이 떨어지는 문제를 야기했습니다.

Jakiro: MoE와 하이브리드 추론 전략의 조화

연구진은 이러한 문제를 해결하기 위해 혼합 전문가(MoE) 를 활용한 Jakiro를 제안합니다. Jakiro는 독립적인 전문가들이 다양한 예측을 생성하여 후보 간의 상관관계를 효과적으로 분리합니다. 더 나아가, 초기 토큰에는 자동회귀 디코딩을, 이후 단계에는 병렬 디코딩을 결합하는 하이브리드 추론 전략을 도입하고, 정확도 향상을 위해 특징에 대조적 메커니즘을 강화했습니다. 이는 마치 여러 전문가가 각자의 전문성을 발휘하여 더욱 정확하고 빠른 예측을 가능하게 하는 협업 시스템과 같습니다.

놀라운 성능 향상과 폭넓은 적용 가능성

Jakiro는 예측 정확도를 크게 높이고 추론 속도를 더욱 향상시켰습니다. 다양한 모델에 대한 광범위한 실험을 통해 그 효과와 강건성을 검증했으며, 추측적 디코딩 분야의 새로운 최고 성능(SOTA)을 달성했습니다. Github (https://github.com/haiduo/Jakiro) 에서 코드를 공개하여, 다른 연구자들의 활용과 발전을 촉진하고 있습니다. 이는 단순한 기술적 개선을 넘어, LLM의 실제 활용 가능성을 획기적으로 높이는 중요한 성과라고 할 수 있습니다. 앞으로 Jakiro를 기반으로 한 더욱 발전된 추측적 디코딩 기술이 등장할 것으로 기대됩니다.

핵심: Jakiro는 MoE와 하이브리드 추론 전략을 통해 추측적 디코딩의 정확도와 속도를 동시에 향상시킨 혁신적인 기술입니다. 이 연구는 LLM의 실용화에 중요한 기여를 할 것으로 예상됩니다. 💫