획기적인 연구! 모든 모델이 전문가 오프로딩에 적합한 것은 아니다: 혼합 전문가 모델의 지역 라우팅 일관성

Jingcong Liang 등 연구진의 논문은 MoE 모델의 전문가 오프로딩 전략의 효율성을 높이기 위해 지역 라우팅 일관성을 분석하고 새로운 지표를 제시했습니다. 분석 결과, 특정 아키텍처와 전문가 구성이 지역 라우팅 일관성을 높이는 데 중요한 역할을 한다는 것을 밝혔으며, 이는 메모리 효율적인 MoE 설계 및 배포에 중요한 시사점을 제공합니다.

획기적인 연구! 모든 모델이 전문가 오프로딩에 적합한 것은 아니다: 혼합 전문가 모델의 지역 라우팅 일관성

최근, Jingcong Liang 등 연구진이 발표한 논문 "Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models" 이 AI 학계에 큰 파장을 일으키고 있습니다. 이 논문은 대규모 언어 모델(LLM) 의 효율적인 확장을 가능하게 하는 혼합 전문가 모델(MoE) 의 전문가 오프로딩 전략에 대한 심층적인 분석을 제공합니다.

메모리 제약 환경에서의 효율적인 MoE 배포

MoE는 추론 시 희소하게 활성화되는 전문가들을 통해 LLM의 효율적인 확장을 가능하게 합니다. 하지만 메모리 제약이 있는 기기에서 대규모 MoE 모델을 효과적으로 배포하려면, 일부 전문가를 빠른 메모리에 캐싱하고 나머지는 느린 메모리(CPU 또는 필요에 따라 로드)에 두는 전문가 오프로딩 기법이 필요합니다. 기존 연구들은 연속적인 토큰들이 유사한 전문가들을 활성화하는 전문가 활성화의 지역성을 활용해 왔지만, 이러한 지역 라우팅 일관성의 정도는 모델에 따라 다르며, 아직 충분히 연구되지 않았습니다.

지역 라우팅 일관성 측정: SRP와 SCH 지표의 등장

연구진은 MoE 모델의 지역 라우팅 일관성을 측정하기 위해 두 가지 새로운 지표를 제안했습니다.

• Segment Routing Best Performance (SRP): 고정된 전문가 그룹이 토큰 집합의 요구사항을 얼마나 잘 충족하는지 평가하는 지표입니다.
• Segment Cache Best Hit Rate (SCH): 주어진 캐시 크기 제한 하에서 최적의 세그먼트 수준 캐시 적중률을 측정하는 지표입니다.

20개 MoE LLM 분석 결과: 놀라운 발견들!

연구진은 다양한 크기와 아키텍처를 가진 20개의 MoE LLM을 분석하여 다음과 같은 중요한 결과를 도출했습니다.

• 모든 계층에 MoE를 적용하고 공유 전문가를 사용하지 않는 모델이 가장 높은 지역 라우팅 일관성을 보였습니다.
• 도메인 특화 전문가가 어휘 특화 전문가보다 라우팅 일관성에 더 크게 기여했습니다.
• 대부분의 모델은 활성 전문가의 약 2배 크기의 캐시로 캐시 효율성과 효율성 간의 균형을 맞출 수 있었습니다.

이러한 발견들은 추론 속도를 저하시키지 않고 메모리 효율적인 MoE 설계 및 배포를 위한 새로운 길을 열어줍니다. 연구진은 실험 재현을 위한 코드를 GitHub (https://github.com/ljcleo/moe-lrc)에 공개했습니다. 이 연구는 앞으로 MoE 모델의 발전과 효율적인 LLM 배포에 중요한 영향을 미칠 것으로 기대됩니다.