BigMac: 통신 효율적인 전문가 혼합 모델 구조 - 빠른 훈련과 추론을 위한 혁신

Jin Zewen 등이 제안한 BigMac은 기존 MoE의 All-to-All 통신 병목 현상을 DCCA 방식으로 해결, 훈련 속도 3.09배, 추론 처리량 3.11배 향상을 달성하며 AI 모델 개발의 효율성을 혁신적으로 개선했습니다.

BigMac: 초고속 AI 모델 훈련과 추론의 혁명

최근 급증하는 대규모 언어 모델(LLM)의 훈련과 추론 속도 향상을 위한 연구가 활발히 진행되고 있습니다. 특히, 전문가 혼합(MoE) 구조는 계산 자원의 점진적 증가만으로 LLM의 성능을 크게 향상시키는 혁신적인 방법으로 주목받고 있습니다. 그러나 기존의 정교한 MoE 구조인 DeepSeekMoE는 All-to-All 통신으로 인한 병목 현상에 직면하며, 많은 전문가를 활성화할수록 통신 오버헤드가 기하급수적으로 증가하는 문제점을 가지고 있었습니다.

Jin Zewen 등 8명의 연구진이 발표한 논문 "BigMac: A Communication-Efficient Mixture-of-Experts Model Structure for Fast Training and Inference"는 이러한 문제점을 해결하기 위해 새로운 MoE 구조인 BigMac을 제시합니다. BigMac의 핵심 혁신은 기존의 CDAC(Communicate-Descend-Ascend-Communicate) 방식을 폐기하고 DCCA(Descend-Communicate-Communicate-Ascend) 방식을 도입한 것입니다.

이는 전문가 입구와 출구에 하향 및 상향 투영(projection) 을 추가하여 최고 차원에서의 All-to-All 통신을 피하고 저차원 통신을 가능하게 합니다. 더불어, DCCA 방식에 맞춰 소형 전문가의 구조를 재설계하여 토큰 처리 능력을 유지하면서 효율성을 극대화하였습니다.

실험 결과, BigMac은 동일한 전문가 수와 유사한 총 파라미터 수를 가진 기존의 정교한 MoE 구조와 비교하여 동등하거나 더 나은 모델 성능을 달성했습니다. 더욱 중요한 것은, BigMac이 Megatron, Tutel, DeepSpeed-Inference 등 최첨단 AI 컴퓨팅 프레임워크에서 훈련 속도를 최대 3.09배, 추론 처리량을 최대 3.11배 향상시켰다는 점입니다. 이는 AI 모델 개발의 속도와 효율성에 획기적인 발전을 가져올 것으로 기대됩니다.

결론적으로, BigMac은 통신 효율을 극대화하여 대규모 언어 모델의 훈련과 추론 속도를 비약적으로 향상시킨 혁신적인 MoE 구조입니다. 이는 향후 AI 기술 발전에 중요한 기여를 할 것으로 예상됩니다.