혁신적인 MoE 구조, BigMac: AI 모델 학습 및 추론 속도 3배 향상

Jin Zewen 등의 연구진이 개발한 BigMac은 기존 MoE 구조의 통신 병목 현상을 해결하여 학습 속도 최대 3.09배, 추론 처리량 최대 3.11배 향상을 달성한 혁신적인 AI 모델 구조입니다. 저차원 통신과 재설계된 소규모 전문가 네트워크를 통해 고성능을 유지하면서 효율성을 극대화했습니다.

초고속 AI 모델 시대를 여는 BigMac의 등장

최근 급성장하는 거대 언어 모델(LLM) 분야에서 Mixture-of-Experts (MoE) 구조는 뛰어난 성능 향상과 함께 계산 자원의 소모를 줄이는 혁신적인 기술로 주목받고 있습니다. 특히, DeepSeekMoE 와 같은 세분화된 MoE 구조는 효율성을 더욱 높였지만, 여전히 All-to-All 통신이라는 큰 병목 현상에 직면해 있습니다. 이는 많은 전문가를 활성화할수록 통신 오버헤드가 기하급수적으로 증가하기 때문입니다.

Jin Zewen 등 8명의 연구원은 이러한 문제점을 해결하기 위해 새로운 MoE 구조인 BigMac을 제안했습니다. BigMac의 핵심은 기존의 Communicate-Descend-Ascend-Communicate (CDAC) 방식 대신 Descend-Communicate-Communicate-Ascend (DCCA) 방식을 채택하여 통신을 저차원에서 수행하도록 설계한 것입니다. 전문가 네트워크의 입구와 출구에 하향 및 상향 투영을 추가하여 고차원 통신을 피하고 효율성을 극대화한 것이죠. 뿐만 아니라, DCCA 방식에 맞춰 소규모 전문가 네트워크의 구조를 재설계하여 토큰 처리 능력을 유지하고 개선했습니다.

연구 결과, BigMac은 동일한 전문가 수와 유사한 파라미터 수를 가진 기존의 세분화된 MoE와 비교하여 동등하거나 더 나은 성능을 보였습니다. 더욱 놀라운 것은, Megatron, Tutel, DeepSpeed-Inference 등 최첨단 AI 컴퓨팅 프레임워크에서 학습 속도 최대 3.09배, 추론 처리량 최대 3.11배 향상이라는 엄청난 결과를 달성했습니다. 이는 AI 모델 학습과 추론 시간을 획기적으로 단축시켜 AI 기술의 상용화를 앞당길 잠재력을 가지고 있습니다.

BigMac은 단순한 속도 향상을 넘어, 고성능 AI 모델 개발에 있어 새로운 가능성을 제시합니다. 앞으로 BigMac을 기반으로 더욱 발전된 MoE 구조와 LLM들이 등장할 것으로 기대하며, AI 기술의 눈부신 발전을 지켜볼 필요가 있습니다.