10만개 GPU 클러스터에서 검증된 혁신! 초거대 언어 모델의 속도를 1.7배 높인 COMET

중국 연구진이 개발한 COMET은 미세 조정된 통신-계산 중첩 기술을 통해 초거대 언어 모델의 실행 속도를 최대 1.71배 향상시켰습니다. 1만 개 이상의 GPU를 갖춘 실제 클러스터 환경에서 검증되었으며, 수백만 GPU 시간을 절약하는 성과를 거두었습니다.

최근 수조 파라미터를 넘어서는 초거대 언어 모델이 등장하면서, 이를 효율적으로 운용하는 기술이 중요해지고 있습니다. 특히, 전문가 혼합(Mixture-of-Experts, MoE) 모델은 계산 비용을 유지하면서 모델 크기를 확장할 수 있는 효과적인 방법으로 주목받고 있습니다. 하지만 분산 환경에서 MoE 모델을 구동할 때는 통신 오버헤드가 심각한 병목 현상을 일으키는 문제가 있습니다. 기존의 인기 모델과 프레임워크에서는 MoE 계층 간 통신이 전체 모델 실행 시간의 47%를 차지할 정도로 심각한 상황이었습니다.

이러한 문제를 해결하기 위해, 중국 과학자들이 개발한 COMET이라는 새로운 시스템이 등장했습니다. COMET은 미세 조정된 통신-계산 중첩(fine-grained computation-communication overlapping) 을 통해 기존 방식의 한계를 극복했습니다. 기존의 방법들은 통신과 계산을 대략적으로 겹치게 처리하여 계산 효율성 저하와 지연 시간 감소 효과가 미흡했습니다. 하지만 COMET은 데이터 의존성 분석과 작업 재스케줄링을 통해 통신과 계산을 정밀하게 겹치도록 설계되었습니다.

COMET의 핵심은 적응형 작업 할당입니다. 이를 통해 미세한 통신 병목 현상을 효과적으로 제거하고 다양한 환경에 대한 적응성을 높였습니다. 실제 실험 결과, COMET은 단일 MoE 계층 실행 속도를 1.96배, 전체 모델 실행 속도를 평균 1.71배 향상시켰습니다. 더욱 놀라운 것은, COMET이 1만 개 이상의 GPU로 구성된 대규모 클러스터의 실제 운영 환경에 적용되어 수백만 GPU 시간을 절약하는 성과를 거두었다는 점입니다.

COMET의 주요 특징:

• 미세 조정된 통신-계산 중첩
• 데이터 의존성 분석 및 작업 재스케줄링
• 적응형 작업 할당
• 1만 개 이상의 GPU 클러스터에서 검증된 실제 성능 향상

Zhang Shulai 등의 연구진이 발표한 이 논문은 초거대 언어 모델의 효율적인 구현을 위한 새로운 이정표를 제시했습니다. COMET은 단순한 성능 향상을 넘어, 실제 대규모 클러스터 환경에서 검증된 기술이라는 점에서 그 의미가 더욱 크다고 할 수 있습니다. 앞으로 COMET과 같은 혁신적인 기술들이 초거대 언어 모델의 발전과 실용화를 더욱 가속화할 것으로 기대됩니다.