슈퍼컴퓨터 Frontier를 활용한 초거대 언어 모델 훈련의 혁신: 저대역폭 분할 기법

Lang Xu 등 연구진은 Frontier 슈퍼컴퓨터의 하드웨어 특성을 고려한 3단계 계층적 분할 전략을 제시하여, ZeRO++ 알고리즘을 개선하고 초거대 언어 모델(LLM) 훈련의 효율성을 크게 향상시켰습니다. 20B GPT 모델 훈련에서 GPU당 TFLOPS가 1.71배 증가하고, 384개의 GCD까지 0.94의 확장 효율을 달성했습니다.

슈퍼컴퓨터 Frontier를 활용한 초거대 언어 모델 훈련의 혁신: 저대역폭 분할 기법

최근 급증하는 초거대 언어 모델(LLM) 훈련은 막대한 양의 파라미터를 제한된 수의 작업자(워커)에 분산하여 처리해야 하는 어려움을 안고 있습니다. 기존의 ZeRO-3와 같은 방법들은 GPU 메모리 부담을 줄이는 데 효과적이지만, 전역 동기화와 일관성을 유지하기 위한 과도한 통신 오버헤드를 발생시킵니다.

이러한 문제를 해결하기 위해, Lang Xu 등 연구진은 AMD GPU 기반의 세계 2위 슈퍼컴퓨터인 Frontier의 하드웨어 구조를 활용한 새로운 전략을 제시했습니다. 그들의 연구는 **'저대역폭 분할을 통한 대규모 언어 모델 훈련 확장'**이라는 주제로, 기존의 ZeRO++ 알고리즘을 개선하여 통신 비용을 줄이고 메모리 활용 효율을 높이는 데 초점을 맞추고 있습니다.

연구진은 Frontier의 특성을 고려하여 3단계 계층적 분할 전략을 제안합니다. 이는 GCD-GCD, GPU-GPU, 노드 간 통신 등 다양한 대역폭을 활용하여 통신 오버헤드를 최소화하는 것을 목표로 합니다. 이는 단순히 기존의 기술을 적용하는 것이 아니라, 특정 하드웨어 환경에 맞춤형으로 최적화된 전략을 제시했다는 점에서 큰 의미를 가집니다.

실험 결과, 20B GPT 모델을 훈련하는 경우, ZeRO++ 대비 최대 384개의 GCD를 사용했을 때 GPU당 TFLOPS가 1.71배 증가했으며, 최대 384개의 GCD까지 0.94의 확장 효율을 달성했습니다. 이는 제안된 3단계 계층적 분할 전략이 LLM 훈련의 효율성을 크게 향상시킬 수 있음을 보여줍니다.

이 연구는 단순히 성능 향상을 넘어, 대규모 언어 모델 훈련의 확장성 문제에 대한 새로운 패러다임을 제시하는 의미를 지닙니다. 슈퍼컴퓨터의 하드웨어 특성을 고려한 최적화 전략은 앞으로 더욱 복잡하고 대규모의 모델 훈련에 필수적인 요소가 될 것입니다. 향후 연구는 더욱 다양한 하드웨어 환경과 모델에 적용 가능한 일반적인 방법론을 개발하는 데 집중될 것으로 예상됩니다.