Frontier 슈퍼컴퓨터를 활용한 초거대 언어 모델 훈련의 혁신: 저대역폭 분할 기법


본 기사는 Lang Xu 등 연구팀이 Frontier 슈퍼컴퓨터의 AMD GPU 특성을 고려하여 개발한 3단계 계층적 분할 기법을 소개합니다. 이 기법은 초거대 언어 모델(LLM) 훈련의 확장성 문제를 해결하고, 통신 비용을 줄이며 메모리 활용도를 높여, 기존 방법 대비 1.71배의 성능 향상을 달성했습니다.

related iamge

최근 초거대 언어 모델(LLM)의 훈련은 엄청난 양의 매개변수를 처리해야 하는 어려움에 직면해 있습니다. 기존의 ZeRO-3와 같은 방법은 GPU 메모리 부담을 줄이지만, 전역 동기화를 위한 과도한 통신량이 문제였습니다. ZeRO++는 노드 내 GPU 간 전송의 이점을 활용하여 노드 간 통신을 줄이려는 시도를 했지만, Frontier와 같은 최첨단 슈퍼컴퓨터의 등장과 AMD GPU의 특성을 고려한 더욱 효율적인 전략이 필요했습니다.

Lang Xu를 비롯한 연구팀은 이러한 문제에 대한 해결책으로 Frontier 슈퍼컴퓨터의 하드웨어 토폴로지를 고려한 새로운 3단계 계층적 분할 기법을 제안했습니다. 이 기법은 GCD-GCD, GPU-GPU, 노드 간 통신의 다양한 대역폭을 활용하여 통신 오버헤드를 줄이는 데 초점을 맞추고 있습니다. 이는 단순히 기존 방법의 개선을 넘어, 하드웨어의 특성을 최대한 활용하는 맞춤형 전략이라고 할 수 있습니다.

연구 결과, 20B GPT 모델을 사용한 실험에서 ZeRO++와 비교하여 GPU 당 TFLOPS가 최대 1.71배 증가했으며, 최대 384개의 GCD에서 0.94의 확장 효율을 달성했습니다. 특히, 이 연구는 Frontier AMD GPU에서 LLM 작업 부하를 효율적으로 최적화한 최초의 사례라는 점에서 큰 의미를 갖습니다.

핵심 내용:

  • 문제: LLM 훈련의 확장성 저하, 과도한 통신 오버헤드
  • 해결책: Frontier 슈퍼컴퓨터의 하드웨어 토폴로지를 고려한 3단계 계층적 분할 기법
  • 결과: ZeRO++ 대비 GPU 당 TFLOPS 1.71배 증가, 최대 384개 GCD에서 0.94의 확장 효율 달성

이 연구는 LLM 훈련의 효율성을 획기적으로 향상시키는 중요한 발견이며, 향후 초거대 언어 모델 개발에 큰 영향을 미칠 것으로 예상됩니다. 앞으로 더욱 발전된 연구를 통해 더욱 효율적이고 강력한 LLM을 기대할 수 있을 것입니다. 하지만, 이러한 기술 발전과 함께, LLM의 윤리적 문제 및 사회적 영향에 대한 지속적인 고민과 논의 또한 중요합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning

Published:  (Updated: )

Author: Lang Xu, Quentin Anthony, Jacob Hatef, Aamir Shafi, Hari Subramoni, Dhabaleswar K., Panda

http://arxiv.org/abs/2501.04266v1