ByteScale: 12,000개 이상의 GPU로 2048K 컨텍스트 길이를 지원하는 LLM 훈련의 혁신

Hao Ge 등 연구진이 개발한 ByteScale은 12,000개 이상의 GPU와 2048K의 긴 컨텍스트 길이를 지원하는 LLM 훈련 프레임워크로, 기존 시스템 대비 최대 7.89배 향상된 효율성을 제공합니다. 동적 메시 디자인과 하이브리드 데이터 병렬 처리를 통해 데이터 이질성 문제를 해결하고, 긴 시퀀스의 통신 비용을 줄이며 계산 불균형을 완화하는 혁신적인 기술을 적용했습니다.

12,000개 이상의 GPU로 2048K 컨텍스트 길이를 지원하는 LLM 훈련의 혁신: ByteScale

최근, Hao Ge 등 연구진이 발표한 논문 "ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs"는 LLM 훈련의 효율성을 획기적으로 개선한 ByteScale 프레임워크를 소개하며 AI 업계에 큰 반향을 일으켰습니다. 기존 LLM 훈련의 병목 현상으로 지적되어 온 긴 컨텍스트 처리 문제에 대한 혁신적인 해결책을 제시했기 때문입니다.

긴 컨텍스트, 막대한 메모리 소모의 딜레마

LLM의 핵심 역량 중 하나는 긴 컨텍스트를 처리하는 능력입니다. 하지만 긴 컨텍스트는 막대한 메모리 소모를 야기하여 대규모 훈련에 어려움을 초래했습니다. 기존의 데이터 병렬 처리(Data Parallelism)와 컨텍스트 병렬 처리(Context Parallelism)는 서로 독립적으로 작동하는 정적 메시(static mesh, 예: 2D 메시) 구조를 기반으로 했기 때문입니다. 이는 텍스트, 멀티모달 데이터, 강화 학습 등 다양한 LLM 훈련 시퀀스의 길이 차이로 인해 비효율적인 통신과 계산 불균형을 초래했습니다.

ByteScale: 동적 메시와 하이브리드 데이터 병렬 처리로 한계 극복

ByteScale은 이러한 문제를 해결하기 위해 혁신적인 하이브리드 데이터 병렬 처리(HDP) 전략과 동적 메시 디자인을 도입했습니다. HDP는 데이터 병렬 처리와 컨텍스트 병렬 처리를 통합하여 데이터에 따라 유연하게 메시 구조를 변경합니다. 특히, ByteScale은 다음과 같은 두 가지 핵심 기술을 통해 효율성을 극대화합니다.

• 데이터 인식 분할 및 동적 통신: 짧은 시퀀스의 불필요한 통신을 제거합니다.
• 선택적 오프로딩: 긴 시퀀스의 통신 비용을 압축합니다.

또한, ByteScale은 균형 스케줄러를 통해 병렬 처리에 따른 계산 불균형을 완화합니다. 7B에서 141B에 이르는 다양한 모델 크기와 256K에서 2048K에 이르는 컨텍스트 길이를 사용하여 12,000개 이상의 GPU로 구성된 실제 클러스터에서 ByteScale을 평가한 결과, 최첨단 시스템보다 최대 7.89배 우수한 성능을 보였습니다.

결론: LLM 훈련의 새로운 지평

ByteScale은 LLM 훈련의 효율성을 획기적으로 향상시킨 혁신적인 프레임워크입니다. 동적 메시 디자인과 하이브리드 데이터 병렬 처리를 통해 긴 컨텍스트 처리의 어려움을 극복하고, 대규모 GPU 클러스터를 효율적으로 활용하는 방법을 제시했습니다. 이는 향후 더욱 크고 복잡한 LLM의 개발을 위한 중요한 발걸음이 될 것입니다. ByteScale의 등장은 LLM 연구 및 개발에 새로운 지평을 열었다고 평가할 수 있습니다.