딥러닝 분산 학습의 혁신: 자동 운영자 수준 병렬 처리 계획

상하이 교통대학교 연구팀은 혼합 정수 계획법을 활용한 자동 병렬화 계획 프레임워크를 개발하여, 대규모 딥러닝 모델의 분산 학습 및 추론 효율을 획기적으로 향상시켰습니다. 전문가 수준의 성능을 보이며 계산 병목 현상을 절반으로 줄이는 등 놀라운 결과를 보여주었습니다.

수십억 개의 매개변수를 가진 거대 언어 모델 시대에 접어들면서, 분산 학습과 추론은 필수적이 되었습니다. 데이터, 모델, 시퀀스, 파이프라인 등 다양한 병렬화 전략이 주류 하드웨어에서 성공적으로 구현되었지만, 분산 배포 일정을 최적화하는 데는 상당한 전문 지식과 수동 작업이 필요했습니다. 특히 기존 프레임워크는 단순한 체인 구조에만 적합하며, 복잡한 비선형 구조에는 어려움을 겪습니다. 전문가 혼합 모델(Mixture-of-experts)과 다중 모드 모델은 복잡한 MIMO 및 분기가 많은 토폴로지를 특징으로 하며, 기존 프레임워크의 기능을 넘어서는 세분화된 운영자 수준의 병렬화가 필요합니다.

She 등 연구팀의 혁신적인 접근 방식

상하이 교통대학교의 She Ruifeng, Pang Bowen, Li Kai, Liu Zehua, Zhong Tao 연구팀은 병렬화 계획을 혼합 정수 계획법(Mixed-Integer Programming)을 사용한 스케줄링 최적화 문제로 공식화하는 방법을 제안했습니다. 이들은 최적성과 계산 효율성 간의 균형을 맞추는 2단계 솔루션 프레임워크를 제안하여, 현대 신경망의 이질적인 구조와 기본 하드웨어 제약 조건을 모두 고려하는 효과적인 분산 계획을 자동으로 생성합니다.

놀라운 실험 결과

DeepSeek의 DualPipe와 같은 전문가가 설계한 전략과 비교한 실험에서, 이 프레임워크는 동등하거나 우수한 성능을 달성했으며, 동일한 메모리 제약 조건 하에서 계산 병목 현상을 절반으로 줄였습니다. 이 프레임워크의 다양성은 처리량 최적화를 넘어 하드웨어 활용 극대화, 메모리 용량 제약 조건 및 기타 고려 사항이나 잠재적 전략을 통합하는 데까지 확장됩니다. 이러한 기능은 최적의 병렬화 전략을 탐색하기 위한 귀중한 연구 도구이자 대규모 AI 배포를 위한 실용적인 산업 솔루션으로서의 위치를 확보합니다.

미래를 향한 전망

이 연구는 대규모 AI 모델의 효율적인 분산 학습 및 추론을 위한 중요한 발걸음입니다. 자동화된 병렬화 계획은 전문가의 수동 작업을 줄이고, 더욱 복잡하고 대규모의 모델을 효과적으로 처리할 수 있는 길을 열어줄 것입니다. 앞으로 이 프레임워크가 더욱 발전하여 다양한 하드웨어와 신경망 구조에 적용되고, AI의 발전에 크게 기여할 것으로 기대됩니다. 이는 단순한 기술적 진보를 넘어, AI의 민주화와 접근성 향상으로 이어질 수 있는 획기적인 성과입니다. 💯