대규모 언어 모델 훈련의 혁신: 최적 하이퍼파라미터 스케일링 법칙 발견

중국과학원 연구진이 대규모 언어 모델(LLM) 훈련의 최적 하이퍼파라미터를 예측하는 스케일링 법칙을 발견했습니다. 모델 크기와 데이터 크기에 따른 학습률과 배치 크기의 최적값을 예측하는 이 법칙은 다양한 모델 구조와 데이터 분포에서 강건성을 보이며, LLM 개발의 효율성과 예측 가능성을 크게 향상시킬 것으로 기대됩니다.

최근 괄목할 만한 성능을 보이는 대규모 언어 모델(LLM)은 이제 막 연구 단계를 넘어 실제 서비스에 적용되는 단계에 이르렀습니다. 하지만, LLM의 효과적인 배포를 위해서는 하이퍼파라미터 최적화가 필수적입니다. 중국과학원 산하 연구진(Li Houyi 외)의 획기적인 연구는 이러한 어려움에 대한 해결책을 제시합니다. 그들은 방대한 실험을 통해 LLM 훈련에 있어 최적의 하이퍼파라미터를 결정하는 보편적인 스케일링 법칙을 발견했습니다.

연구진은 다양한 구성을 가진 그리드 탐색을 통해, 모델 매개변수와 데이터 크기에 따라 최적 학습률이 거듭제곱 법칙을 따른다는 사실을 밝혀냈습니다. 더욱이 최적 배치 크기는 주로 데이터 크기에 비례한다는 것을 발견했습니다. 이는 모델 훈련 과정의 효율성을 극대화할 수 있는 중요한 발견입니다. 단순히 경험적으로 최적값을 찾는 대신, 이제는 예측 가능한 수학적 법칙을 통해 최적값에 접근할 수 있게 된 것입니다.

흥미롭게도, 연구진은 고정된 모델 및 데이터 크기 조건 하에서 하이퍼파라미터에 대한 볼록 최적화 지형을 확인했습니다. 이는 최적 하이퍼파라미터가 '평원'처럼 존재하며, 이를 찾는 과정이 상대적으로 용이함을 의미합니다. 이는 LLM 개발 및 배포 비용을 크게 절감할 수 있는 잠재력을 가지고 있습니다.

연구진은 이러한 발견을 바탕으로 범용적인 플러그 앤 플레이 방식의 최적 하이퍼파라미터 도구를 개발했습니다. 이 도구는 테스트 세트에서 전역 최적 성능과 불과 0.09%의 오차만을 보이며, 실제 적용 가능성을 입증했습니다. 특히, 이 법칙은 모델의 희소성, 훈련 데이터 분포, 모델 구조(MoE 모델이나 Dense Transformer 등)의 변화에도 뛰어난 강건성을 나타냈다는 점에서 주목할 만합니다. 이는 이전 연구들에서는 볼 수 없었던 괄목할 만한 성과입니다.

이러한 놀라운 결과는 막대한 계산 자원을 필요로 했습니다. 연구팀은 약 100만 시간에 달하는 NVIDIA H800 GPU 시간을 사용하여 크기와 하이퍼파라미터가 다양한 3,700개의 LLM을 처음부터 훈련했습니다. 총 100조 토큰이라는 어마어마한 양의 데이터를 사용한 결과입니다. 연구의 재현성을 높이기 위해, 연구진은 https://step-law.github.io/ 에서 손실 측정값과 모델 체크포인트를 순차적으로 공개할 예정입니다. 이는 AI 연구 발전에 크게 기여할 것으로 기대됩니다.

이 연구는 단순한 기술적 진보를 넘어, LLM 개발의 패러다임을 바꿀 잠재력을 지닌 획기적인 성과입니다. 이제 LLM 개발자들은 이 법칙을 활용하여 훨씬 더 효율적이고 예측 가능하게 최적의 모델을 구축할 수 있게 되었습니다.