APOLLO: 메모리 효율 혁신으로 LLM 학습의 새로운 지평을 열다


APOLLO는 AdamW 수준의 성능을 유지하면서 SGD 수준의 메모리만 사용하는 혁신적인 LLM 최적화 알고리즘으로, 처리량 향상, 모델 확장성 개선, 저사양 GPU 지원 등 다양한 장점을 제공하여 AI 모델 개발의 새로운 지평을 열었습니다.

related iamge

메모리 부족에 허덕이는 거대 언어 모델, APOLLO가 구원투수로 등장!

대규모 언어 모델(LLM) 훈련은 엄청난 메모리를 필요로 합니다. 특히 AdamW 최적화 알고리즘을 사용할 경우 그 문제는 더욱 심각해지죠. 더 크고 성능 좋은 GPU를 사용하거나 배치 크기를 줄이는 방법밖에 없었던 기존 방식은 학습 확장성과 처리량에 제약이 있었습니다. 메모리 효율적인 최적화 기법들이 제시되었지만, 비싼 SVD 연산 의존성, AdamW 대비 성능 저하, 여전히 높은 메모리 오버헤드 등의 문제점을 안고 있었습니다.

하지만 이제 희망이 있습니다! Hanqing Zhu 등 연구진이 개발한 APOLLO(Approximated Gradient Scaling for Memory-Efficient LLM Optimization) 가 그 해결책입니다. APOLLO는 AdamW의 학습률 조정 규칙을 효과적으로 단순화하여, 순수한 난수 투영을 기반으로 보조 저랭크 최적화 상태를 사용하는 독창적인 방법을 제시합니다. 이를 통해 메모리 감소에 대한 내성을 높여 AdamW와 비슷한 사전 학습 성능을 제공합니다.

APOLLO의 놀라운 성능:

  • APOLLO-Mini: SGD 수준의 메모리만 사용하면서 AdamW보다 뛰어난 사전 학습 성능을 달성했습니다.
  • 메모리 절약: AdamW의 최적화 상태를 거의 제거하여 메모리 사용량을 획기적으로 줄였습니다. 이는 단순한 메모리 절약을 넘어 시스템 전체의 성능 향상으로 이어집니다.
  • 처리량 향상: 8개의 A100-80GB GPU 시스템에서 AdamW 대비 3배의 처리량을 달성했습니다. 4배 더 큰 배치 크기를 지원하기 때문입니다.
  • 모델 확장성 개선: 시스템 최적화 없이 A100-80GB GPU에서 LLaMA-13B를 단순 DDP(Data Parallelism)로 사전 학습할 수 있습니다.
  • 저사양 GPU 지원: 가중치 양자화를 통해 12GB 미만의 메모리로 단일 GPU에서 LLaMA-7B 사전 학습이 가능해졌습니다.

결론적으로 APOLLO는 단순한 메모리 효율 개선을 넘어, LLM 학습의 처리량, 확장성, 접근성을 모두 높이는 획기적인 기술입니다. 이는 AI 모델 개발의 문턱을 낮추고, 더욱 혁신적인 AI 시대를 앞당길 중요한 이정표가 될 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] APOLLO: SGD-like Memory, AdamW-level Performance

Published:  (Updated: )

Author: Hanqing Zhu, Zhenyu Zhang, Wenyan Cong, Xi Liu, Sem Park, Vikas Chandra, Bo Long, David Z. Pan, Zhangyang Wang, Jinwon Lee

http://arxiv.org/abs/2412.05270v1