혁신적인 AI 최적화 알고리즘 SWAN: 메모리 절약과 성능 향상의 조화


Chao Ma 등 연구진이 개발한 SWAN 알고리즘은 SGD에 GradNorm과 GradWhitening 전처리 연산자를 적용하여 Adam 수준의 성능을 달성하면서 메모리 사용량을 50% 절감했습니다. LLaMa 모델 실험 결과, 2배의 속도 향상을 보였습니다.

related iamge

최근 초거대 언어 모델(LLM)의 발전은 눈부시지만, 막대한 메모리 요구량은 훈련의 걸림돌이 되고 있습니다. 기존의 Adam 최적화 알고리즘은 성능은 뛰어나지만, 모델 크기보다 훨씬 큰 메모리를 필요로 합니다. 반면, 메모리 효율이 높은 SGD는 LLM 훈련에는 성능이 부족하다는 한계가 있었습니다.

이러한 문제를 해결하기 위해 Chao Ma 등 연구진이 개발한 SWAN(SGD with Whitening And Normalization) 은 게임 체인저가 될 만한 혁신적인 알고리즘입니다. SWAN은 기존 SGD에 두 가지 간단하지만 강력한 전처리 연산자인 **GradNorm**과 **GradWhitening**을 적용하여 놀라운 성능 향상을 이뤄냈습니다.

GradNorm은 기울기 분포를 안정화시키고, GradWhitening은 손실 함수의 국소적 곡률을 해소함으로써 SGD의 성능을 극적으로 개선합니다. 결과적으로 SWAN은 Adam과 동일한 성능을 달성하면서도 Adam 대비 약 50%의 메모리 절감 효과를 보입니다. 이는 곧 더 큰 모델을 훈련하거나, 더 빠른 속도로 훈련할 수 있음을 의미합니다.

실제 LLaMa 모델(3억 5천만 및 13억 파라미터)을 이용한 실험에서 SWAN은 Adam과 동등하거나 더 나은 성능을 보였습니다. 특히 주목할 만한 점은 동일한 평가 perplexity에 도달하는데 필요한 토큰 수가 절반 이하로 줄어들어 2배의 속도 향상을 달성했다는 것입니다.

SWAN의 등장은 LLM 훈련의 새로운 지평을 열었습니다. 메모리 제약으로 인해 어려움을 겪던 연구자들에게 희소식이 될 뿐만 아니라, 더욱 크고 강력한 LLM 개발을 가속화할 것으로 기대됩니다. 이는 AI 발전에 있어 중요한 전환점이 될 것입니다. 하지만, SWAN의 성능은 모델과 데이터셋에 따라 달라질 수 있으므로, 다양한 환경에서의 추가적인 연구가 필요합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] SWAN: Preprocessing SGD Enables Adam-Level Performance On LLM Training With Significant Memory Reduction

Published:  (Updated: )

Author: Chao Ma, Wenbo Gong, Meyer Scetbon, Edward Meeds

http://arxiv.org/abs/2412.13148v1