메모리 효율적인 거대 언어 모델 학습의 혁신: LoRAM의 등장

본 기사는 메모리 효율적인 거대 언어 모델 학습을 위한 혁신적인 기법인 LoRAM에 대해 소개합니다. LoRAM은 가지치기된 작은 모델을 학습하여 얻은 저계수 행렬을 원본 모델에 적용하여 메모리 사용량을 획기적으로 줄이고, 동시에 우수한 성능을 달성하는 기법입니다. 특히 QLoRAM은 메모리 비용을 15배 이상 절감하면서 성능 향상을 가져왔습니다. 이는 제한된 자원으로도 거대 언어 모델 학습이 가능하게 하는 획기적인 기술입니다.

최근 급격한 발전을 이룬 거대 언어 모델(LLM)은 뛰어난 일반화 능력으로 자연어 처리 분야에 혁명을 일으켰습니다. 그러나 LLM의 막대한 매개변수는 학습 및 추론에 필요한 메모리 용량을 급증시키는 주요 병목 현상이었습니다. 이 문제를 해결하기 위해 저자들은 LoRAM(Low-Rank Adaptation with Memory Reduction) 이라는 혁신적인 기법을 제시했습니다.

LoRAM은 기존의 저계수 적응(LoRA) 방식을 개선하여 메모리 효율을 극대화하는 데 초점을 맞추고 있습니다. LoRA는 원본 모델 매개변수를 고정하고 가볍고 저계수인 어댑터 행렬만 학습하여 비용 효율적인 미세 조정을 제공합니다. 하지만 LoRA의 메모리 사용량은 여전히 원본 모델 매개변수에 크게 의존한다는 단점이 있습니다.

LoRAM은 과매개변수화된 LLM에서 많은 뉴런이 학습에 미치는 영향이 적지만 추론에는 필수적이라는 점에 착안하여 개발되었습니다. 핵심 아이디어는 가지치기된(작은) 모델에서 학습하여 얻은 가지치기된 저계수 행렬을 원본(큰) 모델에 적용하는 것입니다. 이는 700억 개의 매개변수를 가진 모델을 단 20GB의 HBM GPU로 학습할 수 있게 해줍니다. 이는 기존 LoRA 학습에 필요한 A100-80G GPU 또는 전체 미세 조정을 위한 15개의 GPU를 대체할 수 있는 획기적인 성과입니다.

더 나아가, 최소 비용 연속 사전 학습(minimal-cost continual pre-training) 을 통해 가지치기된 모델과 원본 모델 간의 지식 차이를 최소화합니다. 이는 모델 제공업체가 미리 수행하는 작업으로, LoRAM의 효율성을 더욱 높여줍니다.

특히, 구조적 가지치기와 4비트 양자화를 결합한 QLoRAM은 LLaMA-3.1-70B (LLaMA-2-70B) 모델의 메모리 사용량을 15.81배(16.95배)까지 줄이면서 동시에 성능을 크게 향상시켰습니다. 이는 기존 LLaMA-3.1-70B (LLaMA-2-70B) 및 LoRA로 학습된 LLaMA-3.1-8B (LLaMA-2-13B) 모델보다 뛰어난 성능을 보여줍니다.

결론적으로, LoRAM은 제한된 메모리 환경에서도 거대 언어 모델의 효율적인 학습과 미세 조정을 가능하게 하는 혁신적인 기술입니다. 이는 향후 더욱 크고 복잡한 LLM 개발에 중요한 돌파구를 마련할 것으로 기대됩니다. Zhang Jun 등 연구팀의 이러한 성과는 AI 분야의 발전에 크게 기여할 것으로 전망됩니다.