메모리 효율적인 LLM 미세조정: LoRAM의 혁신

LoRAM은 LLM의 메모리 효율적인 미세 조정을 위한 혁신적인 방법으로, 작은 모델로 훈련하고 큰 모델에 적용하는 전략을 통해 메모리 사용량을 크게 줄이면서 성능 향상을 달성했습니다. 이는 LLM의 접근성과 실용성을 높이는 데 크게 기여할 것으로 예상됩니다.

대규모 언어 모델(LLM)은 자연어 처리 분야에 혁명을 일으켰지만, 그 막대한 크기와 훈련 비용은 여전히 큰 장벽입니다. Jun Zhang 등의 연구진이 발표한 논문, "Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models"은 이러한 문제에 대한 획기적인 해결책, LoRAM을 제시합니다.

LoRAM은 기존의 저순위 적응(LoRA) 방식을 개선한 메모리 효율적인 훈련 기법입니다. LoRA는 원본 모델 매개변수를 고정하고, 경량의 저순위 어댑터 행렬만 훈련하는 비용 효율적인 방법이지만, 여전히 원본 모델 매개변수의 메모리 부담이 컸습니다.

LoRAM의 핵심 아이디어는 과매개모수화된 LLM에서 많은 뉴런이 훈련에는 기여도가 낮지만 추론에는 필수적이라는 점입니다. 따라서 LoRAM은 가지치기된(작은) 모델을 이용하여 훈련을 진행하고, 그 결과 얻어진 저순위 행렬을 원본(큰) 모델에 적용하는 독특한 방식을 사용합니다. 더 나아가, 사전에 모델 개발사가 수행하는 최소 비용 지속적 사전 훈련을 통해 가지치기된 모델과 원본 모델 간의 지식 차이를 최소화합니다.

연구진은 다양한 가지치기 전략과 하위 작업에 대한 광범위한 실험을 통해 LoRAM의 효과를 입증했습니다. 특히, 700억 매개변수 모델의 경우, LoRAM을 사용하면 20GB HBM GPU만으로도 훈련이 가능해집니다. 이는 LoRA 훈련에 A100-80G GPU를, 전체 미세 조정에는 15개의 GPU를 사용해야 했던 기존 방식과 비교하면 획기적인 발전입니다.

구조적 가지치기와 4비트 양자화를 결합한 QLoRAM은 LLaMA-3.1-70B (LLaMA-2-70B)에서 메모리 사용량을 15.81배(16.95배)나 감소시키면서, 원본 LLaMA-3.1-70B (LLaMA-2-70B) 및 LoRA 훈련된 LLaMA-3.1-8B (LLaMA-2-13B)보다 뛰어난 성능을 달성했습니다. 이 연구는 LLM의 메모리 효율성을 극적으로 향상시켜, 더욱 광범위한 연구 및 응용을 가능하게 할 것으로 기대됩니다. 자세한 내용은 Github 에서 확인할 수 있습니다.