메모리 효율적인 초거대 언어 모델 미세조정의 혁신: DiZO 알고리즘 등장!

Tan Qitao 등 연구진이 개발한 DiZO 알고리즘은 제로차 최적화의 단점을 극복하여 메모리 효율성을 유지하면서도 빠르고 정확한 LLM 미세 조정을 가능하게 합니다. GPU 시간을 최대 48%까지 절감하는 등 뛰어난 성능 향상을 보여주어 LLM의 실제 적용에 큰 기여를 할 것으로 기대됩니다.

메모리 효율과 성능, 두 마리 토끼를 잡다: DiZO 알고리즘

최근 급성장하는 초거대 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보여주지만, 기존의 일차(FO) 미세 조정 방식은 막대한 메모리를 필요로 합니다. 이로 인해 실제 환경에서의 배포가 어려워지는 문제점이 존재했죠. 이러한 한계를 극복하기 위해 등장한 것이 바로 제로차(ZO) 최적화입니다. ZO 최적화는 역전파 과정 없이 순전파만으로 기울기를 추정하여 메모리 사용량을 크게 줄일 수 있습니다. 하지만 ZO 방법은 FO 방법에 비해 수렴 속도와 정확도가 현저히 떨어지는 단점이 있었습니다.

그런데, 이러한 문제를 해결할 획기적인 연구 결과가 발표되었습니다! Tan Qitao 등 연구진이 발표한 논문 "Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning" 에서는, DiZO (Divergence-driven Zeroth-Order) 최적화 알고리즘을 제안합니다.

DiZO는 FO와 ZO 최적화의 업데이트 패턴 차이를 계층별 발산 분석을 통해 밝혀내고, 이를 바탕으로 ZO 업데이트에 투영을 적용하여 계층별 최적화 요구에 정밀하게 맞춰 업데이트 크기를 조정합니다. 마치 FO 방법의 학습 능력을 모방하는 것과 같다고 할 수 있죠.

연구 결과는 놀랍습니다. DiZO는 수렴에 필요한 반복 횟수를 크게 줄이면서 처리량은 유지하였고, 다양한 데이터셋에서 GPU 시간을 최대 48%까지 단축시켰습니다. 뿐만 아니라, RoBERTa-large, OPT-시리즈, Llama-시리즈 등의 LLM 미세 조정에서 기존 ZO 기준 모델들을 꾸준히 능가했으며, 경우에 따라서는 메모리 집약적인 FO 미세 조정보다 더 나은 성능을 보였습니다.

이는 메모리 효율성과 성능 향상이라는 두 마리 토끼를 동시에 잡은 쾌거라고 할 수 있습니다. DiZO 알고리즘은 향후 LLM의 실제 적용에 있어 중요한 전환점이 될 것으로 기대됩니다. 메모리 제약이 큰 모바일 기기나 저전력 환경에서도 강력한 LLM을 활용할 수 있는 길이 열린 것입니다.

핵심은 바로 '계층별 발산 분석'과 '투영 기법'의 조합입니다. 이를 통해 ZO 최적화의 고질적인 문제점을 해결하고, 메모리 효율성과 성능을 동시에 달성하는 놀라운 결과를 얻어낸 것이죠.