PaCA: 대규모 언어 모델의 효율적인 파인튜닝을 위한 혁신적인 방법

우성현 등 연구팀이 개발한 PaCA는 기존 PEFT의 한계를 극복한 혁신적인 파인튜닝 기법으로, 대규모 언어 모델의 훈련 시간과 메모리 사용량을 크게 줄이며, 높은 정확도를 유지합니다. LLaMA3.1-70B와 같은 거대 모델에도 적용 가능하며, GPU 및 HPU 환경에서 모두 효율성을 입증했습니다.

PaCA: 대규모 언어 모델의 효율적인 파인튜닝을 위한 혁신적인 방법

최근 급성장하는 AI 분야에서 대규모 언어 모델(LLM)의 파인튜닝은 핵심적인 과제입니다. 하지만, 방대한 매개변수를 가진 LLM을 파인튜닝하는 데에는 막대한 시간과 메모리 자원이 필요합니다. 이러한 문제를 해결하기 위해, 기존에는 PEFT(Parameter-Efficient Fine-Tuning) 알고리즘이 주목받았습니다. PEFT는 전체 모델이 아닌 일부 매개변수만을 학습하여 자원 소모를 줄이는 방법입니다. 그러나 PEFT는 계산 비용 감소에도 불구하고, GPU 상에서 어댑터 레이어와 사전 훈련된 레이어가 순차적으로 처리됨으로써 훈련 시간 단축에는 한계가 있었습니다.

우성현, 남궁솔, 이선우, 정인호, 김범석, 전동숙 연구팀은 이러한 문제점을 해결하기 위해 PaCA(Partial Connection Adaptation) 라는 혁신적인 파인튜닝 기법을 제안했습니다. PaCA는 어댑터 레이어를 추가하는 대신, 사전 훈련된 가중치 내에서 무작위로 선택된 부분적인 연결만을 미세 조정합니다. 이를 통해 어댑터 레이어와 사전 훈련된 레이어의 순차적 처리로 인한 시간적 오버헤드를 제거하고, 활성화 메모리 사용량 또한 감소시킵니다. 이는 부분적인 활성화만 저장하면 되기 때문입니다.

연구 결과는 놀랍습니다. PaCA는 LoRA와 비교하여 훈련 시간을 22%, 메모리 사용량을 16% 감소시키면서도 유사한 정확도를 유지했습니다. MMLU 및 Oasst1 데이터셋을 사용한 다양한 파인튜닝 시나리오에서 이러한 효율성을 검증했습니다. 뿐만 아니라, PaCA는 양자화와 결합하여 LLaMA3.1-70B와 같은 거대 모델의 파인튜닝도 가능하게 합니다. 더욱이, NVIDIA A100 GPU 및 INTEL Gaudi2 HPU 모두에서 LoRA에 비해 처리량을 16% 향상시켰으며, 23% 더 긴 시퀀스로 훈련할 수 있음을 확인했습니다.

PaCA의 코드는 https://github.com/WooSunghyeon/paca에서 공개되어 있으며, AI 분야 연구자들에게 새로운 가능성을 제시할 것으로 기대됩니다. 이 연구는 대규모 언어 모델의 효율적인 훈련을 위한 중요한 이정표가 될 뿐만 아니라, 더욱 빠르고 효율적인 AI 모델 개발을 위한 혁신적인 방향을 제시한다는 점에서 큰 의미를 갖습니다.