혁신적인 AI 압축 기술, DeltaLLM 등장! 메모리 문제 해결의 실마리

본 기사는 초거대 언어 모델(LLM)의 메모리 효율을 획기적으로 개선하는 DeltaLLM 기술에 대해 다룹니다. DeltaLLM은 가중치 공유 및 저계층 차이 행렬을 이용한 새로운 아키텍처와 경량 훈련 기법을 통해 기존 LLM과 동등한 성능을 더 적은 메모리로 구현하는 혁신적인 기술입니다.

최근 AI 분야의 뜨거운 감자 중 하나는 바로 초거대 언어 모델(LLM) 의 막대한 메모리 사용량입니다. 엄청난 성능을 자랑하는 LLM이지만, 그 크기만큼이나 엄청난 저장 공간을 필요로 하기에, 실용적인 활용에 제약이 따르는 것이 현실입니다. 하지만 이러한 문제에 대한 해결책이 등장했습니다! Liana Mikaelyan을 비롯한 연구진이 개발한 DeltaLLM이 바로 그 주인공입니다.

DeltaLLM은 기존 LLM 압축 기술과는 차별화된 접근 방식을 제시합니다. 연구진은 변압기 블록(Transformer blocks)의 후속 계층 간 가중치를 공유하고, 추가적인 저계층 차이 행렬을 사용하는 새로운 LLM 구조를 제안했습니다. 이를 통해 효율적인 메모리 관리를 가능하게 한 것이죠. 단순히 기존 모델을 축소하는 것이 아니라, 모델의 구조 자체를 재설계하여 압축 효율을 극대화한 것입니다.

더욱 놀라운 것은, DeltaLLM의 훈련 과정입니다. 연구진은 진행 모듈 교체 방법(progressing module replacement method) 을 채택하여, 약 3천만~4천만 토큰의 경량 훈련만으로도 기존 LLM과 동등한 성능을 달성했습니다. 이는 막대한 데이터와 막대한 컴퓨팅 자원을 필요로 하는 기존 LLM 훈련 방식과는 대조적인 결과입니다.

실제로, 연구진은 Llama와 Phi 모델을 기반으로 DeltaLLAMA와 DeltaPHI 모델을 개발했습니다. 이 모델들은 기존 모델 대비 12%의 파라미터 감소에도 불구하고, 일반적인 지식 및 추론 벤치마크에서 90%의 성능을 유지했습니다. 더 나아가, DeltaLLM은 JointDrop, LaCo, ShortGPT, SliceGPT와 같은 기존 압축 기술보다도 우수한 성능을 보여주었습니다. 예를 들어, 24%의 파라미터 감소를 이룬 DeltaPhi 2.9B는 약 4억 개의 파라미터가 더 작은 모델임에도 불구하고, 미세 조정된 SlicedPhi 3.3B와 유사한 제로샷 정확도를 달성했습니다. 이는 추가적인 미세 조정 없이도 달성한 놀라운 결과입니다.

DeltaLLM은 단순한 압축 기술을 넘어, LLM 아키텍처 설계에 대한 새로운 통찰력을 제공합니다. 특히 저장 공간이 제한적인 환경에서 LLM을 효율적으로 활용하고자 하는 연구자들에게 큰 의미를 지닌다고 할 수 있습니다. 이 연구는 AI 기술의 발전에 중요한 이정표를 세웠으며, 앞으로 더욱 경량화되고 효율적인 AI 모델 개발에 중요한 기여를 할 것으로 기대됩니다.