압축의 마법: CURing으로 거대 언어 모델 경량화에 성공하다!
박상현, 문수목 연구원이 개발한 CURing은 CUR 분해 기법을 활용하여 대규모 언어 모델의 크기를 획기적으로 줄이는 압축 기술입니다. Llama3.1-8B 모델에 적용한 결과, 기존 방법보다 20배 빠른 속도로 9%의 파라미터 감소를 달성했습니다.

인공지능(AI) 분야의 눈부신 발전에도 불구하고, 대규모 딥러닝 모델의 자원 집약적인 문제는 여전히 풀어야 할 숙제입니다. 막대한 메모리 사용량은 모델의 실제 활용에 제약을 가하기 때문입니다. 하지만 최근, 박상현, 문수목 연구원이 개발한 CURing이라는 혁신적인 모델 압축 방법이 이 문제에 대한 해결책을 제시하며 주목받고 있습니다.
CURing은 CUR 분해(CUR decomposition) 라는 선형대수 기법을 기반으로 합니다. 이는 무거운 가중치 행렬을 핵심 열(C), 핵심 행(R), 그리고 작은 연결 행렬(U)의 곱으로 근사하는 방법입니다. 단순히 크기만 줄이는 것이 아니라, 가중치의 크기와 활성화 정도를 종합적으로 고려하여 가장 정보량이 많은 행과 열을 선택적으로 유지함으로써 효율적인 압축을 달성합니다.
그 결과는 놀랍습니다. 실제 Llama3.1-8B 모델에 적용한 결과, 무려 7.32B (9% 감소) 의 파라미터 감소 효과를 불과 129초 만에 달성했습니다. 이는 기존의 압축 방법들보다 20배 이상 빠른 속도입니다! 이는 마치 거대한 빌딩을 해체하지 않고도 내부 구조를 효율적으로 재구성하여 공간을 확보한 것과 같습니다.
이처럼 CURing은 속도와 효율성을 동시에 잡은 획기적인 기술로, 대규모 언어 모델의 실용화에 큰 기여를 할 것으로 예상됩니다. 앞으로 CURing이 어떻게 발전하고 AI 기술 발전에 어떤 영향을 미칠지 귀추가 주목됩니다. 메모리 제약으로 인해 활용이 제한적이었던 대규모 모델들이 이제 더욱 광범위하게 활용될 수 있는 길이 열린 것입니다. 이는 AI 연구 및 산업 전반에 걸쳐 긍정적인 파급 효과를 가져올 것입니다.
** 참고:** 박상현, 문수목 연구원의 논문 "CURing Large Models: Compression via CUR Decomposition" 참조
Reference
[arxiv] CURing Large Models: Compression via CUR Decomposition
Published: (Updated: )
Author: Sanghyeon Park, Soo-Mook Moon
http://arxiv.org/abs/2501.04211v2