혁신적인 AI: Shapley Value 기반 비균일 가지치기로 LLM의 효율성 극대화

Sun Chuan, Yu Han, Cui Lizhen 연구팀이 개발한 Shapley Value 기반 비균일 가지치기(SVNP)는 LLM의 효율성을 크게 향상시키는 혁신적인 방법입니다. Sliding Window 기반 근사 방법을 통해 계산 비용을 줄이고, 다양한 LLM에서 우수한 성능을 보였습니다.

대규모 언어 모델(LLM)의 크기와 복잡성을 줄이면서 성능을 유지하는 것은 인공지능 분야의 중요한 과제입니다. 기존의 레이어별 가지치기 방법은 모든 레이어에 균일한 희소성을 적용하는데, 이는 모델 내 개별 Transformer 레이어의 중요도 차이를 고려하지 않아 최적의 성능을 얻지 못하는 단점이 있었습니다.

Sun Chuan, Yu Han, Cui Lizhen 연구팀은 이러한 문제를 해결하기 위해 Shapley Value 기반 비균일 가지치기(SVNP) 라는 혁신적인 방법을 제안했습니다. 이 방법은 각 Transformer 레이어의 전체 모델 성능에 대한 기여도를 정량화하여, 중요한 매개변수를 유지하면서 레이어별로 맞춤형 가지치기 비율을 할당합니다. 이는 마치 건물의 중요한 기둥을 보호하며 나머지 부분을 효율적으로 줄이는 것과 같습니다. 단순히 모든 부분을 균일하게 줄이는 것보다 훨씬 효율적이고 성능 저하를 최소화할 수 있는 전략입니다.

연구팀은 계산 효율성을 더욱 높이기 위해 Sliding Window 기반 Shapley Value 근사 방법을 고안했습니다. 이는 정확한 Shapley Value 계산 방법에 비해 계산 오버헤드를 상당히 줄여줍니다. 이는 마치 넓은 지역을 효율적으로 조사하기 위해 슬라이딩 윈도우를 이용하는 것과 같은 효과를 가지며, 연산 속도를 획기적으로 개선합니다.

LLaMA-v1, LLaMA-v2, OPT 등 다양한 LLM에 대한 광범위한 실험 결과는 SVNP 방법의 효과를 입증했습니다. 비균일 가지치기는 가지치기된 모델의 성능을 크게 향상시켰으며, 특히 70% 희소성에서 SparseGPT와 비교하여 LLaMA-7B는 18.01%, LLaMA-13B는 19.55%의 perplexity(PPL) 감소를 달성했습니다. 이는 놀라운 성과이며, LLM의 효율성을 크게 높일 수 있는 가능성을 보여줍니다.

이 연구는 LLM의 효율적인 가지치기에 대한 새로운 지평을 열었습니다. 앞으로 더욱 발전된 연구를 통해 LLM의 성능과 효율성을 더욱 향상시킬 수 있을 것으로 기대됩니다. 이 연구 결과는 LLM의 실용화 및 상용화에 큰 기여를 할 것으로 예상됩니다. 하지만, 모든 LLM에 동일하게 적용될 수 있는지는 추가 연구가 필요하며, 각 LLM의 특성에 따른 최적의 파라미터 조정이 중요한 과제로 남아있습니다.