2SSP: 초거대 언어 모델의 혁신적인 가지치기 프레임워크 등장!

이탈리아 연구진이 개발한 2SSP는 초거대 언어 모델의 효율적인 가지치기를 위한 혁신적인 프레임워크입니다. 너비 및 깊이 가지치기 전략의 결합과 희소성 비율 조정 메커니즘을 통해 기존 기술 대비 속도와 성능 면에서 뛰어난 결과를 달성했습니다. 이는 향후 LLM 개발과 응용 분야에 큰 영향을 미칠 것으로 예상됩니다.

2SSP: 초거대 언어 모델의 효율적인 가지치기, 새로운 지평을 열다!

최근 AI 분야의 뜨거운 감자인 초거대 언어 모델(LLM). 방대한 데이터를 기반으로 놀라운 성능을 보여주지만, 그 크기와 연산량은 여전히 큰 부담입니다. 이 문제를 해결하기 위한 핵심 기술 중 하나가 바로 가지치기(Pruning) 입니다. 기존의 가지치기 방법들은 속도나 성능 면에서 아쉬움을 남겼지만, 이탈리아 연구진이 개발한 2SSP(Two-Stage Structured Pruning) 프레임워크는 이러한 한계를 뛰어넘는 혁신적인 성과를 보여주고 있습니다.

2SSP는 어떻게 작동할까요?

2SSP는 크게 두 단계로 구성됩니다. 먼저 너비 가지치기(Width Pruning) 을 통해 각 Transformer 블록의 피드포워드 네트워크에서 전체 뉴런을 제거합니다. 뉴런의 중요도 점수를 계산하여 중요도가 낮은 뉴런부터 제거함으로써, 남은 구조 간의 연결성을 유지하는 것이 핵심입니다. 두 번째 단계인 깊이 가지치기(Depth Pruning) 에서는 전체 어텐션 서브모듈을 제거합니다. 특정 지표(예: perplexity)에 대한 영향을 최소화하는 어텐션 서브모듈부터 제거하는 반복적인 과정을 통해 이루어집니다. 또한, 원하는 전체 가지치기 비율에 맞춰 두 단계의 희소성 비율을 조정하는 독창적인 메커니즘도 포함하고 있습니다.

놀라운 성능 향상!

Fabrizio Sandri, Elia Cunegatti, Giovanni Iacca 등 연구진은 4개의 LLM 계열과 3가지 희소성 비율(25%, 37.5%, 50%)을 사용하여 2SSP를 테스트했습니다. 3가지 언어 모델링 데이터셋과 6가지 하위 작업에서 perplexity를 측정한 결과, 기존 최첨단 기술들을 능가하는 성능을 보였습니다. 특히, 가지치기 시간은 최대 두 자릿수의 속도 향상을 달성했습니다. 이는 곧, 더 빠르고 효율적인 LLM을 구축할 수 있다는 것을 의미합니다. (코드는 Github에서 확인 가능합니다.)

미래를 위한 한 걸음

2SSP는 LLM의 효율성을 획기적으로 개선하여, 더욱 강력하고 경제적인 AI 시스템 구축을 가능하게 합니다. 이는 단순한 기술적 발전을 넘어, AI의 실용화 및 대중화에 중요한 기여를 할 것으로 예상됩니다. 향후 연구에서는 더욱 다양한 LLM과 응용 분야에서 2SSP의 성능을 검증하고, 더욱 발전된 가지치기 기술 개발을 통해 AI의 새로운 가능성을 열어갈 것으로 기대됩니다.