효율적인 소형 언어 모델 훈련을 위한 혁신적인 기술: Adapt-Pruner

Adapt-Pruner는 계층별 적응형 가지치기와 추가 훈련을 결합한 새로운 SLM 훈련 기술로, 기존 방법보다 높은 정확도와 효율성을 달성했습니다. LLaMA-3.1-8B 및 MobileLLM-125M 모델 실험 결과는 Adapt-Pruner의 우수성을 입증합니다.

최근 소형 언어 모델(SLM)이 에지 장치에서 다양한 응용 분야로 주목받고 있습니다. 하지만 기존의 SLM 훈련 방식은 사전 훈련에 많은 연산 비용이 들거나, 대형 언어 모델(LLM)을 압축/가지치기 할 경우 성능 저하가 발생하는 문제점을 가지고 있었습니다.

중국과학원의 Wang Boyao 박사 연구팀은 이러한 문제를 해결하기 위해 Adapt-Pruner 라는 혁신적인 기술을 개발했습니다. Adapt-Pruner는 구조적 가지치기와 모델 훈련을 결합한 새로운 접근 방식으로, 계층별 적응형 가지치기를 통해 기존 기술보다 훨씬 효율적인 SLM 훈련을 가능하게 합니다.

연구팀은 Adapt-Pruner가 가지는 세 가지 주요 강점을 발견했습니다.

1. 계층별 적응형 가지치기: LLM에서 매우 효과적이며 기존 가지치기 기술보다 성능이 크게 향상됩니다.
2. 적응형 가지치기와 추가 훈련: 사전 훈련 방식과 비교할 만한 성능을 가진 모델을 생성합니다.
3. 점진적 가지치기: 훈련과 가지치기를 병행하여 한 번에 소량의 뉴런(약 5%)만 제거함으로써 성능 향상을 가져옵니다.

LLaMA-3.1-8B 모델을 사용한 실험 결과, Adapt-Pruner는 LLM-Pruner, FLAP, SliceGPT와 같은 기존 가지치기 방법들보다 상식적인 벤치마크에서 평균 1~7% 높은 정확도를 기록했습니다. 또한, MobileLLM-125M 모델의 성능을 200배 적은 토큰으로 600M 모델 수준까지 복원하고, 기존 LLaMA-3.2-1B 모델을 여러 벤치마크에서 능가하는 새로운 1B 모델을 발견하는 성과를 거두었습니다.

Adapt-Pruner는 SLM 훈련의 효율성을 획기적으로 높여, 에지 장치에서의 AI 응용 확대에 크게 기여할 것으로 기대됩니다. 앞으로 더욱 발전된 Adapt-Pruner 기반의 SLM들이 다양한 분야에서 활용될 가능성이 높습니다. 이 연구는 소형 경량화 모델 개발에 대한 새로운 패러다임을 제시하며, AI 기술의 발전에 중요한 이정표를 세운 것으로 평가받고 있습니다.