Liger: 대규모 언어 모델의 효율적인 미래를 여는 혁신적인 선형화 기술

Liger는 추가 매개변수 없이 사전 훈련된 LLM을 게이트 선형 순환 모델로 변환, LoRA와 Liger Attention을 통해 원래 LLM 성능 수준을 회복하며, 0.02%의 사전 훈련 토큰으로 Transformer 기반 LLM 성능의 93%를 달성하는 혁신적인 기술입니다.

Liger: 대규모 언어 모델의 효율적인 미래를 여는 혁신적인 선형화 기술

최근 급성장하는 대규모 언어 모델(LLM)은 그 성능만큼이나 막대한 자원 소모로 인해 효율적인 배포가 주요 과제로 떠올랐습니다. Disen Lan 등 연구진이 발표한 논문 "Liger: Linearizing Large Language Models to Gated Recurrent Structures"는 이 문제에 대한 획기적인 해결책을 제시합니다.

Liger: 기존의 한계를 뛰어넘는 새로운 접근

기존의 선형화 방법들은 추가적인 특징 맵 모듈을 필요로 하여 광범위한 미세 조정이 필요했고, 최첨단 선형 순환 모델에 사용되는 게이트 메커니즘을 간과하는 단점이 있었습니다. 하지만 Liger는 이러한 한계를 극복합니다. Liger는 사전 훈련된 LLM을 추가 매개변수 없이 게이트 선형 순환 모델로 변환하는 혁신적인 접근 방식을 제시합니다. 핵심은 사전 훈련된 키 매트릭스 가중치를 재사용하여 다양한 게이트 순환 구조를 생성하는 것입니다. 이는 추가적인 구성 요소를 처음부터 훈련할 필요가 없다는 것을 의미합니다.

Low-Rank Adaptation(LoRA)과 Liger Attention의 시너지 효과

Liger는 Low-Rank Adaptation (LoRA)을 이용한 경량 미세 조정을 통해 선형화된 게이트 순환 모델의 성능을 원래 LLM과 거의 동일하게 복원합니다. 여기에 더해, 연구진은 Liger Attention이라는 계층 내 하이브리드 어텐션 메커니즘을 도입했습니다. 이 메커니즘은 놀랍게도 0.02%의 사전 훈련 토큰만으로 Transformer 기반 LLM 성능의 93%를 회복하는 성과를 거두었습니다. 10억에서 80억 매개변수에 이르는 다양한 모델에서 여러 벤치마크를 통해 이러한 성능이 검증되었습니다.

미래를 향한 전진: 더욱 효율적이고 지속가능한 AI 시스템

Liger는 단순한 기술적 진보를 넘어, 더욱 효율적이고 지속 가능한 AI 시스템 구축에 중요한 이정표를 제시합니다. 추가적인 코드는 https://github.com/OpenSparseLLMs/Linearization에서 확인할 수 있습니다. Liger의 등장으로 대규모 언어 모델의 실용화와 대중화가 더욱 가속화될 것으로 기대됩니다. 앞으로 이 기술이 어떻게 발전하고 다양한 분야에 적용될지 주목할 만합니다.