SLAM: 선택적 언어 정렬을 통한 효율적인 다국어 추론
중국과학원 연구진이 개발한 SLAM(Selective Language Alignment)은 기존의 다국어 LLM 훈련 방식의 한계를 극복, 효율성과 성능을 동시에 향상시킨 획기적인 기술입니다. 불필요한 파라미터 조정을 최소화하여 훈련 시간을 단축하고, 다양한 언어에서 우수한 추론 성능을 보였습니다.

놀라운 발견! 다국어 추론의 새로운 지평을 연 SLAM
최근 영어 기반 추론 과제에서 괄목할 만한 성과를 보이는 대규모 언어 모델(LLM)이지만, 다국어 추론에서는 여전히 어려움을 겪고 있습니다. 기존 연구에서는 모든 파라미터를 사용하는 2단계 훈련 방식으로 비영어 질문 이해 및 추론 능력을 향상시키려 했지만, 막대한 계산 자원과 치명적인 망각 문제에 직면했습니다. 이는 다국어 이해 능력 향상에 초점을 맞춰 1단계에서 불필요한 계층과 파라미터를 과도하게 조정했기 때문입니다.
하지만, 중국과학원(CAS) 소속 연구진은 언어 표현 학습이 주로 하위 계층에서 이루어진다는 사실을 발견하고, 획기적인 해결책을 제시했습니다. 바로 SLAM (Selective Language Alignment) 이라는 효율적인 다국어 추론 정렬 방식입니다. SLAM은 다국어 처리를 담당하는 계층을 정확하게 식별하고 미세 조정하여 불필요한 계산을 최소화합니다.
연구 결과는 놀랍습니다. SLAM은 7B 및 13B LLM에서 전체 파라미터의 6.58%에 해당하는 6개 계층의 피드포워드 하위 계층만 미세 조정하여, 10개 언어에 걸쳐 모든 강력한 기준 모델보다 우수한 평균 성능을 달성했습니다. 더욱이 SLAM은 1단계 훈련만으로 진행되어, 2단계 방식에 비해 훈련 시간을 4.111.9% 단축했습니다.
이는 단순한 성능 향상을 넘어, 효율성과 실용성을 획기적으로 개선한 결과입니다. SLAM은 다국어 LLM 개발의 새로운 기준을 제시하며, 앞으로 다국어 자연어 처리 분야의 혁신을 이끌 것으로 기대됩니다. 특히, 계산 자원이 제한적인 환경에서도 고성능 다국어 LLM을 구축할 수 있는 가능성을 열어주었습니다.
핵심 연구진: Fan Yuchun, Mu Yongyu, Wang Yilin, Huang Lei, Ruan Junhao, Li Bei, Xiao Tong, Huang Shujian, Feng Xiaocheng, Zhu Jingbo (중국과학원)
참고: 본 기사는 연구 논문 "SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment"의 내용을 바탕으로 작성되었습니다.
Reference
[arxiv] SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment
Published: (Updated: )
Author: Yuchun Fan, Yongyu Mu, Yilin Wang, Lei Huang, Junhao Ruan, Bei Li, Tong Xiao, Shujian Huang, Xiaocheng Feng, Jingbo Zhu
http://arxiv.org/abs/2501.03681v1