러시아어 LLM 적응의 혁신: 학습된 임베딩 전파(LEP)의 등장
러시아어 LLM 적응을 위한 새로운 방법인 학습된 임베딩 전파(LEP)가 기존 방식보다 적은 데이터로 높은 성능을 달성하며, 향후 다국어 LLM 개발에 혁신을 가져올 것으로 기대됩니다.

최근 몇 년간 대규모 언어 모델(LLM) 기술의 발전은 눈부십니다. GPT-4와 같은 최첨단 모델들과 동등한 성능을 가진 강력한 오픈소스 지시 조정(instruction-tuned) LLM들이 등장하면서, 민감한 정보 환경에서도 LLM 기술의 채택이 가속화되고 있습니다. 하지만 이러한 모델들의 개발자들은 결과 재현에 필요한 훈련 데이터를 공개하지 않아, 성과가 특정 모델에 국한되는 문제점이 있습니다. 더욱이, 이러한 오픈소스 모델들은 대부분 다국어를 지원하기 때문에, 언어 특화 LLM을 훈련하는 이점이 추론 계산 효율성 향상 외에는 제한적입니다. 고품질의 지시 조정 데이터 부족은 어휘 확장 및 추가 사전 훈련과 같은 비용 효율적인 대안도 어렵게 만듭니다. 이는 LLM의 과제 해결 능력에 있어 주요 요인이기 때문입니다.
이러한 한계를 극복하고 언어 적응 파이프라인의 비용을 절감하기 위해, Mikhail Tikhomirov와 Daniil Chernyshev는 학습된 임베딩 전파(LEP) 라는 새로운 방법을 제안했습니다. LEP는 기존의 접근 방식과 달리, 기존 LLM의 지식에 미치는 영향을 최소화하여 훈련 데이터 크기 요구 사항을 줄입니다. 새로운 방식으로 임베딩을 전파하는 절차를 통해 지시 조정 단계를 건너뛰고, 새로운 언어 지식을 기존의 지시 조정된 변형에 직접 주입하는 혁신적인 기술입니다.
연구진은 LLaMa-3-8B와 Mistral-7B에 대한 네 가지 러시아어 어휘 적응을 평가했습니다. 그 결과, LEP가 기존의 지시 조정 방법과 비교하여 경쟁력이 있으며, OpenChat 3.5 및 LLaMa-3-8B-Instruct에 필적하는 성능을 달성함을 보여주었습니다. 자체 보정 및 추가 조정을 통해 과제 해결 능력을 더욱 향상시킬 수 있음도 확인되었습니다. LEP는 적은 데이터로 높은 성능을 달성하는 혁신적인 방법으로, 향후 다양한 언어의 LLM 적응에 획기적인 발전을 가져올 것으로 기대됩니다.
결론적으로, LEP는 LLM의 다국어 적응에 있어 새로운 가능성을 제시하며, 비용 효율성과 성능을 동시에 달성하는 획기적인 접근 방식으로 평가됩니다. 이 연구는 향후 LLM 개발의 방향에 중요한 시사점을 제공합니다.
Reference
[arxiv] Facilitating large language model Russian adaptation with Learned Embedding Propagation
Published: (Updated: )
Author: Mikhail Tikhomirov, Daniil Chernyshev
http://arxiv.org/abs/2412.21140v1