혁신적인 교차 언어 전이 학습: SALT로 LLM의 가능성을 넓히다

이승윤, 홍성태, 문현석, 임휘석 연구원은 새로운 교차 언어 전이 학습 기술 SALT를 개발했습니다. SALT는 타겟 언어 PLM의 임베딩을 재활용하여 LLM의 표현 능력을 향상시키고, 기존 방식보다 뛰어난 성능을 보여줍니다. 이는 다국어 LLM의 발전과 전 세계 정보 접근성 향상에 크게 기여할 것으로 기대됩니다.

최근 다국어 기능을 갖춘 거대 언어 모델(LLM)의 활용이 급증하면서, 이를 특정 타겟 언어 모델로 전이하는 기술의 중요성이 더욱 커지고 있습니다. 하지만 기존의 전이 학습 방법들은 주로 영어 데이터로 학습된 소스 모델의 임베딩을 타겟 언어 어휘로 단순히 대체하는 방식을 사용하여, 타겟 언어의 표현 능력이 제한될 수 있다는 한계를 가지고 있었습니다.

이러한 문제를 해결하기 위해, 이승윤, 홍성태, 문현석, 임휘석 연구원이 주도한 연구팀은 Semantic Aware Linear Transfer (SALT) 라는 혁신적인 교차 언어 전이 기술을 개발했습니다. SALT는 타겟 언어 사전 학습 언어 모델(PLM)의 임베딩을 재활용하여, PLM에서 얻은 심층적인 표현 능력을 LLM에 전달하는 새로운 접근 방식을 제시합니다.

SALT의 핵심은 소스 및 타겟 어휘의 중복 영역 유사성을 기반으로 고유한 회귀선을 도출하여, 중복되지 않는 각 토큰의 임베딩 공간을 처리하는 데 있습니다. 이를 통해 타겟 언어의 표현력을 극대화하고, 보다 효과적인 전이 학습을 가능하게 합니다.

연구팀은 광범위한 실험을 통해 SALT가 기존의 전이 학습 방법들보다 월등한 성능을 보이며, 손실을 줄이고 수렴 속도를 높임을 확인했습니다. 특히, 교차 언어 이해 작업에서 다른 방법들에 비해 괄목할 만한 성능 향상을 달성했습니다. 또한, 다양한 구조의 PLM을 활용한 실험을 통해 SALT의 확장성과 현대 LLM의 기능 향상에 대한 잠재력을 보여주었습니다.

SALT는 단순한 임베딩 대체가 아닌, 타겟 언어 PLM의 심층적 이해를 바탕으로 LLM의 성능을 향상시키는 새로운 패러다임을 제시합니다. 이는 향후 다국어 LLM 개발 및 활용에 있어 중요한 전환점이 될 것으로 기대됩니다. 이는 단순히 기술적인 발전을 넘어, 언어 장벽을 허물고 전 세계의 정보 접근성을 향상시키는 데 크게 기여할 것으로 예상됩니다. 이 연구는 LLM의 한계를 극복하고 그 가능성을 더욱 넓히는 중요한 이정표를 세운 것입니다.