저자원 언어를 위한 LLM 추론 확장: 영어를 중간 다리로 삼다

본 연구는 대규모 언어 모델의 추론 능력을 저자원 언어로 확장하는 새로운 방법인 'English-Pivoted CoT Training'을 제시하고, 영어를 중간 언어로 활용하여 저자원 언어의 추론 성능을 최대 28.33% 향상시키는 결과를 보였습니다. 이 연구는 LLM의 다국어 처리 능력과 추론 능력 간의 관계에 대한 새로운 통찰력을 제공하며, 다국어 대규모 추론 모델 개발에 중요한 시사점을 제시합니다.

저자원 언어의 AI 추론 능력 향상: 획기적인 연구 결과 발표

최근 대규모 언어 모델(LLM)의 놀라운 발전으로 복잡한 추론 작업도 가능해졌습니다. 특히, '사고의 연쇄'(Chain-of-Thought, CoT) 기법은 시행착오와 중간 단계의 추론을 거쳐 최종 답을 도출하는 방식으로 주목받고 있습니다. 하지만 이러한 기술은 영어와 같은 주요 언어에 집중되어, 저자원 언어의 추론 능력은 상대적으로 낮은 수준에 머물러 있었습니다.

Khanh-Tung Tran, Barry O'Sullivan, Hoang D. Nguyen 세 연구자는 이 문제에 대한 흥미로운 해결책을 제시했습니다. 그들의 논문 "Scaling Test-time Compute for Low-resource Languages: Multilingual Reasoning in LLMs" 에서는 LLM이 내부적으로 지배적인 언어(영어)에 치우친 잠재 공간에서 작동하는 다국어 메커니즘을 분석했습니다. 이 현상을 활용하여, 저자원 언어로 입력을 받고 영어로 CoT를 생성한 후, 최종 답변을 다시 저자원 언어로 출력하는 'English-Pivoted CoT Training' 기법을 개발했습니다.

이 기법은 놀라운 결과를 보였습니다. 저자원 언어로 CoT와 최종 답변을 모두 생성하는 기존 방법과 비교했을 때, 최대 28.33%의 성능 향상을 달성했습니다. 이는 영어를 중간 다리로 삼아 저자원 언어의 추론 능력을 효과적으로 향상시킬 수 있음을 보여줍니다.

이 연구는 단순한 기술적 진보를 넘어, LLM의 다국어 처리 능력과 추론 능력 간의 관계에 대한 새로운 통찰력을 제공합니다. LLM의 다국어 잠재 공간을 활용하는 전략은 다국어 대규모 추론 모델 개발에 있어 중요한 전환점이 될 것으로 기대됩니다. 앞으로 저자원 언어 사용자들에게도 더욱 정교하고 효과적인 AI 서비스를 제공하는 데 크게 기여할 것으로 예상됩니다.

: 연구팀은 향후 연구를 통해 다양한 저자원 언어와 LLM 모델에 대한 'English-Pivoted CoT Training' 의 적용 가능성을 더욱 넓혀나갈 계획입니다.