MUG-Eval: 어떤 언어든 다국어 생성 능력을 평가하는 새로운 기준

송세영 등 연구팀이 개발한 MUG-Eval 프레임워크는 저자원 언어를 포함한 다국어 환경에서 LLM의 텍스트 생성 능력을 효율적이고 정확하게 평가할 수 있는 혁신적인 방법을 제시합니다. 기존 벤치마크를 대화형 과제로 변환하고, 성공률을 측정하여 평가하는 MUG-Eval은 언어 특화 도구나 어노테이션 데이터에 대한 의존성을 줄이고, 8개의 LLM과 30개 언어에 대한 평가를 통해 기존 벤치마크와 높은 상관관계를 보이며 그 효용성을 입증했습니다.

다국어 시대, AI 언어 모델 평가의 난제를 극복하다!

대규모 언어 모델(LLM)의 텍스트 생성 능력 평가는 특히 저자원 언어에서는 매우 어려운 과제입니다. 직접적인 평가 방법이 부족하기 때문이죠. 송세영, 정서경, 김은수, 진지호, 김동관, 신제이, 오앨리스 연구팀은 이러한 어려움을 극복할 획기적인 프레임워크, 바로 MUG-Eval을 제시했습니다.

MUG-Eval: 기존 평가 방식의 한계를 넘어서

MUG-Eval은 기존 벤치마크를 대화형 과제로 변환하여 LLM의 다국어 생성 능력을 평가합니다. 핵심은 대화 성공률을 다국어 생성 성공의 척도로 삼는 것입니다. 이를 통해 기존 방식의 두 가지 큰 한계를 극복합니다.

• 언어 특화 도구 및 어노테이션 데이터 의존성 해소: 대부분의 언어에서 부족한 언어 특화 도구나 어노테이션 데이터 없이도 평가가 가능합니다.
• LLM-as-judge 의존성 해소: 고자원 언어를 제외하고는 평가 품질이 저하되는 LLM-as-judge 방식에서 벗어납니다.

8개의 LLM, 30개 언어를 아우르는 엄격한 검증

연구팀은 8개의 LLM과 고, 중, 저자원 언어를 포함한 30개 언어를 대상으로 MUG-Eval을 평가했습니다. 그 결과, MUG-Eval은 기존 벤치마크와 매우 높은 상관관계(r > 0.75)를 보였습니다. 이는 MUG-Eval의 신뢰성을 뒷받침하는 중요한 결과입니다. 뿐만 아니라, 언어와 모델 간의 표준화된 비교를 가능하게 함으로써 다국어 생성 능력 평가의 새로운 기준을 제시했습니다.

수천 개 언어로의 확장 가능성: 미래를 향한 도약

MUG-Eval은 자원 효율적이고 확장 가능한 프레임워크로, 수천 개 언어로 확장될 수 있는 잠재력을 가지고 있습니다. 이는 다국어 AI 기술 발전에 큰 기여를 할 것으로 기대됩니다. MUG-Eval의 등장은 다국어 AI 시대의 문을 활짝 열어젖히는 중요한 이정표가 될 것입니다. 앞으로 다국어 AI 기술의 발전과 더불어 MUG-Eval의 활용이 더욱 확대될 것으로 예상됩니다.