MMTEB: 다국어 텍스트 임베딩의 새로운 기준을 제시하다

70명 이상의 연구진이 개발한 MMTEB는 250개 이상의 언어와 500개 이상의 과제를 포함하는 대규모 다국어 텍스트 임베딩 벤치마크입니다. 거대 언어 모델의 성능을 뛰어넘는 예상치 못한 결과와 계산 효율성 개선을 통해 다국어 AI 기술 발전에 크게 기여할 것으로 기대됩니다.

텍스트 임베딩 평가는 언어, 도메인, 과제 다양성의 제약으로 인해 제한적인 과제 집합에 의존하는 경향이 있습니다. Kenneth Enevoldsen을 비롯한 70명이 넘는 연구진이 이러한 한계를 극복하고자 대규모 다국어 텍스트 임베딩 벤치마크(MMTEB) 를 개발했습니다. MMTEB는 MTEB를 대규모로 확장한 것으로, 250개 이상의 언어와 500개 이상의 엄격하게 검증된 평가 과제를 포함합니다.

MMTEB의 혁신적인 특징들

MMTEB는 기존의 벤치마크를 넘어서는 몇 가지 혁신적인 특징을 가지고 있습니다.

다양성과 규모: 지시사항 따르기, 장문 문서 검색, 코드 검색과 같은 다양하고 도전적인 과제들을 포함하며, 현재까지 가장 큰 규모의 다국어 평가 과제 모음입니다. 이는 훨씬 더 포괄적이고 현실적인 평가를 가능하게 합니다.
최고 성능 모델의 예상 밖의 결과: 수십억 개의 매개변수를 가진 거대 언어 모델(LLM)들이 특정 언어와 과제에서는 최고 성능을 보이지만, 놀랍게도 5억 6천만 개의 매개변수만 가진 multilingual-e5-large-instruct 모델이 공개 모델 중 최고 성능을 기록했습니다. 이는 매개변수의 양만이 성능을 결정하는 것이 아니라는 점을 시사합니다.
계산 효율성 증대: 과제 간 상관관계를 기반으로 하는 새로운 다운샘플링 기법과 하드 네거티브 샘플링 최적화를 통해 계산 비용을 획기적으로 줄였습니다. 예를 들어, 영어 기반 제로샷 벤치마크는 전체 규모 버전과 유사한 순위를 유지하면서 훨씬 적은 계산 비용으로 구현되었습니다.

MMTEB가 제시하는 미래

MMTEB는 텍스트 임베딩 모델의 평가 기준을 한 단계 끌어올렸습니다. 단순히 성능만을 평가하는 것이 아니라, 다양한 언어와 과제에 대한 포괄적인 평가를 제공함으로써, 더욱 강력하고 실용적인 AI 모델 개발을 위한 중요한 척도를 제시합니다. 이는 향후 다국어 AI 기술 발전에 중요한 기여를 할 것으로 기대됩니다. MMTEB의 공개적인 성격은 연구자들에게 더욱 폭넓은 연구 기회를 제공하고, 다국어 AI 기술의 발전을 가속화할 것으로 예상됩니다. 앞으로 MMTEB가 어떻게 다국어 AI 분야를 발전시킬지 주목할 만합니다.

*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] MMTEB: Massive Multilingual Text Embedding Benchmark

Published: (Updated: )

Author: Kenneth Enevoldsen, Isaac Chung, Imene Kerboua, Márton Kardos, Ashwin Mathur, David Stap, Jay Gala, Wissam Siblini, Dominik Krzemiński, Genta Indra Winata, Saba Sturua, Saiteja Utpala, Mathieu Ciancone, Marion Schaeffer, Gabriel Sequeira, Diganta Misra, Shreeya Dhakal, Jonathan Rystrøm, Roman Solomatin, Ömer Çağatan, Akash Kundu, Martin Bernstorff, Shitao Xiao, Akshita Sukhlecha, Bhavish Pahwa, Rafał Poświata, Kranthi Kiran GV, Shawon Ashraf, Daniel Auras, Björn Plüster, Jan Philipp Harries, Loïc Magne, Isabelle Mohr, Mariya Hendriksen, Dawei Zhu, Hippolyte Gisserot-Boukhlef, Tom Aarsen, Jan Kostkan, Konrad Wojtasik, Taemin Lee, Marek Šuppa, Crystina Zhang, Roberta Rocca, Mohammed Hamdy, Andrianos Michail, John Yang, Manuel Faysse, Aleksei Vatolin, Nandan Thakur, Manan Dey, Dipam Vasani, Pranjal Chitale, Simone Tedeschi, Nguyen Tai, Artem Snegirev, Michael Günther, Mengzhou Xia, Weijia Shi, Xing Han Lù, Jordan Clive, Gayatri Krishnakumar, Anna Maksimova, Silvan Wehrli, Maria Tikhonova, Henil Panchal, Aleksandr Abramov, Malte Ostendorff, Zheng Liu, Simon Clematide, Lester James Miranda, Alena Fenogenova, Guangyu Song, Ruqiya Bin Safi, Wen-Ding Li, Alessia Borghini, Federico Cassano, Hongjin Su, Jimmy Lin, Howard Yen, Lasse Hansen, Sara Hooker, Chenghao Xiao, Vaibhav Adlakha, Orion Weller, Siva Reddy, Niklas Muennighoff

http://arxiv.org/abs/2502.13595v1