다국어 시대의 AI 진실성: 영어 너머를 향한 여정

본 연구는 다국어 환경에서의 거대 언어 모델(LLM) 진실성 평가에 대한 새로운 연구 결과를 제시합니다. 다양한 언어에 대한 TruthfulQA 벤치마크 확장을 통해 LLM의 진실성을 평가한 결과, 언어 간 차이는 예상보다 작았으며, LLM-as-a-Judge 방법론의 효용성과 정보성의 중요성을 확인했습니다. 기계 번역을 활용한 벤치마크 확장의 가능성과 문화적, 시간적 변수 고려의 중요성을 강조하며, 다국어 AI 진실성 평가 분야의 발전에 기여할 것으로 예상됩니다.

최근, Blanca Calvo Figueras 등 연구진이 발표한 논문 "Truth Knows No Language: Evaluating Truthfulness Beyond English"는 인공지능(AI) 분야, 특히 거대 언어 모델(LLM)의 진실성 평가에 새로운 지평을 열었습니다. 기존의 LLM 진실성 평가는 주로 영어에 집중되어 왔지만, 이 연구는 바스크어, 카탈루냐어, 갈리시아어, 스페인어를 포함한 다양한 언어로 TruthfulQA 벤치마크를 확장하여 다국어 환경에서의 LLM 성능을 평가했습니다.

12개의 최첨단 오픈 LLM을 대상으로 진행된 이 연구는 인간 평가, 객관식 측정, LLM-as-a-Judge 점수 등 다양한 방법론을 활용했습니다. 결과는 놀랍습니다. LLM은 영어에서 가장 높은 성능을 보였고, 자원이 가장 부족한 바스크어에서 가장 낮은 성능을 보였지만, 언어 간 진실성 차이는 예상보다 작았습니다. 이는 LLM이 언어 장벽을 넘어 상당한 수준의 진실성을 유지할 수 있음을 시사합니다.

흥미로운 점은 LLM-as-a-Judge가 객관식 측정보다 인간 판단과 더 높은 상관관계를 보였다는 것입니다. 또한, 정보성이 진실성 평가에 중요한 역할을 한다는 점도 밝혀졌습니다. 더 나아가, 연구진은 기계 번역을 이용하여 진실성 벤치마크를 다른 언어로 확장하는 것이 가능함을 보였습니다. 이는 전문 번역보다 확장성이 뛰어난 대안을 제시합니다.

하지만, 이 연구는 문화적, 시간적 변수의 중요성도 강조합니다. 보편적인 지식 질문은 언어 간 차이가 적었지만, 맥락과 시간에 의존적인 질문은 차이가 컸습니다. 따라서, 진실성 평가는 문화적, 시간적 변수를 고려해야 함을 시사합니다.

이 연구는 공개 라이선스 하에 데이터셋과 코드를 공개하여 다른 연구자들의 후속 연구를 지원합니다. 이는 AI 진실성 평가 분야의 발전에 크게 기여할 것으로 예상됩니다. 앞으로 다국어 지원 AI 모델의 개발과 진실성 평가는 더욱 중요해질 것이며, 이 연구는 그 방향을 제시하는 중요한 이정표가 될 것입니다. 다국어 시대의 AI 진실성 확보를 위한 여정은 이제 막 시작되었습니다.