멀티랭귀지 AI 환각 검출의 혁신: 수정된 RefChecker와 SelfCheckGPT의 활약

홍지아이잉 등 연구진이 SemEval-2025 Task 3에서 제시한 수정된 RefChecker와 수정된 SelfCheckGPT는 멀티랭귀지 환경에서 AI 환각 검출의 정확도를 크게 향상시켰습니다. 환각 발생 구간을 정확히 찾아내는 데 중점을 두었으며, 높은 IoU와 COR 값을 기록하며 그 효과를 입증했습니다.

멀티랭귀지 AI 환각 검출의 혁신: 수정된 RefChecker와 SelfCheckGPT의 활약

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 놀라운 성능을 보여주지만, 때때로 사실과 다른 내용, 즉 '환각'을 생성하는 문제점을 안고 있습니다. 이러한 환각은 AI의 신뢰성에 큰 위협이 되며, 특히 다양한 언어를 처리하는 멀티랭귀지 환경에서는 더욱 심각한 문제로 이어질 수 있습니다.

SemEval-2025 Task 3 (Mu-SHROOM)은 바로 이러한 문제 해결에 집중하는 대회입니다. 홍지아이잉 등 연구진은 이 대회에 참가하여, 수정된 RefChecker와 수정된 SelfCheckGPT라는 두 가지 혁신적인 방법론을 제시했습니다. 기존의 환각 검출 방식은 단순히 환각의 유무만 판단하는 데 그쳤지만, 이번 연구는 한 단계 더 나아가 환각이 발생한 구간을 정확하게 찾아내는 것을 목표로 합니다.

수정된 RefChecker는 프롬프트 기반 사실 검증을 참조 자료에 통합하여, 단순한 외부 지식원이 아닌 주장 기반 테스트로 구조화했습니다. 이는 기존 방식의 한계를 극복하고 더욱 정확한 검증을 가능하게 합니다. 수정된 SelfCheckGPT는 내부 지식에 대한 의존도를 낮추기 위해 외부 지식을 활용합니다. 더욱이, 두 방법 모두 LLM이 생성한 텍스트 내부의 환각 단어를 식별하도록 프롬프트 디자인을 개선했습니다.

그 결과는 놀라웠습니다. 다양한 언어에 걸쳐 환각을 검출하는 데 높은 순위를 기록하며, 평균 IoU(Intersection over Union) 0.5310, 평균 COR(Correct Overlap Ratio) 0.5669를 달성했습니다. 이는 기존 방식보다 훨씬 향상된 성능으로, 멀티랭귀지 환경에서 AI 환각 문제 해결에 중요한 진전을 이룬 것입니다.

이 연구는 단순한 기술적 발전을 넘어, AI의 신뢰성 확보와 안전한 활용을 위한 중요한 전기를 마련했습니다. 앞으로 더욱 발전된 환각 검출 기술이 개발되어, AI가 더욱 안전하고 신뢰할 수 있는 도구로 자리매김할 수 있기를 기대합니다.