설명 가능한 AI(XAI)의 난제: 신뢰할 수 있는 지표의 중요성

설명 가능한 AI(XAI)의 평가에 있어 표준화된 지표의 부재가 문제점으로 제기되며, 객관적이고 맥락에 맞는 평가 지표 개발과 도메인별 벤치마크 생성을 위한 학계, 산업계, 규제 기관 간의 협력을 강조하는 내용입니다.

최근 AI 기술의 발전과 함께, AI의 의사결정 과정을 이해하고 신뢰도를 높이기 위한 설명 가능한 AI(XAI)에 대한 관심이 높아지고 있습니다. 그러나 Pratinav Seth과 Vinay Kumar Sankarapu는 2025년 2월 7일 발표한 논문 "Bridging the Gap in XAI-Why Reliable Metrics Matter for Explainability and Compliance" 에서 XAI 평가의 심각한 문제점을 지적합니다.

핵심 문제는 무엇일까요? 바로 표준화되고 신뢰할 수 있는 평가 지표의 부족입니다. 현재의 XAI 평가 방법은 단편적이고 주관적이며, 편향될 가능성이 높아 조작에 취약합니다. 마치 객관적인 잣대 없이 그림 실력을 평가하는 것과 같습니다. 더욱이, 설명에 대한 '객관적 진실'이 없다는 점이 서로 다른 XAI 접근 방식을 비교하는 것을 더욱 어렵게 만듭니다.

그렇다면 해결책은 무엇일까요? 저자들은 강력하고 맥락에 맞는 평가 지표 개발을 위한 광범위한 연구를 촉구합니다. 이러한 지표는 조작에 대한 저항력이 있어야 하고, 각 사용 사례와 관련이 있으며, 인간의 판단과 실제 적용 가능성을 기반으로 해야 합니다. 또한, 의료 및 금융과 같은 특정 분야의 사용자와 규제 요구 사항에 맞는 도메인별 평가 벤치마크를 생성하는 것도 중요합니다.

결론적으로, XAI의 실질적 가치와 신뢰성을 높이기 위해서는 학계, 산업계, 규제 기관의 협력을 통해 유연성과 일관성을 균형 있게 맞추는 표준을 수립해야 합니다. 이를 통해 XAI 설명이 의미 있고 신뢰할 수 있으며, 끊임없이 변화하는 규정을 준수할 수 있도록 보장해야 합니다. 이는 단순한 기술적 과제를 넘어, AI 시대의 신뢰와 책임에 대한 근본적인 질문과 연결되어 있습니다. 앞으로 XAI 연구의 방향은 단순히 설명을 생성하는 것을 넘어, 그 설명의 신뢰성과 유용성을 객관적으로 평가하는 데 초점이 맞춰져야 할 것입니다.