AI 예측 불확실성의 새로운 해석: 특징 기여도 분석

UQAM과 AMSE 연구진은 협력 게임 이론과 CP를 활용하여 AI 모델의 예측 불확실성을 특징별로 분석하는 새로운 방법을 제시했습니다. Harsanyi 분배와 Monte Carlo 근사법을 통해 계산 효율성을 높였고, 실험을 통해 실용성과 해석력을 입증했습니다. 이는 고위험 의사결정 분야에서 AI 모델의 신뢰성을 높이는 데 크게 기여할 것으로 기대됩니다.

최근 AI 모델의 설명 가능성(Explainable AI, XAI)에 대한 관심이 높아지고 있습니다. 특히 고위험 의사결정이 필요한 분야에서는 AI 모델의 예측 결과뿐 아니라 그 불확실성까지 정확히 이해하는 것이 중요합니다. 기존의 XAI 방법들은 주로 평균 예측값에 대한 설명에 집중했지만, UQAM과 AMSE 연구진이 발표한 새로운 연구는 이러한 한계를 극복하고, 예측 불확실성 자체를 특징별로 분석하는 획기적인 방법을 제시했습니다.

이 연구는 협력 게임 이론과 CP(Conformal Prediction) 이라는 강력한 조합을 통해 이루어졌습니다. 협력 게임 이론, 특히 Shapley 값은 게임 참여자(여기서는 입력 특징)의 기여도를 정량적으로 평가하는데 사용됩니다. 하지만 기존 연구들은 Shapley 값을 평균 예측값에 적용하는 데 그쳤습니다. 본 연구는 CP의 신뢰구간 너비와 경계를 게임의 가치 함수로 정의하여, 예측 불확실성 자체를 Shapley 값으로 분석하는 혁신적인 접근 방식을 제시했습니다.

더 나아가, 연구진은 Shapley 값의 한계를 넘어 Harsanyi 분배, 특히 비례 Shapley 값을 사용했습니다. 이는 특징의 중요도에 비례하여 불확실성을 분배함으로써, 더욱 정교하고 정확한 불확실성 분석을 가능하게 합니다. 또한, Monte Carlo 근사법을 통해 복잡한 계산 문제를 효율적으로 해결하여 실제 응용에 대한 접근성을 높였습니다.

연구 결과는 합성 데이터와 실제 데이터셋을 이용한 실험을 통해 검증되었습니다. 실험 결과는 이 새로운 방법의 실용성과 높은 해석력을 보여줍니다. 이 연구는 협력 게임 이론과 CP를 결합하여, 고위험 의사결정이 필요한 분야에서 AI 모델의 예측 불확실성을 이해하고 전달하는 데 유용한 도구를 제공합니다. 앞으로 의료, 금융 등 다양한 분야에서 AI 모델의 신뢰성 향상에 크게 기여할 것으로 기대됩니다.

주요 연구진: Marouane Il Idrissi (UQAM, IID), Agathe Fernandes Machado (UQAM), Ewen Gallic (AMSE), Arthur Charpentier (UQAM)