똑똑한 AI, 그 속마음을 들여다보다: SHAP vs. GradCAM 비교 분석


본 기사는 AI 모델의 설명 가능성을 높이는 XAI 기법인 SHAP과 GradCAM을 비교 분석한 최신 연구를 소개합니다. 특히 의료 분야의 인체 활동 인식(HAR)에 대한 연구 결과를 바탕으로, 두 기법의 장단점과 상호 보완적인 활용 방안을 제시합니다. AI의 투명성과 신뢰도 향상에 대한 중요성을 강조하며, 향후 XAI 연구의 발전 방향을 전망합니다.

related iamge

인공지능(AI) 모델이 점점 더 복잡해지면서, 그 결정 과정을 이해하는 것은 매우 중요해졌습니다. 특히 의료와 같이 중요한 결정이 요구되는 분야에서는 더욱 그렇습니다. AI 모델의 '블랙박스' 성격을 벗겨내고 투명성과 신뢰성을 높이는 것이 필수적인 과제가 된 것이죠. 이러한 맥락에서 등장한 것이 바로 설명 가능한 AI (XAI) 입니다.

Felix Tempel 등 연구진은 최근 논문 "Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition" 에서 XAI 기법 중 두 가지, 즉 SHAP (Shapley Additive Explanations) 와 GradCAM (Gradient-weighted Class Activation Mapping) 을 인체 활동 인식(HAR) 분야에서 비교 분석했습니다. 특히 그들은 그래프 합성곱 신경망(GCN)을 사용하여 골격 기반 데이터를 분석하였는데, 흥미롭게도 뇌성마비(CP) 환자 데이터도 포함되어 있었습니다. 이는 AI 기술이 의료 현장에 적용될 때 발생할 수 있는 윤리적, 실용적인 문제들을 해결하는데 중요한 시사점을 제공합니다.

연구진은 두 가지 방법의 강점과 한계를 정량적, 정성적으로 비교했습니다. SHAP은 입력 특징의 중요도를 상세히 설명하는 반면, GradCAM은 공간적으로 지향된 설명을 더 빠르게 제공한다는 것을 보여주었습니다. 즉, SHAP과 GradCAM은 서로 상호 보완적인 관계에 있다는 것이죠. 마치 서로 다른 시각에서 AI 모델의 내부를 들여다보는 것과 같습니다.

SHAP은 각 특징이 예측 결과에 얼마나 기여했는지를 정확하게 계량화하여 보여줍니다. 마치 AI 모델이 “이런 이유 때문에 이런 결정을 내렸다”라고 자세히 설명해주는 것과 같습니다. 반면 GradCAM은 모델이 어떤 부분에 주목하여 결정을 내렸는지를 시각적으로 보여줍니다. 예를 들어, 이미지 분류 모델에서 고양이를 인식하는 과정을 시각화하여 고양이의 눈이나 귀와 같은 특징 부분을 강조 표시하는 방식입니다.

결론적으로, 이 연구는 AI 모델의 설명 가능성을 높이는데 SHAP과 GradCAM이 어떻게 서로 보완적으로 활용될 수 있는지를 보여주는 중요한 결과를 제시합니다. 특히 의료와 같이 높은 신뢰도가 요구되는 분야에서 AI 모델의 투명성과 신뢰도를 높이는데 크게 기여할 것으로 기대됩니다. 앞으로 더욱 다양한 XAI 기법들이 개발되고, AI 모델의 '블랙박스'를 벗겨내는 노력이 지속될 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition

Published:  (Updated: )

Author: Felix Tempel, Daniel Groos, Espen Alexander F. Ihlen, Lars Adde, Inga Strümke

http://arxiv.org/abs/2412.16003v1