의료 AI의 양면성: 설명 가능성이 가져온 기대와 우려
이 연구는 AI 기반 의료 시스템의 설명 가능성이 의료 전문가의 신뢰도와 진단 정확도에 미치는 영향을 분석했습니다. 높은 신뢰도는 과신을, 낮은 신뢰도는 신중함을 유발하며, 설명 가능성은 인지 부하를 증가시킬 수 있습니다. 따라서 AI 시스템 설계 시 사용자의 인지적 요구와 균형을 맞추는 것이 중요함을 강조합니다.

최근 인공지능(AI)은 의료 분야, 특히 유방암 진단과 같은 영역에서 진단 정확도 향상과 의사결정 지원을 위한 잠재력을 보여주고 있습니다. 하지만 이러한 AI 기반 임상 의사결정 지원 시스템(CDSS)의 성공적인 구축은 의료 전문가들의 신뢰와 의존도에 달려 있으며, 이는 AI의 설명 가능성에 크게 좌우됩니다.
올리아 레자이안, 알파슬란 에므라 바이락, 오누르 아산 연구팀이 수행한 최근 연구는 유방암 진단에서 설명 가능성 수준의 변화가 임상의의 신뢰도, 인지 부하, 진단 성능에 미치는 영향을 탐구했습니다. 웹 기반 실험을 통해 28명의 의료 전문가를 대상으로 연구를 진행한 결과, 놀라운 사실이 발견되었습니다.
높은 AI 신뢰도 점수는 의사들의 신뢰도를 높였지만, 동시에 과신으로 이어져 진단 정확도를 떨어뜨렸습니다. 반대로 낮은 신뢰도 점수는 신뢰도와 동의율을 감소시키는 동시에 진단 시간을 증가시켜 더 신중한 행동을 유도했습니다. 또한, 일부 설명 가능성 기능은 스트레스 수준을 높여 인지 부하를 증가시키는 것으로 나타났습니다. 흥미롭게도, 나이, 성별, 직업과 같은 인구통계학적 요인은 참가자들의 AI 시스템에 대한 인식과 상호 작용에 영향을 미치는 것으로 확인되었습니다.
이 연구는 설명 가능성이 임상의의 행동과 의사결정에 미치는 영향에 대한 귀중한 통찰력을 제공합니다. 연구 결과는 신뢰를 증진하고 임상 워크플로우에 대한 통합을 개선하기 위해 투명성, 사용 편의성, 인지적 요구 사항 간의 균형을 맞춘 AI 기반 CDSS를 설계하는 것이 중요함을 강조합니다. 즉, AI의 설명 가능성은 단순히 신뢰도 향상만을 의미하는 것이 아니라, 과신으로 인한 부정적 결과를 최소화하고, 사용자의 인지 부하를 고려한 설계가 필수적임을 시사합니다. 향후 AI 기반 의료 시스템 개발에는 이러한 균형있는 접근 방식이 중요한 과제로 자리매김할 것입니다.
핵심 내용:
- 높은 AI 신뢰도는 과신 유발, 진단 정확도 저하 가능성 증대
- 낮은 AI 신뢰도는 신중한 행동 유도, 진단 시간 증가
- 설명 가능성 기능, 인지 부하 증가 및 스트레스 유발 가능성
- 인구통계학적 요인, AI 시스템 사용자 반응에 영향
- 투명성, 사용 편의성, 인지적 요구사항 간의 균형 중요성 강조
Reference
[arxiv] Explainability and AI Confidence in Clinical Decision Support Systems: Effects on Trust, Diagnostic Performance, and Cognitive Load in Breast Cancer Care
Published: (Updated: )
Author: Olya Rezaeian, Alparslan Emrah Bayrak, Onur Asan
http://arxiv.org/abs/2501.16693v1