의료 AI, 정확성 너머의 진실: 환자 오해의 위험성

의료 분야 생성형 AI의 정확성 향상 기술에도 불구하고 환자 오해 가능성을 지적하는 연구 결과 발표. AI가 정보의 맥락을 무시하고 중요 정보를 생략하거나 환자의 편견을 강화할 수 있다는 점을 강조하며, 의사소통 실용성 및 출처 문서 이해도 향상 등 개선 방안 제시.

온라인 건강 정보 검색이 일상화된 시대, 생성형 AI는 이제 의료 정보 탐색의 새로운 도구로 떠오르고 있습니다. 하지만 2025년 2월 18일 발표된 Lionel Wong 등 6명의 연구자들이 작성한 논문, "Retrieval-augmented systems can be dangerous medical communicators"는 AI의 정확성 향상을 위한 노력에도 불구하고, 그림자와 같은 위험을 지적하고 있습니다.

논문은 검색 증강 생성(retrieval-augmented generation) 및 인용 근거(citation grounding) 와 같은 기술이 환각(hallucination)을 줄이고 AI 생성 응답의 정확성을 높이는 데 효과적이라는 기존의 믿음에 정면으로 도전합니다. 이러한 기술은 이미 많은 검색 엔진에 탑재되어 사용되고 있죠. 하지만 연구진은 이러한 기술이 문자 그대로 정확한 정보를 제공하더라도, 환자에게 심각한 오해를 불러일으킬 수 있다고 주장합니다. AI가 생성한 정보는 원본 자료와 비교했을 때, 혹은 전문 의료인과의 상담과 비교했을 때, 환자가 전혀 다르게 해석할 수 있다는 것입니다.

연구팀은 논쟁적인 진단 및 수술 안전성 등을 포함한 광범위한 질문 분석을 통해 정량적 및 정성적 증거를 제시하며 이 주장을 뒷받침합니다. 특히, AI 모델이 정보의 맥락을 무시하고, 중요한 관련 자료를 생략하며, 환자의 잘못된 생각이나 편견을 강화하는 경향이 있다는 점을 강조합니다.

그렇다면 해결책은 무엇일까요? 연구진은 의사소통 실용성(communication pragmatics) 통합과 출처 문서에 대한 이해도 향상 등을 포함한 일련의 권고안을 제시합니다. 이는 단순히 의료 분야에만 국한되지 않고, 더 넓은 영역으로 확장될 수 있는 중요한 시사점을 던져줍니다. 단순한 정보의 정확성을 넘어, AI가 제공하는 정보의 해석과 그 영향까지 고려해야 한다는 경종을 울리는 연구 결과입니다.

결론적으로, 이 연구는 AI 의료 정보 제공 시스템의 발전 방향에 대한 중요한 함의를 가지며, 기술의 발전과 더불어 윤리적, 실용적 측면에 대한 깊이 있는 고찰이 필요함을 시사합니다.