의료 AI의 편향성, 균형 잡힌 진단을 위한 새로운 과제

Sonnet Xu 등 연구팀의 연구는 의료 영상 분석에 사용되는 VLMs의 편향성 문제를 심층적으로 분석하고, ICL이 이러한 편향성을 증폭시킬 수 있음을 밝혔습니다. 이는 의료 AI의 공정성 확보를 위한 프롬프트 전략 개선 및 이론적 이해 증진의 필요성을 강조합니다.

최근 급부상하는 Vision Language Model(VLMs)은 의료 영상 진단 분야에서 혁신적인 가능성을 제시합니다. 하지만 Sonnet Xu, Joseph Janizek, Yixing Jiang, Roxana Daneshjou 연구팀의 논문, "BiasICL: In-Context Learning and Demographic Biases of Vision Language Models"은 VLMs의 인종, 성별 등 민감한 정보에 대한 편향성 문제를 심층적으로 분석하여 경종을 울리고 있습니다.

연구팀은 피부 병변 악성 종양 예측 및 흉부 X선 촬영을 통한 기흉 탐지라는 두 가지 의료 영상 분석 작업에서 VLMs의 성능을 평가했습니다. 특히, In-context learning(ICL)이라는 학습 방식에 주목했는데, ICL은 모델이 제시된 예시를 통해 학습하는 방식으로, 데이터 편향이 그대로 반영될 위험성을 내포하고 있습니다.

결과는 충격적이었습니다. ICL을 사용한 VLMs는 인구 통계적 하위 그룹 간 성능 차이를 보였습니다. 이는 단순히 질병 발생률의 차이 때문만이 아니었습니다. 연구팀은 ICL이 두 가지 메커니즘을 통해 편향을 증폭시킨다는 것을 발견했습니다. 첫째, ICL은 프롬프트에서 하위 그룹별 질병 발생률을 학습하여 편향을 강화하고, 둘째, 하위 그룹별 질병 발생률을 통제하더라도, ICL을 통해 하위 그룹 간 예측 성능 차이가 발생했습니다.

즉, ICL은 모델이 특정 그룹에 대한 편향된 데이터를 학습하여, 그 그룹에 대해서는 정확도가 높아지지만, 다른 그룹에 대해서는 오히려 정확도가 떨어지는 결과를 초래할 수 있습니다. 이는 의료 AI의 공정성과 신뢰성에 심각한 위협이 됩니다.

이 연구는 현재 VLMs의 프롬프트 전략 개선을 위한 중요한 시사점을 제공합니다. 특히, 인구 통계적 하위 그룹의 성능을 면밀히 검토하고, 라벨의 기저 비율을 목표 분포에 맞추는 것이 중요합니다. 또한, VLMs의 이론적 이해를 높이기 위한 추가 연구가 필요함을 시사합니다. 의료 AI의 발전은 기술적 진보뿐 아니라 윤리적 고려와 사회적 책임을 동시에 고민해야 하는 중요한 과제임을 강조하는 연구 결과입니다. 공정하고 균형 잡힌 의료 AI 시스템 구축을 위해 우리는 더욱 노력해야 합니다.