챗GPT 의료 능력 과대평가? 다지선다형 문제의 함정

본 연구는 대규모 언어 모델(LLM)의 의료 능력 평가에 있어 다지선다형 문제(MCQ)의 한계를 지적하며, LLM 기반 자유 형식 응답 문제 평가 시스템 개발의 필요성을 제기합니다. MCQ는 LLM의 실제 의학적 이해 능력을 과대평가할 수 있으며, 자유 형식 응답 문제를 통해 더 정확한 평가가 가능함을 시사합니다.

최근 몇 년간 급속도로 발전한 인공지능(AI), 특히 대규모 언어 모델(LLM)은 의료 분야에서도 그 활용 가능성이 주목받고 있습니다. 하지만 LLM의 실제 의학적 능력에 대한 평가는 아직 미완의 영역입니다. Shrutika Singh 등 12명의 연구진이 발표한 논문, "It is Too Many Options: Pitfalls of Multiple-Choice Questions in Generative AI and Medical Education"은 LLM의 의료 능력 평가에 있어 다지선다형 문제(MCQ)의 한계를 날카롭게 지적하며 큰 파장을 일으키고 있습니다.

연구진은 LLM이 의학 MCQ 벤치마크에서 높은 성능을 보이는 것은 실제 의학적 지식과 추론 능력 때문이 아니라, 다른 요인에 의한 것일 수 있다는 가설을 세웠습니다. 이를 검증하기 위해, 자유 형식 응답 문제와 짝을 이루는 MCQ를 포함하는 새로운 벤치마크, FreeMedQA를 개발했습니다. GPT-4, GPT-3.5, LLaMA-3-70B-instruct 등 세 가지 최첨단 LLM을 대상으로 FreeMedQA를 이용한 실험 결과는 충격적이었습니다.

결과적으로, LLM들은 MCQ에서는 상대적으로 높은 정확도를 보였지만, 자유 형식 응답 문제에서는 정확도가 39.43%나 급락했습니다 (p = 1.3 * 10-5). 이는 인간의 성능 저하율(22.29%)보다 훨씬 큰 수치입니다. 더 놀라운 것은, 문제의 일부를 가린 상태에서 MCQ를 풀게 했을 때, LLM의 정답률은 여전히 무작위보다 높았다는 점입니다. 이는 LLM이 문제의 맥락이나 단서를 통해 정답을 추론하는 능력을 갖추고 있음을 시사하지만, 진정한 의학적 이해와는 거리가 멀다는 것을 보여주는 결과입니다.

이 연구는 단순히 LLM의 의료 분야 적용에 대한 회의적인 시각을 제시하는 것을 넘어, 의료 교육 및 평가 방식에 대한 근본적인 성찰을 요구합니다. MCQ가 LLM의 능력을 과대평가하는 경향이 있다는 사실을 밝혀냄으로써, LLM 기반 자유 형식 응답 문제 평가 시스템의 개발 및 도입을 통해 인간과 기계의 평가 방식을 개선할 수 있는 가능성을 제시하고 있습니다. 향후 의료 AI 개발 및 평가 방식에 대한 패러다임 전환을 예고하는 중요한 연구 결과라 할 수 있습니다.