챗봇 의사의 진료 가능성: 대규모 언어 모델의 의료 질문 응답 능력 평가

본 연구는 다양한 대규모 언어 모델(LLM)의 소비자 중심 의료 질문 응답 능력을 평가하여, GPT-4o mini의 높은 정확도와 Mistral-7B의 낮은 정확도를 확인했습니다. 이는 LLM 기반 의료 챗봇 개발의 가능성과 한계를 동시에 보여주는 결과이며, 향후 연구를 통해 더욱 정확하고 안전한 의료 AI 개발이 필요함을 시사합니다.

인공지능(AI) 기술의 눈부신 발전과 함께, 대규모 언어 모델(LLM)이 의료 분야에서도 활용 가능성을 인정받고 있습니다. 하지만 실제 소비자들이 사용하는 비형식적인 언어와 전문가 수준의 정확한 답변이 요구되는 의료 질문에 대한 LLM의 성능은 아직 명확히 밝혀지지 않았습니다.

Moaiz Abrar, Yusuf Sermet, Ibrahim Demir 세 연구원은 AskDocs subreddit에서 전문가가 검증한 소비자 의료 질문 및 답변 데이터셋인 MedRedQA를 사용하여 다섯 가지 LLM(GPT-4o mini, Llama 3.1: 70B, Mistral-123B, Mistral-7B, Gemini-Flash)의 성능을 평가했습니다. 흥미로운 점은 각 모델이 서로의 답변을 평가하는 교차 평가 방식을 사용하여 편향을 최소화했다는 것입니다. 이는 마치 각 모델이 서로의 실력을 객관적으로 평가하는 ‘블라인드 테스트’와 같은 방식입니다.

연구 결과, 놀랍게도 GPT-4o mini가 네 개의 다른 모델에 의해 가장 높은 정확도를 인정받았습니다. 반면, Mistral-7B는 세 개의 모델로부터 가장 낮은 점수를 받았습니다. 이는 LLM의 성능이 모델의 크기나 복잡성과 반드시 비례하지 않음을 시사합니다. GPT-4o mini의 우수한 성능은 LLM이 소비자 중심의 의료 질문에 효과적으로 대응할 수 있는 가능성을 보여줍니다. 하지만 Mistral-7B의 낮은 점수는 여전히 개선의 여지가 많다는 것을 보여주는 중요한 시사점입니다.

이 연구는 LLM을 활용한 의료 챗봇 개발의 가능성과 한계를 동시에 보여줍니다. GPT-4o mini의 성공은 희망적인 신호이지만, 모든 LLM이 동일한 성능을 보여주는 것은 아니며, 소비자에게 정확하고 안전한 정보를 제공하기 위해서는 지속적인 연구개발과 엄격한 검증이 필수적임을 강조합니다. 향후 연구에서는 LLM의 의료 정보 제공 정확도 향상을 위한 다양한 기술적 개선과 윤리적 문제에 대한 심도 있는 논의가 필요합니다. 이는 단순한 기술적 문제를 넘어, 의료 서비스의 접근성 향상과 의료 안전성 확보라는 중요한 사회적 과제와 직결됩니다. 더욱 정교하고 신뢰할 수 있는 의료 AI의 개발은 앞으로 우리 사회가 직면해야 할 중요한 과제이며, 이번 연구는 그 과제 해결을 위한 중요한 발걸음이라 할 수 있습니다.