스페인 의대 레지던트 시험으로 본 LLM의 진화: 의료 AI의 미래를 엿보다

스페인 의대 레지던트 시험(MIR)을 활용한 LLM 성능 평가 연구 결과, 미세 조정된 LLM이 일반 LLM보다 우수한 성능을 보였으며, 시험 문제의 변화에 따른 성능 저하 분석을 통해 LLM의 진정한 이해와 추론 능력 평가의 중요성이 강조되었습니다. 의료 AI 발전을 위한 도메인 특화와 다중 모달 통합의 중요성과 함께, 윤리적 고려와 인간 전문가 판단의 균형을 유지해야 함을 시사합니다.

최근, 스페인 의대 레지던트 시험(MIR)을 활용한 흥미로운 연구 결과가 발표되었습니다. 카를로스 루엔고 베라(Carlos Luengo Vera) 등 7명의 연구진은 22개의 대규모 언어 모델(LLM)을 2024년과 2025년 MIR 시험에 적용하여 그 성능을 비교 분석했습니다. MIR 시험은 210개의 객관식 문제로 구성되며, 이미지 해석을 요구하는 문제도 포함되어 있어 지식 암기뿐 아니라 복잡한 임상 문제 해결 능력까지 평가하는 까다로운 시험입니다.

연구진은 GPT-4, Claude, LLaMA, Gemini와 같은 일반적인 LLM과, 스페인 의료 데이터를 활용하여 미세 조정된 Miri Pro와 같은 전문 LLM을 포함하여 다양한 모델을 평가했습니다. 특히, 최근 출시된 Deepseek과 Grok은 고급 시각 및 의미 분석을 요구하는 과제에서 주목할 만한 성능을 보였습니다.

결과는 놀라웠습니다. 일반적인 LLM도 상당한 성능을 보였지만, 미세 조정된 모델들이 특히 전문적인 영역의 까다로운 문제에서 훨씬 높은 정확도를 기록했습니다. 이는 도메인 특화의 중요성을 보여주는 강력한 증거입니다. 또한, 두 시험 연도 사이에 성능이 다소 저하된 현상은 암기 위주의 문제를 줄이고, 실제 임상적 사고를 요구하는 방향으로 시험 문제가 개선되었기 때문으로 분석됩니다. 이는 시험의 질적 향상과 함께 LLM이 단순한 지식 암기가 아닌, 진정한 이해와 추론 능력을 평가하는 도구로 활용될 수 있음을 시사합니다.

이 연구는 다중 모달 통합과 도메인 특화 미세 조정이 의료 AI 발전에 필수적임을 보여줍니다. 하지만 연구진은 자동화된 추론과 윤리적 판단, 맥락 인식의 중요성을 강조하며, LLM을 의료 교육, 훈련, 임상 의사 결정에 통합할 때 인간의 전문가 판단과의 균형을 유지해야 함을 지적합니다. LLM은 의료 분야의 혁신을 가속화할 강력한 도구가 될 수 있지만, 그 활용에는 신중한 접근과 윤리적 고려가 필수적입니다. 미래의 의료 AI는 기술의 발전과 함께 인간의 지혜와 윤리가 조화를 이루는 방향으로 나아가야 할 것입니다. 이번 연구는 그러한 미래를 향한 중요한 이정표가 될 것입니다.

(참고) 연구진: Carlos Luengo Vera, Ignacio Ferro Picon, M. Teresa del Val Nunez, Jose Andres Gomez Gandia, Antonio de Lucas Ancillo, Victor Ramos Arroyo, Carlos Milan Figueredo