의료 예측의 미래를 여는 대형 언어 모델: Foresight 2
Foresight 2 (FS2)는 MIMIC-III 데이터셋을 활용하여 미세 조정된 의료 예측용 대형 언어 모델로, 기존 모델 대비 월등한 성능을 보이며 의료 분야의 혁신을 이끌 것으로 기대됩니다. 특히, 고품질 특수 데이터의 중요성을 강조하는 연구 결과입니다.

의료 예측의 혁명: 대형 언어 모델 Foresight 2 등장
최근 의료 분야에 획기적인 변화를 가져올 대형 언어 모델이 등장했습니다. 바로 Foresight 2 (FS2) 입니다. Zeljko Kraljevic, Joshua Au Yeung, Daniel Bean, James Teo, 그리고 Richard J. Dobson 박사가 주도한 이 연구는 병원 데이터를 기반으로 미세 조정된 FS2가 환자의 병력을 이해하고 다양한 생의학적 용도에 활용 가능한 SNOMED 코드를 예측할 수 있음을 보여줍니다. 진단 제안, 위험 예측, 시술 및 약물 권장 사항 등이 그 예시입니다.
FS2의 핵심: FS2는 MIMIC-III 데이터셋의 자유 텍스트 부분을 활용하여 훈련되었습니다. 연구팀은 먼저 생의학 개념을 추출하고, 이를 바탕으로 환자의 병력을 문맥화하여 시계열 데이터를 생성했습니다. 이렇게 생성된 데이터를 활용하여 모델을 미세 조정하는 과정을 거쳤습니다. 이러한 정교한 학습 과정은 FS2의 높은 정확도를 뒷받침하는 중요한 요소입니다.
놀라운 성능 향상: 연구 결과는 FS2의 놀라운 성능 향상을 보여줍니다. 다음 새로운 생의학 개념 예측에서 정밀도/재현율(P/R)이 0.73/0.66을 기록하며 기존 최고 수준(0.52/0.32)을 훨씬 뛰어넘었습니다. 특히, 다음 새로운 질병 예측에서도 P/R 0.69/0.62를 기록하여 기존(0.46/0.25) 대비 압도적인 성능 향상을 달성했습니다. 더 나아가, 위험 예측 과제에서 GPT-4-turbo 및 다양한 오픈소스 생의학 LLM과 비교한 결과, FS2는 P@5 0.90을 기록하며 0.65에 그친 GPT-4-turbo를 크게 앞질렀습니다.
결론: 특화된 데이터의 중요성: 이 연구는 병원 데이터를 LLM에 통합하는 것이 매우 중요하며, 고품질의 특수 데이터로 미세 조정된 소규모 모델이 훨씬 더 큰 모델보다 뛰어난 성능을 발휘할 수 있음을 보여줍니다. FS2는 의료 예측 분야에 새로운 지평을 열었으며, 향후 의료 서비스의 질적 향상에 크게 기여할 것으로 기대됩니다. 하지만 (GitHub 링크가 비공개로 처리되어) 소스 코드 접근성에 대한 아쉬움이 남습니다. 향후 공개를 통해 더 많은 연구자들이 FS2를 활용하고 발전시킬 수 있기를 기대합니다.
Reference
[arxiv] Large Language Models for Medical Forecasting -- Foresight 2
Published: (Updated: )
Author: Zeljko Kraljevic, Joshua Au Yeung, Daniel Bean, James Teo, Richard J. Dobson
http://arxiv.org/abs/2412.10848v1