독일 종양 기록 자동화의 꿈: 오픈소스 LLM의 가능성
본 기사는 독일 의료 현장의 종양 기록 자동화를 위한 오픈소스 LLM의 활용 가능성을 평가한 연구 결과를 소개합니다. 70억~120억 매개변수의 모델이 성능과 효율성 면에서 우수하며, 관련 코드와 데이터셋이 공개되어 독일어 의료 NLP 연구에 기여할 것으로 예상됩니다.

독일의 종양 기록 시스템은 아직 수기 작업에 크게 의존하고 있습니다. 환자 기록을 일일이 읽고 구조화된 데이터베이스에 입력하는 번거로운 과정은 의료진의 업무 부담을 가중시키고, 오류 발생 가능성도 높입니다. 하지만 이러한 현실에 변화의 바람이 불고 있습니다. 바로 오픈소스 대규모 언어 모델(LLM) 의 등장입니다.
Stefan Lenz를 비롯한 연구팀은 최근 발표한 논문에서 10억에서 700억 개의 매개변수를 가진 11개의 오픈소스 LLM을 활용, 독일어 의료 데이터를 기반으로 종양 기록 자동화의 가능성을 평가했습니다. 평가는 종양 진단 식별, ICD-10 코드 할당, 최초 진단일 추출 등 세 가지 핵심 과제를 중심으로 이루어졌습니다. 비식별화된 비뇨기과 의사의 진료 기록을 바탕으로 제작된 주석 달린 데이터셋을 활용하여 실험을 진행하였습니다. 흥미로운 점은, 단순히 모델의 크기만이 중요하지 않다는 점입니다.
실험 결과, Llama 3.1 8B, Mistral 7B, Mistral NeMo 12B 모델이 비교적 우수한 성능을 보였습니다. 70억 개 미만의 매개변수를 가진 모델은 성능이 현저히 낮았으며, 70억 개 이상의 매개변수를 가진 모델에서 성능 향상은 크지 않았습니다. 이는 모델의 크기보다는 적절한 데이터셋과 프롬프트 엔지니어링이 중요함을 시사합니다. 특히, 비뇨기과가 아닌 다른 의료 분야의 데이터를 추가하여 퓨샷 프롬프팅을 수행했을 때 성능이 향상된 점은 주목할 만합니다. 이는 LLM의 적응력과 일반화 능력을 보여주는 좋은 예입니다.
연구팀은 70억에서 120억 개 매개변수를 가진 모델이 성능과 자원 효율성 측면에서 최적의 균형을 제공한다고 결론지었습니다. 적절한 파인튜닝과 프롬프트 전략을 통해 이러한 모델들은 향후 임상 문서 작성에 중요한 도구가 될 수 있을 것입니다. 더욱 중요한 것은, 연구팀이 https://github.com/stefan-m-lenz/UroLlmEval 에서 평가 코드를, 그리고 독일어 의료 NLP 분야의 희소한 고품질 데이터셋을 공개했다는 점입니다. 이는 독일어 의료 NLP 연구 발전에 크게 기여할 것으로 기대됩니다.
결론적으로, 이 연구는 오픈소스 LLM이 독일 종양 기록 자동화에 실질적인 가능성을 제시하며, 향후 의료 인공지능 발전에 중요한 이정표를 세웠습니다. 단순한 기술적 발전을 넘어, 의료 현장의 효율성 향상과 의료 서비스 질 개선에 기여할 수 있는 잠재력을 확인한 것입니다. 앞으로 더욱 발전된 LLM과 데이터셋을 통해 의료 분야의 디지털 전환이 가속화될 것으로 예상됩니다. 🎉
Reference
[arxiv] Can open source large language models be used for tumor documentation in Germany? -- An evaluation on urological doctors' notes
Published: (Updated: )
Author: Stefan Lenz, Arsenij Ustjanzew, Marco Jeray, Torsten Panholzer
http://arxiv.org/abs/2501.12106v1