한의학 질의응답 시스템의 혁신: LLM과 트리 구조 지식 베이스의 만남

중국 연구진이 개발한 TOSRR 프레임워크는 LLM을 활용한 한의학 질의응답 시스템의 성능을 크게 향상시켰습니다. 계층적 트리 구조 지식 베이스와 GPT-4와의 결합을 통해 정확도와 재현율을 높이고, 안전성, 일관성 등 다양한 측면에서도 성능 향상을 보였습니다. 이는 한의학 교육 및 진료 현장에 혁신적인 변화를 가져올 가능성을 제시하지만, 윤리적, 사회적 함의에 대한 고려도 중요합니다.

최근 중국 연구진(Chang Liu 외)이 발표한 논문 "Improving TCM Question Answering through Tree-Organized Self-Reflective Retrieval with LLMs"은 대규모 언어 모델(LLM) 을 활용한 한의학 질의응답 시스템의 성능을 획기적으로 향상시키는 새로운 접근법을 제시하여 주목받고 있습니다. 이 연구는 기존 LLM 기반 의료 질의응답 시스템의 한계를 극복하고, 특히 한의학 분야에 효과적으로 적용할 수 있는 방법을 제시합니다.

핵심은 'Tree-Organized Self-Reflective Retrieval (TOSRR)' 프레임워크입니다. 이 프레임워크는 한의학 지식을 계층적으로 구성된 트리 구조의 지식 베이스로 정리하여, LLM이 필요한 정보를 효율적으로 검색하고, 여러 장(chapter)에 걸친 정보를 통합적으로 활용할 수 있도록 합니다. 이는 기존의 단순한 키워드 검색 방식보다 훨씬 정교하고 효과적인 정보 활용을 가능하게 합니다.

연구진은 실험을 통해 TOSRR 프레임워크의 효과를 검증했습니다. GPT-4와 결합한 TOSRR 프레임워크는 한의사 면허 시험(TCM MLE) 데이터셋에서 정확도를 무려 19.85%나 향상시켰습니다. 또한, 다른 시험 데이터셋(CCE)에서는 재현율을 27%에서 38%로 크게 개선했습니다. 단순한 수치적 향상을 넘어, 안전성, 일관성, 설명 가능성, 준수성, 일관성 등 다양한 측면에서 수동 평가를 실시한 결과도 긍정적이었습니다. 총 18.52점의 향상을 기록했습니다.

이 연구는 단순히 기술적인 발전을 넘어, 한의학 교육 및 진료 현장에 혁신적인 변화를 가져올 가능성을 보여줍니다. LLM과 효율적인 지식 관리 시스템의 결합은 한의학 정보 접근성을 높이고, 진단 및 치료의 정확성을 향상시키는 데 크게 기여할 수 있습니다. 이는 앞으로 한의학 발전에 중요한 역할을 할 것으로 기대됩니다.

하지만, 이러한 기술의 발전과 함께 윤리적, 사회적 함의에 대한 고려도 중요합니다. LLM 기반 시스템의 오류 가능성, 데이터 편향 문제, 그리고 의료 전문가의 역할 재정립 등에 대한 심도있는 논의가 필요합니다. 기술 발전의 이면에 숨겨진 문제점을 인지하고, 책임감 있는 기술 개발과 활용이 중요한 시점입니다.