의료 영상 분할의 혁명: 텍스트 프롬프트를 활용한 다중 기관 분할 모델 OMT-SAM

본 기사는 의료 영상 분할의 정확도 향상을 위해 텍스트 프롬프트를 통합한 OMT-SAM 모델을 소개합니다. CLIP 엔코더와 다중 스케일 특징 추출을 활용하여 기존 모델보다 우수한 성능을 달성함으로써 의료 영상 분석 분야의 혁신을 이끌 것으로 기대됩니다.

의료 영상 분할의 새로운 지평을 열다: OMT-SAM

정확한 의료 영상 분할은 질병 모니터링 및 효과적인 치료 계획에 필수적입니다. 하지만 기존 방법들은 주로 단일 모달(이미지 또는 비디오)에 의존하며, 수작업 주석이 필요하여 시간과 자원이 많이 소모되는 단점이 있었습니다. 특히, 단일 스캔 내에 여러 기관이 복잡하게 얽혀있는 경우 정확한 분할은 더욱 어려워집니다.

이러한 문제를 해결하기 위해, Zhang 등 연구진은 OMT-SAM (Organ-aware Multi-scale Text-guided Medical Image Segmentation Model) 을 개발했습니다. 이 모델은 Segment Anything Model (SAM)을 기반으로 하며, 기존의 기하학적 프롬프트(점, 경계 상자) 외에 텍스트 프롬프트를 추가하여 세밀하고 모호한 해부학적 구조까지도 정확하게 분할할 수 있도록 설계되었습니다.

OMT-SAM의 핵심은 CLIP (Contrastive Language–Image Pre-training) 엔코더를 활용한 이미지-텍스트 프롬프트 엔코더입니다. CLIP은 이미지와 텍스트의 의미적 연관성을 학습한 모델로, 설명적인 텍스트 프롬프트와 해당 이미지를 함께 처리하여 정보가 풍부한 이미지-텍스트 임베딩을 생성합니다. 여기에 MedSAM의 다중 스케일 시각적 특징을 결합하여 다양한 해상도의 세부 정보를 포착합니다. 이를 통해 미세한 차이까지도 정확하게 식별하여 분할할 수 있습니다.

FLARE 2021 데이터셋을 사용한 실험 결과, OMT-SAM은 평균 Dice 유사도 계수 0.937을 달성하여, MedSAM (0.893) 및 기타 분할 모델들을 능가하는 성능을 보였습니다. 이는 복잡한 의료 영상 분할 작업에서 OMT-SAM의 우수성을 입증하는 결과입니다.

OMT-SAM의 혁신적인 점:

• 텍스트 프롬프트 통합: 자연어를 이용하여 모호한 구조에 대한 명확한 지침 제공
• 다중 스케일 특징 추출: 다양한 해상도의 정보를 활용하여 정확도 향상
• CLIP 엔코더 활용: 이미지와 텍스트의 의미적 연관성을 효과적으로 활용

OMT-SAM은 의료 영상 분석 분야에 혁신적인 발전을 가져올 것으로 기대되며, 향후 더욱 정확하고 효율적인 의료 진단 및 치료 계획에 기여할 것으로 예상됩니다.