수술 기구의 사실적인 3D 재구성: Instrument-Splatting 기법의 혁신

Yang Shuojue 등 연구진이 개발한 Instrument-Splatting은 3D Gaussian Splatting을 활용하여 단안 수술 영상으로부터 수술 기구를 사실적으로 재구성하는 기술입니다. 기하학적 사전 학습과 전방 운동학을 통해 높은 시각적 정확도와 조작성을 확보하고, 의미 정보 기반 Gaussian을 활용한 자세 추적으로 실제 수술 영상의 불규칙성을 극복했습니다. 실제 수술 영상을 통한 검증 결과, Instrument-Splatting은 수술 시뮬레이션 분야의 혁신을 이끌 기술로 평가받고 있습니다.

수술용 AI의 눈과 손: Instrument-Splatting의 등장

수술용 인공지능(AI)과 자율 시스템의 급속한 발전과 함께, 실제 수술 환경을 시뮬레이션 환경으로 정확하게 변환하는 기술, 즉 Real2Sim의 중요성이 날로 높아지고 있습니다. Yang Shuojue 박사 연구팀은 이러한 시대적 요구에 발맞춰 획기적인 기술, Instrument-Splatting을 개발했습니다.

단안 영상으로부터의 놀라운 재현: 3D Gaussian Splatting의 활용

Instrument-Splatting은 단 하나의 카메라(단안)로 촬영된 수술 영상만으로도 수술 기구의 3D 모델을 정교하게 재구성합니다. 핵심 기술은 바로 3D Gaussian Splatting. 이는 수술 기구의 모양과 질감을 섬세하게 표현하는 데 탁월한 성능을 보여줍니다.

현실과의 경계를 허무는 기술: 정확성과 유연성의 조화

단순히 3D 모델을 만드는 것을 넘어, 연구팀은 높은 시각적 정확도와 자유로운 조작성을 동시에 확보하는 데 성공했습니다. 이를 위해 기하학적 사전 학습을 통해 Gaussian point clouds를 기구의 실제 형태에 정확히 맞추고, 전방 운동학(forward kinematics) 을 이용하여 실제 기구처럼 자유롭게 움직이는 가상 기구를 구현했습니다. 마치 실제 수술 기구를 옮기듯 자유롭게 조작이 가능하다는 점이 특징입니다.

흔들림 없는 정확도: 의미 기반 Gaussian을 활용한 자세 추적

실제 수술 영상은 카메라의 움직임이나 기구의 불규칙한 움직임으로 인해 자세 추적이 어려운 경우가 많습니다. Instrument-Splatting은 이러한 문제를 해결하기 위해 의미 정보를 포함한 Gaussian을 활용하여 프레임 단위로 기구의 정확한 자세와 관절 상태를 추정하는 혁신적인 방법을 제시했습니다. render-and-compare 방식을 통해 실시간으로 정확도를 높여, 실제와 같은 사실적인 렌더링을 가능하게 했습니다.

검증된 혁신: 실제 수술 영상과의 만남

연구팀은 공개된 수술 영상 2개와 생체 외 조직 및 그린스크린에서 촬영된 4개의 영상을 활용하여 Instrument-Splatting의 성능을 엄격하게 검증했습니다. 그 결과, 정량적 및 정성적 평가 모두에서 기존 방법들을 뛰어넘는 우수한 성능을 확인했습니다. 이는 Instrument-Splatting이 수술 시뮬레이션 분야에 혁신을 가져올 잠재력을 갖고 있음을 보여주는 강력한 증거입니다.

Instrument-Splatting은 수술용 AI의 발전에 중요한 이정표를 세웠습니다. 앞으로 수술 계획, 수술 훈련, 수술 로봇 제어 등 다양한 분야에서 혁신적인 발전을 이끌어낼 것으로 기대됩니다.