혁신적인 비디오 깊이 추정: 초장시간 영상에서도 일관성을 유지하는 'Video Depth Anything'

중국과학원 자동화연구소 연구팀이 개발한 'Video Depth Anything'은 초장시간 비디오에 대한 고품질, 일관된 깊이 추정을 실시간으로 제공하는 혁신적인 모델입니다. 기존 모델의 시간적 불일치 문제를 해결하고, 다양한 규모의 모델을 제공하여 폭넓은 활용성을 확보했습니다.

최근 딥러닝 기반 단일 이미지 깊이 추정 기술이 눈부신 발전을 이루었습니다. 그 중에서도 'Depth Anything'은 뛰어난 일반화 성능으로 주목받았습니다. 하지만 기존의 Depth Anything은 비디오에 적용 시 시간적 불일치 문제로 실제 활용에 어려움을 겪었습니다. 이 문제를 해결하기 위해 다양한 시도가 있었지만, 대부분 짧은 영상(<10초)에만 적용 가능하거나, 화질과 연산 효율 사이의 절충이 필요했습니다.

중국과학원 자동화연구소(IA CAS) 의 Sili Chen 박사 연구팀은 이러한 한계를 극복하는 획기적인 모델, **'Video Depth Anything'**을 발표했습니다. 이 모델은 수 분 이상의 초장시간 비디오에 대해서도 고품질의 일관된 깊이 추정을 제공하면서 효율성까지 확보했습니다.

연구팀은 Depth Anything V2를 기반으로, 효율적인 공간-시간 헤드로 기존 헤드를 교체했습니다. 특히, 시간적 깊이 기울기를 제한하는 간단하면서도 효과적인 시간적 일관성 손실 함수를 설계하여, 기존의 기하학적 사전 정보 없이도 시간적 일관성을 확보했습니다. 또한, 장시간 비디오 추론을 위한 새로운 키프레임 기반 전략을 개발하여 성능을 향상시켰습니다. 실험 결과, Video Depth Anything은 영상 길이에 관계없이 품질, 일관성, 일반화 성능 저하 없이 동작하는 것으로 나타났습니다. 다양한 비디오 벤치마크에서 최첨단 성능을 달성했으며, 실시간 처리(30 FPS)가 가능한 소형 모델부터 고품질 추정을 위한 대형 모델까지 다양한 규모의 모델을 제공하여 다양한 활용 환경에 적합하게 사용할 수 있습니다.

Video Depth Anything은 단순한 기술적 진보를 넘어, 자율주행, 로보틱스, VR/AR 등 다양한 분야에 혁신적인 영향을 미칠 것으로 예상됩니다. 특히, 초장시간 비디오 처리에 대한 기술적 한계를 극복함으로써, 더욱 현실적이고 풍부한 3D 경험을 제공할 수 있는 가능성을 열었습니다. 앞으로 이 기술이 어떻게 발전하고 활용될지 기대됩니다.