DIVE: DINO를 활용한 주제 중심 비디오 편집의 혁신
DIVE는 DINOv2 모델의 의미 특징을 활용하여 시간적 일관성과 모션 정합 문제를 해결하며, 텍스트 프롬프트 또는 참조 이미지를 기반으로 주제 중심의 고품질 비디오 편집을 가능하게 하는 혁신적인 프레임워크입니다.

최근 이미지 생성 및 편집 분야에서 확산 모델의 성공에 힘입어 비디오 편집이 주목받고 있습니다. 하지만 시간적 일관성과 모션 정합 유지는 여전히 어려운 과제였습니다. 이러한 문제를 해결하기 위해, 이황, 웅위 등 연구진이 제시한 DIVE(DINO-guided Video Editing) 프레임워크는 주목할 만합니다.
DIVE는 사전 훈련된 DINOv2 모델에서 추출한 강력한 의미 특징을 암시적 대응으로 활용하여 편집 과정을 안내합니다. 특히 시간적 모션 일관성을 위해 DIVE는 DINO 특징을 사용하여 소스 비디오의 모션 궤적과 정렬합니다. 다양한 실제 비디오에 대한 광범위한 실험 결과, DIVE는 강력한 모션 일관성을 유지하면서 고품질 편집 결과를 달성하여 DINO가 비디오 편집에 기여할 가능성을 보여줍니다.
정확한 주제 편집을 위해 DIVE는 참조 이미지의 DINO 특징을 사전 훈련된 텍스트-이미지 모델에 통합하여 저랭크 적응(LoRAs) 을 학습합니다. 이를 통해 목표 대상의 정체성을 효과적으로 등록하는 것이죠. 이는 단순한 비디오 편집을 넘어, 사용자가 원하는 특정 대상을 정확하게 편집하고 조작할 수 있는 가능성을 열어줍니다.
DIVE는 텍스트 프롬프트나 특정 정체성을 가진 참조 이미지를 조건으로 소스 비디오에서 주제 중심 편집을 용이하게 합니다. 이는 기존 비디오 편집 기술의 한계를 뛰어넘는 혁신적인 접근 방식입니다. 연구팀은 DIVE의 프로젝트 페이지 (https://dino-video-editing.github.io)를 통해 더 자세한 정보와 결과를 공개했습니다. 비디오 편집 기술의 발전에 있어 DIVE의 등장은 중요한 이정표가 될 것입니다. 앞으로 DIVE를 기반으로 한 더욱 다양하고 정교한 비디오 편집 기술이 개발될 것으로 기대됩니다. 🤖🎬
Reference
[arxiv] DIVE: Taming DINO for Subject-Driven Video Editing
Published: (Updated: )
Author: Yi Huang, Wei Xiong, He Zhang, Chaoqi Chen, Jianzhuang Liu, Mingfu Yan, Shifeng Chen
http://arxiv.org/abs/2412.03347v1