VideoPainter: 플러그 앤 플레이 방식의 컨텍스트 제어를 통한 자유로운 길이 비디오 인페인팅 및 편집

중국 연구진이 개발한 VideoPainter는 효율적인 컨텍스트 인코더와 혁신적인 타겟 영역 ID 리샘플링 기법을 통해 자유로운 길이 비디오 인페인팅 및 편집을 가능하게 하는 획기적인 기술입니다. 대규모 데이터셋 VPData 및 VPBench의 공개를 통해 비디오 인페인팅 기술 발전에 크게 기여할 것으로 예상됩니다.

중국 연구진, 혁신적인 비디오 인페인팅 기술 VideoPainter 공개

중국 연구진(Yuxuan Bian, Zhaoyang Zhang 외)이 개발한 VideoPainter는 비디오 인페인팅 분야에 혁신을 불러일으킬 잠재력을 지닌 기술입니다. 기존의 비디오 인페인팅 기술들은 마스크된 영역의 완벽한 복원, 배경 맥락 보존, 그리고 전경 생성이라는 세 가지 목표를 동시에 달성하는 데 어려움을 겪었습니다. 광학 흐름과 수용 영역 사전 정보를 활용하거나 이미지 인페인팅 모델을 시간적으로 확장하는 기존 방식들은 이러한 균형을 맞추는 데 한계가 있었습니다.

VideoPainter의 혁신적인 접근 방식

VideoPainter는 이러한 한계를 극복하기 위해 듀얼 스트림 패러다임을 도입했습니다. 핵심은 백본 파라미터의 겨우 6%만을 차지하는 효율적인 컨텍스트 인코더입니다. 이 인코더는 마스크된 비디오를 처리하고, 백본 인식 배경 컨텍스트 큐를 사전 훈련된 비디오 DiT에 주입합니다. 이는 플러그 앤 플레이 방식으로 의미론적으로 일관된 콘텐츠를 생성합니다. 이러한 아키텍처 분리는 모델의 학습 복잡성을 크게 줄이면서 중요한 배경 컨텍스트의 미묘한 통합을 가능하게 합니다.

또한, VideoPainter는 타겟 영역 ID 리샘플링 기법을 통해 자유로운 길이의 비디오 인페인팅을 가능하게 합니다. 이는 실제 응용 분야에서 활용성을 크게 높이는 핵심적인 기술입니다.

VPData 및 VPBench: 대규모 데이터셋 및 벤치마크 공개

연구진은 기존의 영상 이해 모델을 활용한 확장 가능한 데이터셋 파이프라인을 구축하여 VPData 및 VPBench를 공개했습니다. 39만 개 이상의 다양한 클립으로 구성된 이 데이터셋과 벤치마크는 분할 기반 인페인팅 학습 및 평가를 위한 최대 규모의 자원입니다. 이는 비디오 인페인팅 기술의 발전에 크게 기여할 것입니다.

비디오 편집 및 데이터 생성으로 확장되는 활용성

VideoPainter는 비디오 인페인팅을 기반으로 비디오 편집 및 비디오 편집 쌍 데이터 생성과 같은 다양한 하위 응용 프로그램으로 확장됩니다. 비디오 품질, 마스크 영역 보존, 텍스트 일관성 등 8가지 주요 지표에서 경쟁력 있는 성능을 보여주며, 상당한 실질적인 잠재력을 가지고 있습니다.

결론

VideoPainter는 자유로운 길이 비디오 인페인팅 및 편집에서 뛰어난 성능을 보여주는 혁신적인 기술입니다. 효율적인 컨텍스트 인코더, 타겟 영역 ID 리샘플링 기법, 그리고 대규모 데이터셋의 공개는 비디오 인페인팅 기술의 발전에 중요한 이정표를 세웠다고 할 수 있습니다. 앞으로 VideoPainter가 비디오 편집, 특수 효과, 영상 복원 등 다양한 분야에서 널리 활용될 것으로 기대됩니다.