딥러닝 기반 비디오 복원의 혁신: VideoPainter의 등장

중국과학원 연구진이 개발한 VideoPainter는 듀얼 스트림 패러다임과 효율적인 컨텍스트 인코더를 통해 기존 비디오 인페인팅 기술의 한계를 극복하고, 다양한 길이의 비디오 복원 및 편집을 지원합니다. 39만 개 이상의 클립을 포함하는 VPData 및 VPBench 데이터셋/벤치마크 공개를 통해 비디오 인페인팅 연구 발전에 크게 기여할 것으로 기대됩니다.

손상된 비디오 콘텐츠를 복원하는 비디오 인페인팅(inpainting) 분야에 혁신적인 기술이 등장했습니다. 중국과학원 등의 연구진이 개발한 VideoPainter는 기존 방법들의 한계를 뛰어넘는 성능을 자랑하며, 비디오 편집 및 생성 분야에 새로운 가능성을 열었습니다.

기존 기술의 한계 극복

기존의 비디오 인페인팅 방법들은 광학 흐름이나 수용 영역 사전 정보를 이용하여 마스크 영역을 복원하거나, 이미지 인페인팅 모델을 시간적으로 확장하는 방식을 사용했습니다. 하지만, 완전히 가려진 물체를 생성하거나 배경 맥락 보존과 전경 생성이라는 상반되는 목표를 동시에 달성하는 데 어려움을 겪었습니다.

VideoPainter: 효율성과 성능의 조화

VideoPainter는 이러한 문제를 해결하기 위해 듀얼 스트림 패러다임을 도입했습니다. 핵심은 백본 파라미터의 단 6%만을 사용하는 효율적인 컨텍스트 인코더입니다. 이 인코더는 마스크된 비디오를 처리하고, 백본 네트워크를 인식하는 배경 맥락 정보를 사전 훈련된 비디오 DiT(Discrete Implicit Transform) 모델에 주입합니다. 이를 통해 의미적으로 일관된 콘텐츠를 생성하며, 플러그 앤 플레이 방식으로 기존 모델에 쉽게 통합될 수 있습니다. 이는 모델의 학습 복잡도를 크게 줄이면서 중요한 배경 맥락을 정교하게 통합할 수 있게 합니다.

Any-Length Video Inpainting: 길이 제약 극복

VideoPainter는 또한 새로운 타겟 영역 ID 리샘플링 기법을 통해 다양한 길이의 비디오 인페인팅을 지원합니다. 이는 실제 응용 분야에서 VideoPainter의 활용성을 크게 높이는 핵심 기술입니다.

VPData & VPBench: 대규모 데이터셋 및 벤치마크 공개

연구팀은 기존의 이미지 이해 모델을 활용하여 확장 가능한 데이터셋 파이프라인을 구축하고, 39만 개 이상의 다양한 클립을 포함하는 대규모 비디오 인페인팅 데이터셋인 VPData와 벤치마크인 VPBench를 공개했습니다. 이는 비디오 인페인팅 연구의 발전에 크게 기여할 것으로 기대됩니다.

비디오 편집 및 데이터 생성 응용 분야 확장

비디오 인페인팅 파이프라인을 기반으로, VideoPainter는 비디오 편집 및 비디오 편집 쌍 데이터 생성 등 다양한 응용 분야에 적용될 수 있습니다. 실험 결과, VideoPainter는 비디오 품질, 마스크 영역 보존, 텍스트 일관성 등 8가지 주요 지표에서 우수한 성능을 보였습니다.

결론

VideoPainter는 효율적인 아키텍처, 혁신적인 기술, 그리고 대규모 데이터셋을 통해 비디오 인페인팅 및 편집 분야에 새로운 기준을 제시했습니다. 향후 비디오 관련 다양한 응용 분야에서 핵심 기술로 자리매김할 것으로 예상됩니다.