VividFace: 고품질 비디오 얼굴 바꾸기를 위한 혁신적인 확산 기반 프레임워크
중국과학원 연구진이 개발한 VividFace는 최초의 확산 기반 비디오 얼굴 바꾸기 프레임워크로, 이미지-비디오 하이브리드 학습, VidFaceVAE, AIDT 데이터셋, 3D 재구성 기술을 활용하여 기존 방법보다 우수한 성능을 달성했습니다.

VividFace: 비디오 얼굴 바꾸기의 새로운 지평을 열다
비디오 얼굴 바꾸기 기술은 날이 갈수록 다양한 분야에서 활용되고 있지만, 기존 방법들은 주로 정지 이미지에 초점을 맞춰 시간적 일관성과 복잡한 상황에서 어려움을 겪었습니다. 하지만 중국과학원(CAS) 소속 연구진의 혁신적인 연구가 이러한 한계를 극복했습니다.
Hao Shao 등 연구진이 개발한 VividFace는 최초의 확산 기반 비디오 얼굴 바꾸기 프레임워크입니다. 이 프레임워크는 풍부한 정지 이미지 데이터와 시간적 비디오 시퀀스를 모두 활용하는 이미지-비디오 하이브리드 학습 프레임워크를 도입했습니다. 단순히 비디오만으로 학습하는 기존 방식의 한계를 넘어선 획기적인 시도입니다.
VividFace의 핵심은 VidFaceVAE라는 특별히 설계된 확산 모델입니다. VidFaceVAE는 두 가지 유형의 데이터를 효과적으로 처리하여 생성된 비디오의 시간적 일관성을 유지합니다. 또한, 속성-정체성 분리 삼중항(AIDT) 데이터셋을 구축하여 정체성과 자세 특징을 효과적으로 분리했습니다. AIDT 데이터셋은 각 삼중항에 자세가 같은 두 이미지와 정체성이 같은 두 이미지를 포함하고 있으며, 광범위한 폐색 증강을 통해 폐색에 대한 강건성도 향상시켰습니다.
여기에 더해, 3D 재구성 기술을 네트워크 입력 조건으로 통합하여 큰 자세 변화에도 효과적으로 대처할 수 있도록 설계했습니다. 연구진은 광범위한 실험을 통해 VividFace가 기존 방법에 비해 정체성 보존, 시간적 일관성, 시각적 품질 면에서 뛰어난 성능을 달성하며, 추론 단계도 줄였다는 것을 입증했습니다. 시간적 깜빡임, 정체성 보존, 폐색 및 자세 변화에 대한 강건성 등 비디오 얼굴 바꾸기의 주요 과제들을 효과적으로 완화하는 VividFace는 비디오 얼굴 바꾸기 기술의 새로운 장을 열 것으로 기대됩니다.
결론적으로, VividFace는 시간적 일관성과 다양한 상황에 대한 강건성을 획기적으로 개선한 비디오 얼굴 바꾸기 기술의 혁신적인 사례입니다. 이러한 기술 발전은 앞으로 영화, 게임, 가상현실 등 다양한 분야에서 활용될 가능성이 높아, 향후 기술 발전에 대한 기대감을 높입니다.
Reference
[arxiv] VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping
Published: (Updated: )
Author: Hao Shao, Shulun Wang, Yang Zhou, Guanglu Song, Dailan He, Shuo Qin, Zhuofan Zong, Bingqi Ma, Yu Liu, Hongsheng Li
http://arxiv.org/abs/2412.11279v1