PointTalk: 오디오 기반 3D 가우시안 토킹 헤드 합성의 혁신
Xie Yifan 등 연구진이 개발한 PointTalk는 오디오 기반 동적 입술 포인트 클라우드와 3D 가우시안 필드를 활용, 기존 토킹 헤드 합성의 한계를 뛰어넘는 고품질, 고정밀도의 결과를 제공합니다. 동적 차이 인코더와 오디오-포인트 향상 모듈의 도입으로 오디오-입술 동기화 및 시각적 품질이 크게 향상되었습니다.

디지털 휴먼 분야에서 임의의 음성 오디오를 사용한 토킹 헤드 합성은 중요한 과제입니다. 최근 몇 분의 훈련 비디오만으로도 고품질이고 신원 일관성 있는 토킹 헤드를 합성할 수 있는 능력 때문에, 방사선 필드 기반 방법들이 주목받고 있습니다. 하지만 훈련 데이터의 규모가 제한적이어서 오디오-입술 동기화 및 시각적 품질이 떨어지는 경우가 많았습니다.
Xie Yifan 등 연구진은 이러한 문제를 해결하기 위해 PointTalk라는 새로운 3D 가우시안 기반 방법을 제안했습니다. PointTalk는 머리의 정적 3D 가우시안 필드를 생성하고 오디오와 동기화하여 변형시키는 방식입니다. 특히, 오디오 기반 동적 입술 포인트 클라우드를 조건부 정보의 중요한 구성 요소로 통합하여 효과적인 토킹 헤드 합성을 가능하게 합니다. 이는 오디오 신호에서 해당 입술 포인트 클라우드를 생성하고 그 토폴로지 구조를 포착하는 단계부터 시작됩니다.
핵심은 동적 차이 인코더와 오디오-포인트 향상 모듈의 설계입니다. 동적 차이 인코더는 동적인 입술 움직임의 미묘한 차이를 더욱 효과적으로 포착하는 데 목표를 두고 있습니다. 오디오-포인트 향상 모듈은 특징 공간 내에서 오디오 신호와 해당 입술 포인트 클라우드의 동기화를 보장할 뿐만 아니라, 다중 모달 조건부 특징들 간의 상호 관계에 대한 더 깊은 이해를 가능하게 합니다.
광범위한 실험 결과, PointTalk는 기존 방법에 비해 고품질 및 고정밀도의 오디오-입술 동기화를 달성하여 토킹 헤드 합성 분야에 괄목할 만한 발전을 가져왔음을 보여줍니다. 이는 단순히 고화질 영상 생성을 넘어, 더욱 자연스럽고 현실감 있는 디지털 휴먼 구현에 한 걸음 더 다가서는 중요한 성과입니다. 향후 연구는 더욱 다양한 표현과 감정을 담은 토킹 헤드 합성으로 발전될 것으로 기대됩니다.
PointTalk의 핵심: 오디오 기반 동적 입술 포인트 클라우드, 동적 차이 인코더, 오디오-포인트 향상 모듈의 조합을 통해 고품질, 고정밀 오디오-입술 동기화를 달성.
Reference
[arxiv] PointTalk: Audio-Driven Dynamic Lip Point Cloud for 3D Gaussian-based Talking Head Synthesis
Published: (Updated: )
Author: Yifan Xie, Tao Feng, Xin Zhang, Xiangyang Luo, Zixuan Guo, Weijiang Yu, Heng Chang, Fei Ma, Fei Richard Yu
http://arxiv.org/abs/2412.08504v1