KeyFace: 긴 영상에도 자연스러운 오디오 기반 얼굴 애니메이션의 혁신

Antoni Bigata 등 연구진이 개발한 KeyFace는 혁신적인 두 단계 확산 기반 프레임워크를 통해 장시간 영상에서도 자연스럽고 일관된 오디오 기반 얼굴 애니메이션을 생성하는 기술입니다. 키프레임 보간, 연속적인 감정 표현, NSV 처리 등을 통해 현실감을 높였으며, 새로운 평가 지표를 통해 성능을 검증했습니다.

긴 영상의 오디오 기반 얼굴 애니메이션, 한계를 넘어서다!

기존의 오디오 기반 얼굴 애니메이션 기술은 짧은 영상에서는 놀라운 결과를 보여주지만, 긴 영상으로 확장하면 오류 누적과 얼굴 특징 변형(identity drift) 문제에 직면했습니다. 이러한 문제를 해결하기 위해 외부 공간 제어를 시도하는 방법들이 있었지만, 장기적인 일관성은 확보했으나 동작의 자연스러움은 떨어지는 한계가 있었습니다.

하지만 이제, Antoni Bigata 등 10명의 연구진이 개발한 KeyFace가 등장했습니다! KeyFace는 이러한 문제들을 해결하기 위해 혁신적인 두 단계 확산 기반 프레임워크를 제시합니다.

첫 번째 단계에서는 낮은 프레임 속도로 키프레임을 생성합니다. 오디오 입력과 얼굴 특징 프레임을 조건으로 하여 장시간에 걸쳐 중요한 얼굴 표정과 움직임을 포착합니다. 두 번째 단계에서는 보간 모델을 사용하여 키프레임 사이의 간격을 매끄럽게 채워, 부드러운 전환과 시간적 일관성을 보장합니다.

여기서 멈추지 않습니다! KeyFace는 현실감을 더욱 높이기 위해 연속적인 감정 표현을 통합하고, 웃음이나 한숨 같은 다양한 비언어적 발성(NSV) 을 처리합니다. 또한, 립싱크와 NSV 생성 성능 평가를 위한 두 가지 새로운 평가 지표도 제시했습니다.

실험 결과, KeyFace는 기존 최첨단 기술보다 자연스럽고 일관성 있는 장시간 얼굴 애니메이션 생성에 탁월한 성능을 보였으며, NSV와 연속적인 감정 표현까지 성공적으로 구현했습니다. 이는 오디오 기반 얼굴 애니메이션 기술의 새로운 지평을 여는 획기적인 성과라 할 수 있습니다. 향후 영화, 게임, 가상현실 등 다양한 분야에서 활용될 가능성이 매우 높습니다.

:sparkles: KeyFace의 핵심:

• 두 단계 확산 기반 프레임워크: 오류 누적 및 얼굴 특징 변형 문제 해결
• 키프레임 보간: 부드러운 애니메이션 전환 및 시간적 일관성 확보
• 연속적인 감정 표현 및 NSV 처리: 현실감 증대
• 새로운 평가 지표: 객관적인 성능 평가 가능

⚠️ 주의: 아직 KeyFace 모델의 접근성이나 상용화 여부는 확인되지 않았습니다. 하지만 이 연구는 오디오 기반 얼굴 애니메이션 기술 발전에 중요한 이정표를 세운 것은 분명합니다.