8K 다이나믹 텍스처 기반 초고화질 3D 대화형 아바타 기술 등장!

중국과학원 연구팀이 8K 다이나믹 텍스처를 활용한 혁신적인 3D 대화형 아바타 기술 TexTalker를 발표했습니다. 고해상도 4D 데이터셋 TexTalk4D와 Diffusion 기반 프레임워크, 그리고 피벗 기반 스타일 주입 전략을 통해 기존 기술을 뛰어넘는 사실적인 아바타 생성이 가능해졌습니다.

8K 다이나믹 텍스처로 깨어나는 3D 아바타: TexTalker의 혁신

최근, 중국과학원(CAS) 산하 연구팀이 TexTalk4D라는 혁신적인 4D 데이터셋을 기반으로 한 TexTalker라는 새로운 3D 대화형 아바타 기술을 발표했습니다. 기존의 음성 기반 3D 얼굴 애니메이션 기술은 주로 메시나 기하학적 모션에 집중하여, 다이나믹 텍스처의 중요성을 간과해왔습니다. 하지만 TexTalker는 이러한 한계를 극복하고, 100명의 피험자로부터 100분 분량의 오디오-동기화 스캔 수준 메시와 상세한 8K 다이나믹 텍스처를 포함하는 고해상도 4D 데이터셋 TexTalk4D를 활용합니다.

TexTalker의 핵심은 음성으로부터 얼굴 움직임과 다이나믹 텍스처를 동시에 생성하는 Diffusion 기반 프레임워크에 있습니다. 연구팀은 음성과 얼굴 움직임 및 질감 사이의 상관관계를 심층적으로 분석하여, 더욱 사실적이고 자연스러운 아바타를 구현했습니다. 특히, 피벗 기반 스타일 주입 전략은 다양한 텍스처와 모션 스타일을 분리하여 제어할 수 있도록 하여, 아바타의 개성을 더욱 풍부하게 표현할 수 있게 해줍니다.

단순히 얼굴 움직임만 생성하는 것이 아니라, 움직임과 일관성 있는 사실적인 텍스처를 생성하는 TexTalker는 기존 기술들을 뛰어넘는 성능을 보여줍니다. 이는 3D 아바타 기술의 새로운 지평을 열었다고 평가할 수 있습니다. 더 자세한 내용은 프로젝트 페이지 (https://xuanchenli.github.io/TexTalk/) 에서 확인하실 수 있습니다. 앞으로 TexTalker가 메타버스, 게임, 교육 등 다양한 분야에서 활용될 가능성에 기대가 모아지고 있습니다. 하지만, 아직은 초기 단계의 기술이며, 더욱 발전된 기술과 윤리적인 고려가 필요할 것으로 예상됩니다.

연구팀: Xuanchen Li, Jianyu Wang, Yuhao Cheng, Yikun Zeng, Xingyu Ren, Wenhan Zhu, Weiming Zhao, Yichao Yan