텍스트로 감정 풍부한 3D 아바타 생성: 새로운 벤치마크 등장


본 논문은 텍스트 기반 3D 아바타 감정 표현 생성을 위한 새로운 벤치마크 EmoAva와 두 가지 모델 CTEG, GiGA를 제시합니다. EmoAva는 고품질 데이터셋으로, CTEG와 GiGA는 감정 표현의 다양성, 일관성, 유동성을 향상시킵니다.

related iamge

말하는 사람의 목소리에서 파생된 텍스트를 사용하여 감정적으로 역동적인 3D 얼굴 아바타를 생성하는 것은 (Emo3D) 3D 아바타 생성 분야의 핵심 연구 주제입니다. 일반적인 3D 아바타 생성 분야에서는 발전이 있었지만, 말하는 단어에서 풍부한 감정을 식별하고 렌더링하는 복잡성 때문에 감정적인 3D 아바타 생성에 대한 탐구는 여전히 부족합니다.

Xu Haidong을 비롯한 연구팀은 Emo3D 생성을 재검토하고 인간의 감정 표현 과정에서 영감을 얻어 Emo3D를 두 단계로 나눕니다. 첫째, 텍스트-3D 표정 매핑 (T3DEM) 과 둘째, 3D 아바타 렌더링 (3DAR) 입니다. T3DEM은 Emo3D 생성의 품질을 결정하는 가장 중요한 단계이며, 표정의 다양성, 감정-내용 일관성, 표정의 유동성이라는 세 가지 주요 과제를 포함합니다.

이러한 과제를 해결하기 위해 연구팀은 Emo3D 생성 연구를 발전시키기 위한 새로운 벤치마크를 도입합니다. 먼저, EmoAva라는 대규모 고품질 데이터셋을 제시합니다. EmoAva는 Emo3D 생성에서 앞서 언급한 세 가지 과제를 특징짓는 15,000개의 텍스트-3D 표정 매핑으로 구성됩니다. 또한, 이러한 과제에 대해 모델을 효과적으로 평가하기 위한 다양한 지표를 개발합니다.

T3DEM 단계에서 인간 표현의 일관성, 다양성, 유동성을 효과적으로 모델링하기 위해 연구팀은 Continuous Text-to-Expression Generator (CTEG) 를 제안합니다. CTEG는 표현 코드 생성을 위해 자기회귀 조건부 변분 오토인코더를 사용하며, 잠재적 시간적 주의 메커니즘과 표현별 주의 메커니즘을 통해 향상되었습니다.

더 나아가, 보다 고품질의 미묘한 표정을 렌더링하는 3DAR 단계를 향상시키기 위해 Globally-informed Gaussian Avatar (GiGA) 모델을 제시합니다. GiGA는 3D 가우시안 표현에 전역 정보 메커니즘을 통합하여 미세 표정과 감정 상태 간의 매끄러운 전환을 포착할 수 있도록 합니다.

이 연구는 텍스트 기반 3D 아바타 감정 표현 생성 분야에 중요한 기여를 할 것으로 기대되며, 앞으로 더욱 자연스럽고 감정적인 3D 아바타를 만드는 데 큰 도움이 될 것입니다. EmoAva 데이터셋과 제시된 모델들은 향후 연구자들에게 귀중한 자원이 될 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Towards Rich Emotions in 3D Avatars: A Text-to-3D Avatar Generation Benchmark

Published:  (Updated: )

Author: Haidong Xu, Meishan Zhang, Hao Ju, Zhedong Zheng, Hongyuan Zhu, Erik Cambria, Min Zhang, Hao Fei

http://arxiv.org/abs/2412.02508v1