DiffStyleTTS: 다양하고 제어 가능한 스타일의 음성 합성을 위한 확산 기반 계층적 음운 모델링


중국과학원 자동화연구소 연구팀이 개발한 DiffStyleTTS는 확산 모델 기반의 새로운 음성 합성 기술로, 계층적 음운 모델링과 개선된 가이드를 통해 다양하고 제어 가능한 스타일의 음성 합성을 가능하게 합니다. 실험 결과, 자연스러움과 속도 면에서 기존 기술들을 능가하는 성능을 보였습니다.

related iamge

혁신적인 음성 합성 기술, DiffStyleTTS 등장!

인간의 음성은 풍부하고 유연한 음운 변화를 보입니다. 텍스트에서 음운으로의 일대다 매핑 문제를 효과적으로 해결하기 위해, 중국과학원 자동화연구소의 Liu Jiaxuan, Liu Zhaoci, Hu Yajun, Gao Yingying, Zhang Shilei, Ling Zhenhua 연구팀은 획기적인 음성 합성 모델 DiffStyleTTS를 개발했습니다.

DiffStyleTTS는 조건부 확산 모듈과 개선된 분류기 없는 가이드(classifier-free guidance)를 기반으로 합니다. 이를 통해 계층적으로 음성의 음운 특징을 모델링하고, 다양한 음성 스타일을 제어하여 음운 예측을 안내합니다. 이는 텍스트에 담긴 정보만으로는 표현할 수 없는 다양한 감정, 강세, 속도 등을 자연스럽게 반영할 수 있음을 의미합니다.

뛰어난 성능과 속도!

연구팀은 다양한 실험을 통해 DiffStyleTTS의 성능을 검증했습니다. 그 결과, 기존의 음성 합성 모델들에 비해 자연스러움이 크게 향상되었으며, 특히 세 가지 확산 기반 기준 모델과 비교했을 때 합성 속도에서도 압도적인 우위를 보였습니다. 또한, 가이드 스케일(guiding scale)을 조절함으로써 합성 음성의 음운 가이드 강도를 효과적으로 제어할 수 있다는 점도 확인했습니다.

미래의 음성 기술을 향한 한 걸음!

DiffStyleTTS는 단순히 음성을 생성하는 것을 넘어, 다양한 스타일과 감정을 자유롭게 조절하며 더욱 자연스럽고 인간다운 음성을 생성할 수 있는 가능성을 열었습니다. 이 기술은 AI 기반 음성 어시스턴트, 오디오북 제작, 게임 개발 등 다양한 분야에서 혁신적인 변화를 가져올 것으로 기대됩니다. 더욱 발전된 DiffStyleTTS를 통해 우리는 앞으로 더욱 자연스럽고 감성적인 AI와의 소통을 경험하게 될 것입니다.

핵심: 본 연구는 확산 모델을 활용하여 계층적인 음운 특징을 모델링하고, 다양한 스타일을 제어 가능하게 한 DiffStyleTTS를 제안합니다. 이를 통해 자연스러운 음성 합성과 빠른 속도를 동시에 달성했습니다. 가이드 스케일 조절을 통한 제어 기능도 뛰어납니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles

Published:  (Updated: )

Author: Jiaxuan Liu, Zhaoci Liu, Yajun Hu, Yingying Gao, Shilei Zhang, Zhenhua Ling

http://arxiv.org/abs/2412.03388v1