혁신적인 음성합성 모델 ProsodyFM: 자연스러운 어조와 구절을 향한 도약
ProsodyFM은 운율을 고려한 음성합성 모델로, 기존 모델의 한계를 극복하고 자연스러운 어조와 구절 나누기를 구현합니다. 명시적인 운율 정보 없이도 학습 가능하며, 뛰어난 일반화 성능을 보입니다.

말에는 단어의 문자 그대로의 의미를 넘어선 풍부한 정보가 담겨 있습니다. 바로 운율(Prosody) 입니다. 운율은 말의 지능성을 결정하는 중요한 요소이며, 자연스러운 대화나 명확한 전달을 위해서는 정확한 구절 나누기와 어조 조절이 필수적입니다. 하지만 기존 음성합성 모델들은 긴 문장이나 복잡한 구조의 문장을 합성할 때 구절을 잘못 나누거나 어색한 어조를 생성하는 등의 한계를 가지고 있었습니다.
He Xiangheng 등 연구진이 개발한 ProsodyFM은 이러한 문제를 해결하기 위한 획기적인 모델입니다. ProsodyFM은 플로우 매칭(FM) 기반의 음성합성 모델로, 운율을 고려하여 자연스러운 구절 나누기와 어조를 생성하는 것을 목표로 합니다.
ProsodyFM의 핵심은 두 가지 구성 요소에 있습니다.
- 구절 나누기 인코더(Phrase Break Encoder): 문장 내 구절의 시작 위치를 파악합니다.
- 지속 시간 예측기(Duration Predictor): 구절의 길이를 유연하게 조절합니다.
- 종결 어조 인코더(Terminal Intonation Encoder): 다양한 어조 패턴을 학습하고, 새로운 피치 프로세서(Pitch Processor)와 결합하여 인간의 어조 변화를 더욱 정확하게 모델링합니다.
놀랍게도 ProsodyFM은 명시적인 운율 정보 없이도 훈련되었습니다. 즉, 별도의 운율 라벨을 사용하지 않고도 다양한 구절 길이와 어조 패턴을 스스로 학습하는 능력을 보여줍니다. 실험 결과, ProsodyFM은 기존 최첨단(SOTA) 모델들보다 구절 나누기와 어조 측면에서 눈에 띄는 성능 향상을 보였습니다. 특히, 본래 학습에 사용되지 않은 복잡한 문장이나 다른 화자의 음성에 대해서도 우수한 일반화 성능을 보이는 것으로 나타났습니다. 이는 ProsodyFM의 뛰어난 적응력을 보여주는 중요한 결과입니다.
연구진은 사례 연구를 통해 ProsodyFM이 구절 나누기와 어조를 얼마나 세밀하게 제어할 수 있는지 직관적으로 보여주었습니다. ProsodyFM은 음성합성 기술의 새로운 지평을 열고, 더욱 자연스럽고 이해하기 쉬운 음성 합성을 가능하게 할 것으로 기대됩니다.
Reference
[arxiv] ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis
Published: (Updated: )
Author: Xiangheng He, Junjie Chen, Zixing Zhang, Björn W. Schuller
http://arxiv.org/abs/2412.11795v2