대규모 스타일 제어 TTS 데이터셋 ParaSpeechCaps 등장: AI 음성합성의 새로운 지평

Anuj Diwan 등 연구진이 개발한 ParaSpeechCaps는 59가지 스타일 태그를 포함하는 대규모 스타일 제어 TTS 데이터셋으로, 자동화된 주석 방식을 통해 풍부한 스타일 정보를 효율적으로 구축했습니다. Parler-TTS 모델과의 결합을 통해 스타일 일관성과 음성 품질을 크게 향상시켰으며, GitHub를 통해 공개되어 AI 음성합성 기술 발전에 기여할 것으로 예상됩니다.

AI 음성합성의 혁신: ParaSpeechCaps 데이터셋

최근 AI 음성합성 분야에서 괄목할 만한 연구 결과가 발표되었습니다. Anuj Diwan, Zhisheng Zheng, David Harwath, 그리고 Eunsol Choi를 포함한 연구팀은 Paralinguistic Speech Captions (ParaSpeechCaps) 라는 대규모 데이터셋을 공개하며 AI 음성합성 기술의 새로운 장을 열었습니다. 기존의 소규모 데이터셋에서는 다루기 어려웠던 풍부한 스타일 정보(예: 쉰 목소리, 콧소리, 고통스러운 목소리)를 대량으로 포함하는 것이 가장 큰 특징입니다.

기존 기술의 한계를 넘어서:

기존의 대규모 음성합성 데이터셋은 '낮은 음높이', '느린 속도', '큰 소리' 와 같은 기본적인 스타일 태그만을 포함하고 있었습니다. ParaSpeechCaps는 이러한 한계를 극복하기 위해 기존의 텍스트 및 음성 임베딩 기술, 분류기, 그리고 음성 언어 모델을 결합하여 자동화된 주석 방식을 개발했습니다. 이를 통해 화자 수준의 고유 태그와 발화 수준의 상황 태그를 포함한 총 59개의 스타일 태그를 가진, 인간이 직접 라벨링한 342시간의 데이터(PSC-Base)와 자동 주석이 추가된 2427시간의 데이터(PSC-Scaled)로 구성된 방대한 데이터셋을 구축했습니다.

Parler-TTS 모델과의 시너지:

연구팀은 오픈소스 스타일 제어 TTS 모델인 Parler-TTS를 ParaSpeechCaps 데이터셋으로 미세 조정하여 놀라운 결과를 얻었습니다. 기존 최고 성능 모델 대비 스타일 일관성은 7.9% 향상되었고(Consistency MOS), 음성 품질은 무려 15.5% 향상되었습니다(Naturalness MOS). 이는 ParaSpeechCaps 데이터셋의 우수성과 Parler-TTS 모델의 적합성을 잘 보여줍니다.

미래를 위한 기반 마련:

연구팀은 데이터셋 설계 과정에서 다양한 변수들을 분석하여 향후 연구 방향에 대한 기반을 마련했습니다. 더욱이, 모든 데이터, 모델, 코드는 GitHub(https://github.com/ajd12342/paraspeechcaps)를 통해 공개되어, AI 음성합성 기술 발전에 크게 기여할 것으로 예상됩니다. ParaSpeechCaps는 단순한 데이터셋을 넘어, AI 음성합성 기술의 새로운 가능성을 제시하는 획기적인 성과라고 할 수 있습니다. 풍부한 표현력과 자연스러운 음성을 요구하는 다양한 분야에서 ParaSpeechCaps의 활용이 기대됩니다.