대만어 TTS 혁신: BreezyVoice의 등장

대만 국립대학교 연구팀이 개발한 대만어 특화 TTS 시스템 BreezyVoice는 S³ 토크나이저, LLM, OT-CFM 모델을 활용하여 다의어 문제를 해결하고 높은 성능을 달성했습니다. 일반 및 코드 전환 상황에서 우수한 성능을 검증받았으며, 희귀 발화자 모델링과 다의어 해소에 대한 귀중한 통찰을 제공합니다.

대만 국립대학교 연구팀(Hsu, Lin, Lin, Chen, Chung, Li, Chen, Yu, Lee, Chen, Huang, Lee, Shiu)이 대만어에 특화된 혁신적인 음성합성(TTS) 시스템인 BreezyVoice를 개발하는데 성공했습니다. 이는 단순한 TTS 시스템을 넘어, 대만어 고유의 어려움인 다의어 문제 해결에 초점을 맞춘 획기적인 연구 결과입니다.

BreezyVoice: 다의어의 난관을 극복하다

대만어는 같은 발음이지만 다른 뜻을 가진 단어(다의어, polyphone)가 많아 TTS 개발에 어려움을 줍니다. 연구팀은 기존 CosyVoice 시스템을 기반으로, 이러한 난관을 극복하기 위해 세 가지 핵심 기술을 도입했습니다.

1. S³ 토크나이저: 더욱 정교한 단어 분절을 통해 다의어 해석의 정확도를 높였습니다.
2. 대규모 언어 모델(LLM): 방대한 대만어 데이터를 학습하여 다의어의 문맥적 의미를 파악하는 능력을 향상시켰습니다.
3. 최적 전송 조건부 흐름 일치 모델(OT-CFM): 자연스러운 발음을 생성하는데 중요한 역할을 수행합니다. 이를 통해 인간의 발화와 매우 유사한 사실적인 음성 생성을 가능하게 했습니다.

뿐만 아니라, 그래프-음소 예측 모델을 추가하여 TTS의 성능을 한층 끌어올렸습니다.

놀라운 성능과 미래 전망

연구 결과, BreezyVoice는 일반적인 대화 상황뿐 아니라 코드 전환 상황에서도 뛰어난 성능을 보였습니다. 이는 BreezyVoice가 다양한 상황에 적용 가능한 강력하고 효율적인 시스템임을 의미합니다. 또한, 연구팀은 희귀 발화자 모델링과 다의어 해소 과정에서 마주했던 어려움과 그 해결 방안에 대한 귀중한 통찰을 제시했습니다. 이는 향후 더욱 발전된 TTS 시스템 개발에 중요한 기여를 할 것으로 기대됩니다. BreezyVoice는 대만어 TTS 기술의 새로운 지평을 열었을 뿐 아니라, 다른 다의어 문제를 가진 언어의 TTS 개발에도 시사하는 바가 큽니다.

마치며…

BreezyVoice는 단순히 기술적인 발전을 넘어, 언어의 다양성과 포용성을 존중하는 중요한 발걸음입니다. 앞으로 이 기술이 다양한 분야에서 활용되어 대만어 사용자들에게 더욱 풍부하고 편리한 경험을 제공할 수 있기를 기대합니다. 이 연구는 신경 코덱 TTS 시스템의 작동 방식에 대한 귀중한 통찰을 제공하며, 앞으로의 연구 방향을 제시하는 중요한 이정표가 될 것입니다.