Koel-TTS: 선호도 정렬과 분류기 없는 가이드로 LLM 기반 음성 생성 향상시키다

Koel-TTS는 선호도 정렬 및 분류기 없는 가이드 기술을 통해 기존 TTS 모델의 한계를 극복하고, 작은 데이터셋으로도 최첨단 성능을 달성한 혁신적인 음성 생성 모델입니다. 자동 음성 인식 및 화자 인증 모델을 활용하여 음성의 자연스러움과 정확성을 향상시켰으며, 향후 음성 합성 기술 발전에 크게 기여할 것으로 기대됩니다.

Koel-TTS: 자연스러움과 정확성을 넘어, 완벽한 음성 생성의 새 지평을 열다

자동 회귀 음성 토큰 생성 모델은 놀라운 다양성과 자연스러움을 가진 음성을 생성하지만, 제어의 부족으로 인해 환각이나 원치 않는 발성과 같은 문제가 발생하는 경우가 많습니다. 이는 조건 입력과 일치하지 않는 결과를 초래합니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 Koel-TTS 입니다. Shehzeen Hussain 등 9명의 연구원은 자동 음성 인식(ASR) 및 화자 인증 모델을 이용한 선호도 정렬 기법을 도입하여 이러한 문제를 해결하는 데 집중했습니다. 여기에 더해 분류기 없는 가이드(classifier-free guidance) 를 활용하여 음성 합성의 정확도를 더욱 높였습니다. 즉, 텍스트와 참조 음성을 음향 토큰에 직접 매핑하여 보다 정확하고 자연스러운 음성 생성을 가능하게 한 것입니다.

Koel-TTS의 핵심은 무엇일까요? 바로 선호도 정렬과 분류기 없는 가이드입니다. 선호도 정렬은 ASR과 화자 인증 모델의 피드백을 통해 생성되는 음성이 목표 화자와 일치하고, 텍스트와 정확하게 부합하도록 조정하는 기술입니다. 분류기 없는 가이드는 모델이 텍스트와 참조 음성을 더욱 충실하게 반영하도록 유도하는 기술입니다. 이 두 기술의 조합은 음성의 자연스러움, 명료성, 그리고 목표 화자와의 유사성을 비약적으로 향상시켰습니다.

놀랍게도, Koel-TTS는 상당히 작은 데이터셋으로 학습되었음에도 불구하고, 기존 최첨단 TTS 모델들을 능가하는 성능을 보였습니다. 이는 Koel-TTS의 효율성과 우수성을 증명하는 훌륭한 결과입니다. 더 자세한 내용과 데모는 연구팀 웹사이트에서 확인할 수 있습니다.

결론적으로, Koel-TTS는 LLM 기반 음성 생성 분야에 새로운 가능성을 제시하며, 향후 더욱 자연스럽고 정확한 음성 합성 기술 발전에 크게 기여할 것으로 기대됩니다.