중국 연구진, 혁신적인 스트리밍 음성 합성 모델 CosyVoice 2 발표!


중국 연구진이 개발한 CosyVoice 2는 대규모 언어 모델을 기반으로 한 스트리밍 음성 합성 모델로, 유한 스칼라 양자화, 간소화된 모델 아키텍처, 청크 인식 인과 흐름 매칭 모델 등의 혁신적인 기술을 통해 인간 수준의 자연스러움과 최소한의 지연 시간, 손실 없는 합성 품질을 달성했습니다.

related iamge

중국 연구진, 실시간 음성 합성의 새 지평을 열다: CosyVoice 2

최근, 중국 연구진 Zhihao Du를 비롯한 19명의 연구자들이 개발한 CosyVoice 2가 스트리밍 음성 합성 분야에 혁신을 일으키고 있습니다. CosyVoice 2는 기존의 CosyVoice를 개선한 모델로, 대규모 언어 모델(LLM)을 기반으로 하여 실시간 상호 작용이 중요한 다양한 애플리케이션에 최적화되었습니다.

CosyVoice 2의 핵심적인 개선 사항은 다음과 같습니다.

  • 유한 스칼라 양자화(finite-scalar quantization)의 도입: 음성 토큰의 코드북 활용도를 향상시켜 효율성을 높였습니다. 이는 마치 레고 블록을 더욱 효율적으로 활용하여 다양한 구조물을 만드는 것과 같습니다. 더 적은 자원으로 더 많은 것을 표현할 수 있게 된 것이죠.

  • 스트림라인된 모델 아키텍처: 사전 훈련된 LLM을 바로 활용할 수 있도록 모델 아키텍처를 간소화하여 개발 시간과 자원을 절약했습니다. 이는 마치 미리 만들어진 부품을 활용하여 제품을 조립하는 것과 같이 효율적입니다.

  • 청크 인식 인과 흐름 매칭 모델(chunk-aware causal flow matching model) 개발: 스트리밍과 비스트리밍 방식 모두를 지원하는 유연한 시스템을 구축했습니다. 이는 다양한 사용 환경에 맞춰 유연하게 대응할 수 있음을 의미합니다.

놀라운 성능:

CosyVoice 2는 다국어 대규모 데이터셋을 이용한 훈련을 통해 인간 수준의 자연스러운 음성 합성을 구현했습니다. 더욱 놀라운 것은 최소한의 응답 지연 시간과 스트리밍 모드에서의 손실 없는 합성 품질을 달성했다는 점입니다. 이는 실시간 음성 상호 작용 애플리케이션에 있어 매우 중요한 성과입니다. 데모는 https://funaudiollm.github.io/cosyvoice2 에서 확인할 수 있습니다.

결론적으로 CosyVoice 2는 LLM 기반 스트리밍 음성 합성 기술의 새로운 기준을 제시하며, 향후 다양한 분야에서 실시간 음성 상호 작용 기술의 발전에 크게 기여할 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models

Published:  (Updated: )

Author: Zhihao Du, Yuxuan Wang, Qian Chen, Xian Shi, Xiang Lv, Tianyu Zhao, Zhifu Gao, Yexin Yang, Changfeng Gao, Hui Wang, Fan Yu, Huadai Liu, Zhengyan Sheng, Yue Gu, Chong Deng, Wen Wang, Shiliang Zhang, Zhijie Yan, Jingren Zhou

http://arxiv.org/abs/2412.10117v2