🔥 FireRedTTS-1S: 실시간 고품질 음성합성의 혁신

FireRedTTS-1S는 150ms 이하의 낮은 지연 시간으로 고품질의 실시간 스트리밍 음성 합성을 구현하는 혁신적인 시스템입니다. 제로샷 음성 복제에서도 우수한 성능을 보이며, 산업계 표준 시스템과 비교 가능한 수준의 명료도와 화자 유사성을 제공합니다. 주관적 평가에서도 실제 녹음과 유사한 높은 품질을 인정받았습니다.

🔥 FireRedTTS-1S: 실시간 고품질 음성합성의 혁신

Guo Hao-Han, Xie Kun, Wu Yi-Chen, Xie Feng-Long 연구팀이 개발한 FireRedTTS-1S는 텍스트 음성 변환(TTS) 분야에 새로운 이정표를 세웠습니다. 기존 FireRedTTS의 스트리밍 버전을 업그레이드한 이 시스템은 텍스트-의미 디코딩과 의미-음향 디코딩의 두 단계를 통해 실시간 스트리밍 음성 생성을 구현합니다.

먼저, 의미 인식 음성 토크나이저가 음성 신호를 의미 토큰으로 변환합니다. 이 토큰들은 자기회귀 방식의 의미 언어 모델을 통해 텍스트에서 합성됩니다. 동시에, 초고해상도 인과적 오디오 코덱과 다중 스트림 음향 언어 모델을 사용하는 의미-음향 디코딩 모듈이 생성된 의미 토큰을 실시간으로 음성 신호로 변환합니다. 이러한 설계는 150ms 이하의 낮은 지연 시간으로 실시간 생성을 가능하게 하면서도 고품질 음성을 생성합니다.

특히, 제로샷 음성 복제 실험에서 FireRedTTS-1S는 산업계 기준 시스템과 비교해 뛰어난 명료도와 화자 유사성을 보였습니다. 더 나아가, 주관적 평가에서도 실제 녹음과 유사한 품질을 달성하여 그 성능을 입증했습니다.

이 연구는 실시간 고품질 음성 합성 기술의 발전에 크게 기여할 뿐만 아니라, 다양한 응용 분야에서의 활용 가능성을 더욱 높일 것으로 기대됩니다. FireRedTTS-1S는 단순한 기술적 진보를 넘어, 자연스럽고 실감나는 음성 생성을 통해 인간과 기계의 소통을 한층 더 풍부하게 만들어줄 혁신적인 시스템이라 할 수 있습니다.

핵심: 고품질, 실시간 스트리밍, 낮은 지연시간(150ms 이하), 제로샷 음성 복제, 산업계 표준 시스템과 비교 가능한 성능