Spark-TTS: 단일 스트림으로 혁신을 이룬 효율적인 LLM 기반 TTS 모델

중국 연구진이 개발한 Spark-TTS는 단일 스트림 기반의 효율적인 LLM 기반 TTS 모델로, 제로샷 음성 복제 및 고도의 사용자 지정 음성 생성이 가능하며, 10만 시간 분량의 고품질 데이터셋 VoxBox와 함께 공개되었습니다.

중국 연구진, 혁신적인 TTS 모델 Spark-TTS 공개!

최근 중국 연구진(Xinsheng Wang 외 23명)이 놀라운 성과를 발표했습니다. 바로 Spark-TTS, LLM(대규모 언어 모델) 기반의 혁신적인 텍스트 음성 변환(TTS) 모델입니다. 기존의 복잡하고 비효율적인 TTS 모델과는 달리, Spark-TTS는 단일 스트림(Single-Stream) 기반의 BiCodec을 사용하여 효율성을 극대화했습니다.

Spark-TTS의 핵심은 BiCodec이라는 새로운 음성 코덱에 있습니다. BiCodec은 음성을 두 가지 유형의 토큰으로 분해합니다. 하나는 언어적 내용을 담당하는 저비트레이트 의미 토큰이고, 다른 하나는 화자의 특성을 나타내는 고정 길이 글로벌 토큰입니다. 이러한 분리된 표현 방식은 Qwen2.5 LLM과 Chain-of-Thought(CoT) 생성 기법과 결합되어, 성별이나 말투와 같은 거시적인 제어뿐 아니라, 높낮이, 말하는 속도와 같은 미시적인 조정까지 가능하게 합니다.

단순히 효율적인 것에 그치지 않습니다. Spark-TTS는 제로샷 음성 복제(Zero-shot Voice Cloning) 에서 최첨단 성능을 달성했을 뿐만 아니라, 기존의 참조 기반 합성의 한계를 뛰어넘는 고도로 사용자 지정 가능한 음성을 생성합니다. 이는 연구진의 엄청난 노력의 결과물입니다.

더욱 놀라운 사실은, 연구진이 VoxBox라는 방대한 데이터셋을 함께 공개했다는 점입니다. VoxBox는 10만 시간 분량의 고품질 음성 데이터와 포괄적인 속성 주석으로 이루어져 있으며, 제어 가능한 TTS 연구에 크게 기여할 것으로 기대됩니다.

Spark-TTS의 소스 코드, 사전 훈련된 모델, 그리고 음성 샘플은 GitHub에서 확인할 수 있습니다. 이번 연구는 TTS 기술의 새로운 지평을 열었을 뿐만 아니라, 앞으로의 AI 음성 기술 발전에 큰 영향을 미칠 것으로 예상됩니다. Spark-TTS, 그리고 VoxBox의 등장으로 TTS 기술의 미래가 더욱 기대됩니다! 🔥