경량화와 안정성을 갖춘 제로샷 TTS: 자기증류 기반 표현 분리의 혁신
Chen, Hao, Li, Liu, 그리고 Lu 연구팀이 개발한 경량화 및 안정적인 제로샷 TTS 시스템은 자기증류 기반 표현 분리 기술을 통해 뛰어난 성능과 효율성을 달성했습니다. CPU 및 GPU 환경에서 우수한 실시간 성능을 보이며, 제로샷 TTS 기술의 실용화에 크게 기여할 것으로 기대됩니다.

최근 개인화된 음성 사용자 지정을 위한 제로샷 TTS(Text-To-Speech) 합성 기술이 주목받고 있습니다. 하지만 기존 제로샷 TTS는 만족할 만한 성능과 다양한 화자에 대한 일반화를 보장하기 위해 대규모 모델과 방대한 훈련 데이터에 의존해왔습니다. 이는 배포 비용과 데이터 보안에 대한 우려를 야기합니다. Chen, Hao, Li, Liu, 그리고 Lu 연구팀은 이러한 문제를 해결하기 위해 경량화되고 안정적인 제로샷 TTS 시스템을 제시했습니다.
혁신적인 아키텍처와 자기증류 프레임워크
연구팀은 언어적 내용과 다양한 화자 특성을 효과적으로 모델링하기 위해 새로운 TTS 아키텍처를 설계했습니다. 소스 음성과 프롬프트 음성으로부터 각각 언어적 내용과 화자 속성을 모델링하는 것이 핵심입니다. 더 나아가, 두 단계 자기증류 프레임워크를 통해 훈련 데이터 관점에서 언어적 내용과 화자를 효과적으로 분리하는 병렬 데이터 쌍을 구성했습니다. 이를 통해 모델의 안정성과 성능을 크게 향상시켰습니다.
놀라운 성능과 효율성
실험 결과, 이 시스템은 제로샷 TTS 작업에서 뛰어난 성능과 안정성을 보였습니다. 특히, CPU와 GPU에서 각각 0.13과 0.012의 RTF(Real-Time Factor) 를 기록하며, 현저히 향상된 계산 효율성을 입증했습니다. 이는 실시간 응용 분야에 적용 가능한 수준의 성능을 의미합니다. 이는 단순히 모델의 크기만 줄인 것이 아니라, 효율적인 아키텍처와 자기증류 기법을 통해 성능 저하 없이 경량화를 달성했다는 점에서 큰 의미를 갖습니다.
미래를 위한 발걸음
이 연구는 제로샷 TTS 분야의 중요한 발전을 보여줍니다. 경량화와 안정성을 동시에 확보함으로써, 제로샷 TTS 기술의 실용화를 한층 앞당겼다는 평가를 받고 있습니다. 앞으로 이 기술은 개인 맞춤형 음성 서비스, AI 비서, 음성 합성 기반 다양한 애플리케이션 등에 폭넓게 활용될 것으로 예상됩니다. 데이터 보안 및 비용 효율성 측면에서도 큰 장점을 제공하여, 지속적인 연구 개발을 통해 더욱 발전된 제로샷 TTS 기술의 시대를 열어갈 것으로 기대됩니다.
Reference
[arxiv] Towards Lightweight and Stable Zero-shot TTS with Self-distilled Representation Disentanglement
Published: (Updated: )
Author: Qianniu Chen, Xiaoyang Hao, Bowen Li, Yue Liu, Li Lu
http://arxiv.org/abs/2501.08566v1