혁신적인 제로샷 TTS: 미세립 선호도 최적화(FPO)로 품질 향상

Yao Jixun 등의 연구진이 제시한 미세립 선호도 최적화(FPO)는 제로샷 TTS 시스템의 강건성을 향상시키는 혁신적인 접근법입니다. 음성 샘플의 특정 부분에 발생하는 문제에 집중하여, 데이터 효율성을 높이고 성능을 개선하는 효과를 보였습니다.

최근 인공지능(AI) 기반 음성합성(TTS) 기술의 발전이 눈부시지만, 여전히 완벽한 자연스러움을 구현하기에는 어려움이 있습니다. 특히, 제로샷 TTS는 사전 훈련 없이 새로운 텍스트를 음성으로 변환하는 기술로, 강건성 확보가 중요한 과제입니다. Yao Jixun 등 8명의 연구진은 이러한 문제를 해결하기 위해 획기적인 접근법을 제시했습니다. 바로 미세립 선호도 최적화(Fine-grained Preference Optimization, FPO) 입니다.

기존의 TTS 시스템 개선은 주로 어절 단위의 선호도 데이터에 의존했습니다. 하지만, 실제 음성 샘플에서 문제가 발생하는 부분은 전체가 아닌 특정 구간에 국한되는 경우가 많습니다. FPO는 이러한 한계를 극복하기 위해 음성 샘플의 특정 부분에 발생하는 문제를 집중적으로 해결하는 데 초점을 맞춥니다.

연구진은 먼저 생성된 샘플에서 발생하는 문제 유형을 분석하여 두 가지 그룹으로 분류했습니다. 그리고 각 문제 유형에 대한 미세립 라벨을 기반으로 선택적 학습 손실 전략을 제시했습니다. 이 전략은 문제가 발생한 부분만 집중적으로 학습하여 개선함으로써, 전체 샘플의 품질을 향상시킵니다.

실험 결과, FPO는 제로샷 TTS 시스템의 강건성을 크게 향상시켰습니다. 특히, 잘못된 부분의 비율을 감소시키고, 음성의 명료도를 향상시켰다는 점이 주목할 만합니다. 또한, FPO는 기존 시스템에 비해 데이터 효율성이 뛰어나, 적은 훈련 데이터로도 유사한 성능을 달성했습니다. 이는 TTS 시스템 개발에 드는 시간과 비용을 절감하는 데 크게 기여할 것으로 예상됩니다.

이 연구는 제로샷 TTS 기술의 한계를 극복하고, 더욱 자연스럽고 강건한 음성 합성 시스템 구축을 위한 중요한 이정표를 제시했습니다. 앞으로 FPO 기술이 더욱 발전하여, 우리 주변에서 만나는 다양한 AI 서비스의 음성 품질을 향상시키는 데 기여할 것으로 기대합니다.

(참고) 연구진: Yao Jixun, Yang Yuguang, Pan Yu, Feng Yuan, Ning Ziqian, Ye Jianhao, Zhou Hongbin, Xie Lei