Vevo: 자기지도 학습으로 꿈꾸는 제로샷 음성 모방의 미래

Xueyao Zhang 등 13명의 연구진이 개발한 Vevo는 자기지도 학습 기반의 제로샷 음성 모방 프레임워크로, 6만 시간의 오디오북 데이터만으로 음색과 스타일을 제어 가능한 음성 생성을 달성했습니다. 기존 방식보다 뛰어난 성능을 보이며, AI 음성 기술의 새로운 가능성을 제시합니다.

최근 인공지능(AI) 분야에서 음성합성 기술은 눈부신 발전을 거듭하고 있습니다. 특히, 특정 음색이나 화법 스타일을 목표로 하는 음성 모방 기술은 다양한 분야에서 혁신적인 가능성을 제시하고 있습니다. 하지만 기존의 음성 모방 모델들은 대량의 주석 데이터에 의존하며, 음색과 스타일을 효과적으로 분리하는 데 어려움을 겪어왔습니다. 특히, 제로샷(zero-shot) 환경, 즉 훈련 데이터에 없는 새로운 스타일을 모방하는 것은 큰 과제였습니다.

이러한 한계를 극복하고자 Xueyao Zhang 등 13명의 연구진이 개발한 Vevo는 자기지도 학습(self-supervised learning) 기반의 획기적인 음성 모방 프레임워크입니다. Vevo는 음색과 화법 스타일을 효과적으로 분리하여 제어 가능한 음성 생성을 가능하게 합니다. 핵심은 두 단계로 이루어집니다.

1단계: 콘텐츠-스타일 모델링: 텍스트 또는 음성 콘텐츠 토큰을 입력으로 받아, 스타일 참조를 통해 콘텐츠-스타일 토큰을 생성하는 자기회귀 트랜스포머를 사용합니다.

2단계: 음향 모델링: 콘텐츠-스타일 토큰을 입력으로 받아, 음색 참조를 통해 음향 표현을 생성하는 플로우 매칭 트랜스포머를 사용합니다.

특히, Vevo는 음성의 음색, 스타일, 언어적 내용을 점진적으로 분리하는 완전 자기지도 학습 방식을 채택했습니다. HuBERT의 연속적인 숨겨진 특징에 대한 토큰화에 VQ-VAE를 사용하고, VQ-VAE 코드북의 어휘 크기를 정보 병목으로 취급하여 신중하게 조정함으로써 분리된 음성 표현을 얻습니다.

놀라운 점은 Vevo가 6만 시간 분량의 오디오북 음성 데이터만을 사용하여 자기지도 학습되었다는 점입니다. 스타일 특화 데이터셋 없이도 악센트 및 감정 변환 작업에서 기존 방법과 동등하거나 뛰어난 성능을 보였습니다. 더 나아가, 제로샷 음성 변환 및 텍스트 음성 변환 작업에서도 효과를 보이며 강력한 일반화 능력과 다재다능함을 입증했습니다. 자세한 내용과 음성 샘플은 https://versavoice.github.io에서 확인할 수 있습니다.

Vevo는 단순한 음성 모방 기술을 넘어, 제로샷 환경에서도 다양한 스타일의 음성을 자유롭게 생성할 수 있는 가능성을 열었습니다. 이는 AI 기반 음성 기술의 새로운 지평을 열고, 다양한 산업 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 하지만 아직 해결해야 할 과제도 존재합니다. 예를 들어, 특정 스타일을 더욱 정교하게 제어하는 기술이나, 다양한 언어에 대한 적용 등이 향후 연구 과제로 남아있습니다. 하지만 Vevo의 등장은 AI 음성 기술의 미래를 더욱 밝게 비추고 있습니다.