메티스(Metis): 마스크 생성 사전 학습 기반의 혁신적인 통합 음성 생성 모델 등장

중국 연구진이 개발한 '메티스(Metis)'는 마스크 생성 사전 학습 기반의 통합 음성 생성 모델로, 기존 모델보다 적은 데이터와 매개변수로 다양한 음성 생성 작업에서 최첨단 성능을 달성했습니다. 이는 음성 생성 기술의 획기적인 발전이며, 향후 다양한 분야에서의 응용이 기대됩니다.

메티스(Metis): 새로운 음성 생성의 지평을 열다

최근, 중국 연구진(원청 왕 외 5명)이 개발한 획기적인 음성 생성 모델 '메티스(Metis)'가 학계의 주목을 받고 있습니다. 기존의 특정 작업에 국한된 모델이나 여러 작업을 동시에 처리하는 다중 작업 모델과는 달리, 메티스는 마스크 생성 사전 학습(Masked Generative Pre-training) 이라는 새로운 패러다임을 제시합니다. 이는 30만 시간에 달하는 방대한 양의 비표지 음성 데이터를 활용하여 모델을 사전 학습시킨 후, 특정 작업에 맞춰 미세 조정하는 방식입니다.

메티스의 핵심은 무엇일까요?

메티스는 음성 자기 지도 학습(SSL) 특징에서 추출한 SSL 토큰과 파형에서 직접 양자화한 음향 토큰, 두 가지 이산 음성 표현을 사용합니다. 이러한 독특한 접근 방식은 모델의 표현 능력을 향상시켜 다양한 작업에 대한 적응력을 높였습니다. 무엇보다도 주목할 만한 점은, 어떠한 추가적인 조건 없이 SSL 토큰에 대한 마스크 생성 사전 학습을 수행한다는 것입니다. 이는 데이터 활용의 효율성을 극대화하는 혁신적인 시도입니다.

다양한 음성 생성 작업에서의 뛰어난 성능

메티스는 제로샷 텍스트 음성 변환(Text-to-Speech), 음성 변환, 목표 화자 추출, 음성 향상, lip-to-speech 등 다섯 가지 음성 생성 작업에서 뛰어난 성능을 보여주었습니다. 놀랍게도, 2천만 개 미만의 학습 가능한 매개변수나 기존 모델 대비 300배 적은 학습 데이터만으로도 최첨단 시스템을 능가하는 성능을 달성했습니다. 이는 메티스가 효율성과 성능을 동시에 갖춘 진정한 통합 음성 생성 모델임을 입증하는 결과입니다. (데모는 https://metis-demo.github.io/ 에서 확인 가능합니다.)

미래를 위한 전망

메티스의 등장은 음성 생성 기술의 새로운 장을 열었습니다. 소량의 데이터와 제한된 자원으로도 고품질의 음성 생성이 가능해짐에 따라, 다양한 분야에서의 응용이 기대됩니다. 특히, 다국어 지원이나 개인 맞춤형 음성 서비스 개발에 메티스가 크게 기여할 것으로 예상됩니다. 하지만, 더욱 광범위한 실제 환경에서의 테스트와 성능 평가가 필요하며, 윤리적인 측면에 대한 고려 또한 중요한 과제로 남아있습니다.