딥러닝으로 입술 움직임만으로도 생생한 목소리 재현: NaturalL2S의 혁신

NaturalL2S는 End-to-End 방식과 DDSP를 활용하여 입술 움직임만으로 고품질의 다양한 화자 음성을 생성하는 혁신적인 기술입니다. 기본 주파수 예측기와 화자 임베딩을 사용하지 않는 방식으로 자연스러운 억양과 화자 유사도를 확보했습니다.

최근 영상 음성 인식(VSR) 기술의 발전은 입술 움직임만으로 음성을 합성하는 기술에 큰 진전을 가져왔습니다. 기존의 접근 방식은 VSR 모델을 활용하여 의미 정보를 추출하여 음성 합성의 명료성을 높이는데 집중했습니다. 특히, 의사 VSR과 의사 텍스트 음성 변환(TTS)을 결합하거나 암묵적으로 전사된 텍스트를 활용하는 캐스케이드 방식이 주목받았습니다.

하지만 이러한 방법들은 멜 스펙트로그램을 중간 표현으로 사용하는데, 입술 움직임으로부터 음성을 합성하는 과정에서 필연적으로 발생하는 오류로 인해 합성된 멜 스펙트로그램과 실제 멜 스펙트로그램 간의 차이(도메인 갭)가 발생하여 음성 합성 품질 저하로 이어지는 문제점이 있었습니다.

Liang Yifan 등 연구진은 이러한 문제를 해결하기 위해 NaturalL2S 라는 혁신적인 End-to-End 프레임워크를 제시했습니다. NaturalL2S는 음향 유도적 편향을 차별화 가능한 음성 생성 구성 요소와 통합하여 이 문제를 해결합니다. 핵심은 다음과 같습니다.

• 기본 주파수(F0) 예측기 도입: 합성 음성의 자연스러운 억양을 위해 기본 주파수(F0)를 예측하는 모듈을 도입했습니다. 예측된 F0는 DDSP(Differentiable Digital Signal Processing) 합성기를 구동하여 후속 음성 합성을 위한 사전 정보 역할을 하는 조잡한 신호를 생성합니다.
• 화자 임베딩 없이 다양한 화자 음성 생성: 기존 방식과 달리, 참고 화자 임베딩을 보조 입력으로 사용하지 않고도 만족스러운 화자 유사도 성능을 달성했습니다. 즉, 화자 특징을 명시적으로 모델링하지 않고도 다양한 화자의 음성을 생성할 수 있습니다.

객관적 및 주관적 평가 결과, NaturalL2S는 기존 최첨단 방법에 비해 합성 음성의 품질을 효과적으로 향상시키는 것으로 나타났습니다. (데모 페이지: https://yifan-liang.github.io/NaturalL2S/)

이 연구는 단순히 입술 움직임만으로도 고품질의 다양한 화자 음성을 생성하는 기술을 넘어, 향후 음성 합성 및 관련 분야에 혁신적인 발전을 가져올 가능성을 제시합니다. 특히, 장애인을 위한 보조 기술, 실감 나는 가상 캐릭터 생성 등 다양한 분야에서 폭넓은 활용이 기대됩니다. 하지만, 더욱 정교한 음성 합성과 다양한 언어 지원을 위한 추가 연구가 필요할 것으로 예상됩니다.