DiVISe: 영상만으로 생생한 음성 합성의 새 지평을 열다

DiVISe 모델은 영상만으로도 화자의 특징까지 정확하게 반영한 고품질 음성을 합성하는 획기적인 기술입니다. 기존 기술의 한계를 뛰어넘는 성능과 확장성으로 다양한 분야에 활용될 가능성이 높습니다.

침묵하는 영상만으로도 말하는 사람의 목소리를 생생하게 재현하는 기술이 등장했습니다. Liu Yifan, Fang Yu, Lin Zhouhan 등 연구진이 개발한 DiVISe(Direct Visual-Input Speech Synthesis) 모델이 바로 그 주인공입니다. 기존의 영상-음성(V2S) 합성 기술은 음성 내용과 화자의 특징을 시각적 단서만으로 정확히 재구성해야 하는 어려움에 직면했습니다. 특히, 음성의 명료성과 화자의 개성을 동시에 유지하는 것이 큰 과제였죠.

기존 방법들은 훈련 과정의 안정성을 위해 음향 정보를 추가로 활용하는 경우가 많았습니다. 하지만 최근 오디오-비주얼 사전 학습 기법의 발전으로 음향 정보의 의존도를 줄일 수 있게 되었지만, 여전히 명료성과 화자 특징 유지 사이의 균형을 맞추는 데 어려움을 겪고 있었습니다.

DiVISe는 이러한 한계를 극복하기 위해, 오디오 정보 없이 비디오 프레임만으로 Mel-spectrogram을 직접 예측하는 엔드-투-엔드 V2S 모델을 제시합니다. 놀랍게도 DiVISe는 음향 정보 없이도 화자의 특징을 효과적으로 보존하며, LRS2 및 LRS3 데이터셋에서 객관적 및 주관적 평가 지표 모두에서 뛰어난 성능을 기록했습니다.

연구 결과, DiVISe는 기존 V2S 모델보다 음성 명료성이 훨씬 뛰어나며, 데이터 및 모델 파라미터 증가에 따라 성능이 더욱 효과적으로 향상되는 확장성을 보여줍니다. 이 모델은 단순한 음성 합성을 넘어, 화자의 개성까지 고려한 실감나는 음성 생성 기술의 새로운 가능성을 열었습니다. 더 자세한 내용과 코드는 GitHub에서 확인할 수 있습니다.

핵심: DiVISe는 영상만을 이용해 높은 명료도와 화자 특징을 유지하는 혁신적인 음성 합성 모델입니다. 이는 향후 다양한 분야에서 실감나는 음성 생성 기술의 활용을 확대할 것으로 기대됩니다.