획기적인 NAM-to-Speech 변환 기술 등장: MultiNAM 데이터셋과 함께


Neil Shah, Shirish Karande, Vineet Gandhi 연구팀이 기존 NAM-to-Speech 기술의 한계를 극복하는 새로운 방법론과 MultiNAM 데이터셋을 발표했습니다. phoneme-level 정렬 학습, TTS 활용, lip modality 및 diffusion-based method 도입을 통해 NAM 데이터 의존도를 줄이고, 더욱 정확하고 자연스러운 음성 변환을 구현했습니다.

related iamge

침묵 속의 목소리, 이제 AI가 듣습니다: 혁신적인 NAM-to-Speech 변환 기술

소리 나지 않는 속삭임, NAM(Non-Audible Murmur)을 말로 바꾸는 기술이 한 단계 도약했습니다! Neil Shah, Shirish Karande, Vineet Gandhi 세 연구원이 이끄는 연구팀이 기존의 한계를 뛰어넘는 혁신적인 NAM-to-Speech 변환 기술과 MultiNAM 데이터셋을 공개했습니다.

기존 기술의 벽을 넘어서

지금까지의 NAM-to-Speech 기술은 주로 음성 복제(voice cloning)에 의존해 왔습니다. 즉, 속삭임과 실제 음성의 쌍을 이용하여 AI가 실제 음성을 '모방'하는 방식이죠. 하지만 이 방식은 생성된 음성의 명료성이 떨어지고, 다양한 화자에게 일반화하기 어려운 문제점을 안고 있었습니다.

혁신적인 접근: Phoneme-Level 정렬 학습과 TTS

연구팀은 이러한 문제를 해결하기 위해 새로운 접근 방식을 제시했습니다. 바로 속삭임과 텍스트의 쌍을 이용하여 phoneme(음소) 수준의 정렬을 학습하고, 이를 기반으로 Text-to-Speech(TTS) 시스템을 활용하여 ground-truth speech를 생성하는 것입니다. 이는 단순 모방이 아닌, 음성의 본질적인 구조를 이해하고 생성하는 방식으로, 더욱 자연스럽고 명료한 음성을 만들어낼 수 있습니다.

데이터 의존도 감소를 위한 노력: Lip Modality와 Diffusion-based Method

속삭임 데이터에 대한 의존도를 줄이기 위해, 연구팀은 NAM 데이터만으로 phoneme 정렬을 학습하는 방법도 연구했습니다. 하지만, 이는 데이터의 제약으로 인해 품질이 다소 떨어질 수 있다는 한계가 있습니다. 이를 극복하기 위해 연구팀은 입술의 움직임(lip modality)을 활용하여 음성을 추론하는 방법과, 최근 발전된 lip-to-speech 기술을 기반으로 한 diffusion-based method를 제안했습니다. 이를 통해 NAM/속삭임 데이터에 대한 의존도를 더욱 줄이고, 보다 견고한 NAM-to-Speech 변환 시스템 구축을 목표로 합니다.

MultiNAM 데이터셋: 연구의 폭을 넓히다

연구팀은 두 명의 화자로부터 얻은 7.96시간 이상의 NAM, 속삭임, 비디오, 텍스트 데이터를 포함하는 MultiNAM 데이터셋을 공개했습니다. 이 데이터셋은 모든 제시된 방법들의 벤치마크에 사용되었으며, https://diff-nam.github.io/DiffNAM/ 에서 확인할 수 있습니다. 이를 통해 다른 연구자들도 이 기술을 재현하고 발전시킬 수 있는 기반을 마련했습니다.

미래를 향한 발걸음

이번 연구는 NAM-to-Speech 변환 기술의 새로운 지평을 열었습니다. 더욱 자연스럽고 정확한 음성 변환 기술 개발을 향한 중요한 발걸음이며, 앞으로 다양한 분야에서 활용될 가능성을 보여줍니다. 침묵 속의 목소리도 이제 AI 기술을 통해 세상에 들릴 수 있다는 희망을 안겨주는 연구입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Advancing NAM-to-Speech Conversion with Novel Methods and the MultiNAM Dataset

Published:  (Updated: )

Author: Neil Shah, Shirish Karande, Vineet Gandhi

http://arxiv.org/abs/2412.18839v1