혁신적인 의료영상 음성합성 기술 등장: MRI2Speech
Neil Shah 등 연구팀이 개발한 MRI2Speech는 실시간 자기공명영상(rtMRI)을 이용하여 음성을 합성하는 혁신적인 기술입니다. AV-HuBERT 모델과 새로운 흐름 기반 지속 시간 예측기를 사용하여 기존 기술의 한계를 극복하고, USC-TIMIT MRI 코퍼스에서 15.18%의 WER을 달성했습니다. 이 기술은 다양한 분야에 응용될 가능성을 가지고 있습니다.

의료 영상으로 음성을 합성하다: MRI2Speech의 놀라운 발전
최근, 의료 영상 기술과 인공지능의 만남이 놀라운 결과를 만들어냈습니다. Neil Shah, Ayan Kashyap, Shirish Karande, Vineet Gandhi 연구팀이 개발한 MRI2Speech는 실시간 자기공명영상(rtMRI)만으로 음성을 합성하는 획기적인 기술입니다. 기존의 rtMRI 기반 음성 합성 기술은 잡음이 많은 기준 음성 데이터에 크게 의존하여, 음성의 명료도가 떨어지는 문제점을 가지고 있었습니다. 하지만 MRI2Speech는 이러한 한계를 뛰어넘었습니다.
AV-HuBERT와 흐름 기반 지속 시간 예측기: 혁신의 핵심
연구팀은 이 문제를 해결하기 위해 다중 모드 자기 지도 학습 모델인 AV-HuBERT를 적용했습니다. 이 모델은 rtMRI 데이터에서 텍스트를 예측하는 데 효과적이며, 새로운 흐름 기반 지속 시간 예측기를 추가하여 화자별 음성의 정렬까지 개선했습니다. 예측된 텍스트와 지속 시간을 사용하여, 어떤 새로운 음성이든지 자연스러운 음성을 합성할 수 있게 된 것입니다. 이는 기존 기술과 비교하여 괄목할 만한 발전입니다.
USC-TIMIT MRI 코퍼스에서 15.18% WER 달성: 성능 검증
연구팀은 두 개의 데이터 세트를 사용하여 철저한 실험을 진행했습니다. 그 결과, USC-TIMIT MRI 코퍼스에서 15.18%의 단어 오류율(WER) 을 달성하여 기존 최고 성능을 크게 뛰어넘는 결과를 보여주었습니다. 더 나아가, rtMRI 영상의 일부를 가리고 실험하여 각 발음 기관의 움직임이 텍스트 예측에 미치는 영향까지 분석하여 모델의 강인성을 입증했습니다. 실제 음성 샘플은 링크에서 확인할 수 있습니다.
미래를 향한 도약: 더욱 정확하고 자연스러운 음성 합성 기술
MRI2Speech의 등장은 의료 영상 기술과 인공지능 기술의 융합을 통해 더욱 정확하고 자연스러운 음성 합성 기술 개발에 중요한 이정표를 세웠다는 것을 의미합니다. 향후 이 기술은 음성 장애인을 위한 보조 기술, 실감 나는 게임 환경 구축 등 다양한 분야에 응용될 가능성을 가지고 있으며, 앞으로 더욱 발전된 기술을 기대해 볼 수 있습니다.
Reference
[arxiv] MRI2Speech: Speech Synthesis from Articulatory Movements Recorded by Real-time MRI
Published: (Updated: )
Author: Neil Shah, Ayan Kashyap, Shirish Karande, Vineet Gandhi
http://arxiv.org/abs/2412.18836v1