AI가 발음장애 음성을 일반 음성으로 변환한다면? - 새로운 음성 인식 기술의 등장

IDIAP 연구소 연구팀은 비지도 학습 기반의 리듬 및 음성 변환 방법을 통해 발음장애 음성의 음성인식 성능을 향상시켰습니다. 자가 지도 학습을 통해 발음장애 음성을 일반 음성으로 변환, 특히 심각한 발음장애 화자에게 효과적임을 보였습니다. 코드와 음성 샘플 공개를 통해 다른 연구자들의 검증 및 활용을 지원하고 있습니다.

AI가 발음장애 음성을 일반 음성으로 변환한다면?

최근 IDIAP 연구소의 Karl El Hajal, Enno Hermann, Ajinkya Kulkarni, Mathew Magimai. -Doss 연구팀이 발표한 논문 "Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR"은 AI 기반 음성 인식 기술의 새로운 지평을 열었습니다.

기존의 음성인식(ASR) 시스템은 발음장애(dysarthria)가 있는 사람들의 음성을 제대로 인식하는 데 어려움을 겪어왔습니다. 이는 발음장애 음성과 일반적인 음성 사이의 차이 때문입니다. 기존 연구들은 발화 속도 조절을 통해 이러한 차이를 줄이려고 시도했지만, 이 방법들은 전사된 음성 데이터에 의존하기 때문에 새로운 화자의 음성에 적용하기 어려운 한계가 있었습니다.

하지만 이번 연구는 이러한 한계를 극복하기 위해 비지도 학습 기반의 리듬 및 음성 변환 방법을 제시했습니다. 핵심은 자가 지도 학습(self-supervised learning) 기반의 음성 표현을 활용하여 발음장애 음성을 일반적인 음성으로 매핑하는 것입니다. 즉, 훈련 데이터에 대한 추가적인 라벨링 없이도 AI가 스스로 음성 패턴을 학습하고 변환할 수 있도록 하는 것입니다.

연구팀은 일반적인 음성으로 사전 훈련된 대규모 ASR 모델을 사용하여 제안된 방법의 성능을 평가했습니다. 그 결과, 제안된 리듬 변환 방법이 특히 Torgo 코퍼스(발음장애 음성 데이터셋)의 심각한 발음 장애를 가진 화자에 대해 음성 인식 성능을 크게 향상시키는 것으로 나타났습니다. 더욱 놀라운 점은 추가적인 미세 조정 없이도 이러한 성능 향상이 달성되었다는 점입니다. 연구팀은 코드와 음성 샘플을 공개하여 (https://idiap.github.io/RnV) 다른 연구자들의 검증 및 활용을 지원하고 있습니다.

이 연구는 발음장애를 가진 사람들의 의사소통을 돕고, 더욱 포괄적인 AI 기반 기술 개발에 중요한 발걸음을 내딛은 것으로 평가됩니다. 비지도 학습 기법의 발전은 앞으로 더욱 다양한 분야에서 AI 기술의 활용 가능성을 확장할 것으로 기대됩니다. 특히, 의료, 교육 등 다양한 분야에서 발음장애인의 삶의 질 개선에 크게 기여할 것으로 예상됩니다.