획기적인 AI 음성 변환 기술 등장! KNN-SVC로 완벽한 '제로샷' 음성 변환 시대를 열다!

Keren Shao 등 연구팀이 개발한 KNN-SVC는 추가 합성 및 연결 부드러움 최적화를 통해 제로샷 가수 음성 변환의 강건성을 크게 향상시켰습니다. 기존 기술의 한계였던 둔탁한 음색과 인공적인 울림을 해결하고, 자연스러운 음성 연결을 구현하여 AI 음성 합성 및 변환 기술의 새로운 지평을 열었습니다.

최근, AI 분야에서 괄목할 만한 성과가 발표되었습니다. Keren Shao, Ke Chen, Matthew Baas, 그리고 Shlomo Dubnov 박사가 주도한 연구팀은 kNN-SVC: Robust Zero-Shot Singing Voice Conversion with Additive Synthesis and Concatenation Smoothness Optimization 논문을 통해 기존 제로샷 가수 음성 변환(SVC)의 한계를 뛰어넘는 혁신적인 기술을 선보였습니다.

기존 기술의 한계 극복: 둔탁한 음색과 인공적인 울림 제거

기존의 kNN-VC 프레임워크는 WavLM을 기반으로 하지만, 이는 조화로운 음색 표현에 약점을 가지고 있었습니다. 결과적으로 둔탁한 음색과 인공적인 울림(ringing artifacts)이 발생하는 문제가 있었습니다. 연구팀은 WavLM, 피치 컨투어, 스펙트로그램 간의 상호 관계를 이용한 추가 합성(additive synthesis) 기법을 도입하여 이러한 문제를 해결했습니다. 이는 마치 화가가 여러 색을 섞어 더욱 풍부한 색감을 표현하는 것과 같습니다. 추가 합성을 통해 생성된 파형을 모델에 통합함으로써 훨씬 자연스럽고 풍부한 음색을 구현할 수 있게 된 것입니다.

완벽한 음성 연결을 위한 새로운 거리 측정 기법

또 다른 문제는 SVC에서 중요한 요소인 '연결 부드러움(concatenative smoothness)'이 부족하다는 점이었습니다. 연구팀은 이를 해결하기 위해 새로운 거리 측정 기법을 제안했습니다. 이 기법은 부적절한 kNN 후보들을 걸러내고, 추론 과정에서 후보들의 가중치 합을 최적화하여 매끄러운 음성 연결을 가능하게 합니다. 이는 마치 영화 편집자가 장면과 장면을 자연스럽게 연결하기 위해 신경 쓰는 것과 같습니다. 이 기술은 kNN-VC 프레임워크에 적용되었지만, 일반적인 연결 신경 합성 모델에도 적용될 수 있다는 점에서 그 의미가 더욱 크다고 할 수 있습니다.

실험 결과와 향후 전망

실험 결과는 이러한 수정이 강건한 SVC를 달성하는 데 효과적임을 입증했습니다. 연구팀은 데모 페이지 (http://knnsvc.com) 와 코드 (https://github.com/SmoothKen/knn-svc)를 공개하여 다른 연구자들의 참여와 발전을 독려하고 있습니다. 이 연구는 향후 AI 기반 음성 합성 및 변환 기술의 발전에 큰 영향을 미칠 것으로 예상됩니다. 더욱 자연스럽고 현실적인 음성 변환 기술의 등장으로, 음악 제작, 게임, 영화 더빙 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다.

참고: 본 내용은 제공된 정보를 바탕으로 작성되었으며, 과학적인 정확성을 유지하기 위해 노력했습니다. 자세한 내용은 원 논문을 참조하시기 바랍니다.