AI TREND NOW

#카이스트 연구진, 다중 모달 음성 합성의 혁신: AlignDiT

카이스트 연구진이 개발한 AlignDiT는 텍스트, 영상, 오디오를 활용한 혁신적인 다중 모달 음성 합성 모델로, 기존 기술의 한계를 뛰어넘는 성능과 다양한 분야에서의 활용 가능성을 제시합니다.

카이스트 연구진, 혁신적인 다중 모달 음성 합성 모델 AlignDiT 공개!

최근 카이스트 정소 최 교수 연구팀(정소 최, 김지훈, 김성빈, 오태현, 정준손)은 텍스트, 영상, 참조 오디오 등 다양한 정보를 활용하여 고품질 음성을 생성하는 획기적인 인공지능 모델 AlignDiT (Multimodal Aligned Diffusion Transformer) 를 개발하는 쾌거를 이루었습니다. 이 연구는 영화 제작, 더빙, 가상 아바타 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다.

기존의 다중 모달 음성 합성 모델들은 음성의 명료성, 오디오와 비디오의 정확한 동기화, 자연스러운 음성 톤, 그리고 참조 화자와의 유사성 확보에 어려움을 겪어왔습니다. 하지만 AlignDiT는 이러한 문제점들을 극복하고자 세 가지 효과적인 전략을 통해 다중 모달 표현의 정렬을 개선했습니다. 더 나아가, 새로운 다중 모달 분류기 없는 안내 메커니즘(multimodal classifier-free guidance mechanism) 을 도입하여 모델이 각 모달리티(텍스트, 영상, 오디오)의 정보를 적응적으로 조절하며 음성을 합성할 수 있도록 했습니다.

연구팀의 광범위한 실험 결과, AlignDiT는 기존 모델들을 압도적으로 능가하는 성능을 보였습니다. 음성 품질, 동기화, 화자 유사성 측면에서 모두 최고 수준의 성능을 기록했으며, 특히 영상-음성 합성 및 시각적 강제 정렬과 같은 다양한 작업에서도 뛰어난 일반화 능력을 선보였습니다. 이러한 놀라운 결과는 AlignDiT의 잠재력을 입증하며, 향후 다양한 분야에서의 활용 가능성을 높여줍니다.

더욱 놀라운 사실은, AlignDiT의 데모 페이지가 https://mm.kaist.ac.kr/projects/AlignDiT 에서 공개되어 누구든지 직접 경험해 볼 수 있다는 점입니다! 이를 통해 연구 결과의 접근성을 높이고, 더욱 활발한 연구 발전을 기대할 수 있습니다. AlignDiT는 단순한 기술적 발전을 넘어, 인공지능 기반 미디어 제작의 새로운 지평을 열었습니다.

향후 전망: AlignDiT의 기술은 앞으로 영화, 게임, 가상현실 등 다양한 분야에서 활용될 것으로 예상되며, 보다 현실적이고 자연스러운 다중 모달 상호작용 경험을 제공할 것으로 기대됩니다. 하지만, 모델의 윤리적 사용 및 개인정보 보호 문제 등에 대한 지속적인 논의와 연구가 필요할 것입니다.