TokenSynth: 토큰 기반 신경망 합성기로 악기 복제와 텍스트-악기 생성의 새로운 지평을 열다

김경수 외 연구팀이 개발한 TokenSynth는 MIDI 토큰과 CLAP 임베딩을 활용, 미세 조정 없이 악기 복제 및 텍스트-악기 합성을 가능하게 하는 혁신적인 신경망 합성기입니다. 다양한 사운드 디자인과 직관적인 음색 제어를 지원하며, AI 기반 음악 생성 기술 발전에 크게 기여할 것으로 기대됩니다.

TokenSynth: 토큰 기반 신경망 합성기로 악기 복제와 텍스트-악기 생성의 새로운 지평을 열다

최근 신경망 오디오 코덱의 발전은 텍스트 음성 변환, 텍스트 음향 변환, 텍스트 음악 생성과 같은 다양한 오디오 생성 작업에서 토큰화된 오디오 표현의 활용을 가능하게 했습니다. 김경수, 구정현, 이성호, 정해선, 이교구 연구팀은 이러한 접근 방식을 활용하여 TokenSynth 라는 혁신적인 신경망 합성기를 제안했습니다.

TokenSynth는 디코더 전용 트랜스포머를 사용하여 MIDI 토큰과 음색 관련 정보를 포함하는 CLAP(Contrastive Language-Audio Pretraining) 임베딩으로부터 원하는 오디오 토큰을 생성합니다. 이 모델은 추가적인 미세 조정 없이 악기 복제, 텍스트-악기 합성, 텍스트 기반 음색 조작을 수행할 수 있습니다. 이러한 유연성은 다양한 사운드 디자인과 직관적인 음색 제어를 가능하게 합니다.

연구팀은 객관적인 측정을 사용하여 합성된 오디오의 품질, 합성된 오디오/텍스트와 대상 오디오/텍스트 간의 음색 유사성, 그리고 합성 정확도(즉, 입력 MIDI를 얼마나 정확하게 따르는지)를 평가했습니다. 그 결과 TokenSynth는 고급 신경망 오디오 코덱과 트랜스포머를 활용하여 강력하고 다재다능한 신경망 합성기를 만드는 가능성을 보여주었습니다.

더 자세한 정보와 소스 코드, 모델 가중치, 오디오 데모는 여기에서 확인할 수 있습니다. 이 연구는 음악 생성 분야에 새로운 가능성을 제시하며, 향후 AI 기반 음악 생성 기술의 발전에 크게 기여할 것으로 기대됩니다. 특히, 미세 조정 없이 다양한 작업을 수행할 수 있는 유연성은 더욱 쉽고 효율적인 음악 제작 환경을 구축하는 데 중요한 역할을 할 것으로 예상됩니다. 🎉