InspireMusic: 초고해상도와 대규모 언어 모델이 만나 탄생한 혁신적인 음악 생성 프레임워크

중국 연구진이 개발한 InspireMusic 프레임워크는 초고해상도 및 대규모 언어 모델을 통합하여 최대 8분 길이의 고품질 장편 음악 생성을 가능하게 합니다. 기존 모델 대비 향상된 오디오 토크나이저를 사용하여 학습 비용을 절감하고 효율성을 높였으며, MusicGen, Stable Audio 2.0 등 최첨단 모델과 유사한 성능을 보였습니다. 코드와 사전 훈련된 모델은 Github에서 공개되었습니다.

InspireMusic: 8분짜리 고품질 음악 생성의 꿈을 현실로

최근 중국 연구진이 발표한 InspireMusic은 음악 생성 분야에 혁신을 가져올 획기적인 프레임워크입니다. Chong Zhang을 비롯한 15명의 연구자들은 초고해상도(Super Resolution) 기술과 대규모 언어 모델(LLM)을 결합하여 고품질의 장편 음악 생성이라는 어려운 과제를 해결했습니다. 단순히 멜로디를 생성하는 것을 넘어, 텍스트 및 오디오 프롬프트를 기반으로 최대 8분 길이의 고해상도 음악을 생성할 수 있다는 점이 놀랍습니다.

이들의 비결은 무엇일까요? 기존 모델과의 가장 큰 차별점은 바로 통합된 프레임워크와 향상된 오디오 토크나이저에 있습니다. 자동회귀 트랜스포머와 초고해상도 흐름 일치 모델을 통합하여 고품질 오디오 생성을 가능하게 했습니다. 특히, 풍부한 의미 정보를 담은 단일 코드북을 사용하는 오디오 토크나이저는 학습 비용을 줄이고 효율성을 높여, 장시간 음악 생성의 효율성을 극대화했습니다. Qwen 2.5 기반의 자동회귀 트랜스포머 모델이 오디오 토큰을 예측하고, 초고해상도 흐름 일치 모델이 음향 코덱 모델에서 학습한 세부 정보를 바탕으로 고해상도 오디오를 생성합니다.

실험 결과, InspireMusic-1.5B-Long 모델은 MusicGen과 Stable Audio 2.0과 같은 최첨단 오픈소스 시스템과 비교해도 객관적, 주관적 평가 모두에서 비슷한 성능을 보였습니다. 이 놀라운 성과는 Github(https://github.com/FunAudioLLM/InspireMusic) 에서 공개된 코드와 사전 훈련된 모델을 통해 확인할 수 있습니다. InspireMusic은 고품질 음악 생성 기술의 새로운 기준을 제시하며, 앞으로 음악 산업에 어떤 영향을 미칠지 기대됩니다. 향후 연구를 통해 더욱 발전된 고품질 장편 음악 생성 기술이 개발될 것으로 예상됩니다. 이는 음악 제작 과정의 효율성을 높이고, 새로운 창작의 가능성을 열어줄 것입니다.