NotaGen: 거대 언어 모델로 고품격 고전 음악 작곡의 새 지평을 열다

NotaGen은 거대 언어 모델 훈련 패러다임을 활용하여 고품질 고전 음악을 생성하는 혁신적인 AI 모델입니다. 방대한 데이터셋과 CLaMP-DPO 강화 학습 기법을 통해 인간 작곡 수준의 음악 생성을 달성, AI 음악 생성 분야에 새로운 가능성을 제시했습니다.

최근 인공지능(AI) 분야에서 가장 주목받는 기술 중 하나인 거대 언어 모델(LLM)이 음악 생성 분야에도 혁신을 불러일으키고 있습니다. 왕야산(Yashan Wang) 등 중국 연구진이 개발한 NotaGen이 바로 그 주인공입니다. NotaGen은 고품질 고전 음악 악보를 생성하는 것을 목표로 하는 최첨단 심볼릭 음악 생성 모델입니다.

NotaGen의 가장 큰 특징은 LLM의 성공적인 훈련 패러다임을 그대로 차용했다는 점입니다. 이는 사전 훈련, 미세 조정, 강화 학습의 세 단계로 이루어집니다. 무려 160만 곡에 달하는 방대한 음악 데이터셋을 사용하여 사전 훈련을 거친 후, 약 9,000곡의 고품질 고전 작품을 사용하여 ‘시대-작곡가-편성’이라는 조건으로 미세 조정을 진행했습니다. 이러한 방대한 데이터 기반 훈련은 NotaGen의 높은 성능을 뒷받침하는 핵심 요소입니다.

하지만 단순히 대량의 데이터만으로는 고품질 음악 생성이 어렵습니다. 연구진은 강화 학습 과정에서 CLaMP-DPO라는 새로운 방법을 제안했습니다. CLaMP-DPO는 인간의 주석이나 사전에 정의된 보상 없이도 생성 품질과 제어성을 향상시키는 획기적인 기술입니다. 이는 인간의 개입을 최소화하면서도 AI가 스스로 음악적 미학을 발전시킬 수 있음을 보여주는 중요한 사례입니다.

다양한 구조와 인코딩 방식을 가진 심볼릭 음악 생성 모델에서 CLaMP-DPO의 효과를 검증한 결과, NotaGen은 기존 모델들을 압도하는 성능을 보였습니다. 더욱 놀라운 것은, 주관적인 A/B 테스트에서 NotaGen이 인간이 작곡한 음악과 비교해도 손색없는 결과를 보였다는 점입니다. 이는 AI가 단순히 음악을 모방하는 수준을 넘어, 창의적인 음악 작곡에 도전할 수 있음을 시사합니다.

NotaGen 프로젝트 홈페이지 (https://electricalexis.github.io/notagen-demo) 에서 직접 시연해보고, AI 음악 생성 기술의 놀라운 발전을 경험해 보시기 바랍니다. NotaGen은 AI 음악 생성 분야의 새로운 이정표를 세웠으며, 앞으로 음악 산업에 어떠한 영향을 미칠지 기대됩니다. 하지만 동시에 AI 기술의 윤리적 문제와 저작권 문제에 대한 깊이 있는 논의가 필요한 시점입니다.