NotaGen: 거대 언어 모델로 클래식 음악 작곡의 새 지평을 열다

중국과학원 연구진이 개발한 NotaGen은 거대 언어 모델 훈련 패러다임을 활용하여 고품질 클래식 악보를 생성하는 AI 음악 생성 모델입니다. 160만 곡의 데이터셋으로 사전 훈련하고, 9천 곡의 클래식 작곡으로 미세 조정하여, CLaMP-DPO 강화 학습 방법을 통해 인간의 개입 없이도 음악 생성의 질과 제어성을 향상시켰습니다. 주관적 A/B 테스트에서 인간 작곡가의 작품과 견줄만한 수준으로 평가받으며 AI 음악 생성 분야의 새로운 지평을 열었습니다.

중국과학원(CAS) 산하 연구진이 발표한 NotaGen은 인공지능(AI) 음악 생성 분야에 혁신을 가져올 잠재력을 지닌 모델입니다. 이는 단순한 음악 생성을 넘어, 고품질의 클래식 악보를 생성하는 것을 목표로 합니다. 연구진은 거대 언어 모델(LLM)의 성공적인 패러다임을 차용하여, NotaGen을 개발했습니다. LLM의 사전 훈련, 미세 조정, 강화 학습 세 단계를 거친 NotaGen은 그 능력을 입증했습니다.

160만 곡이라는 방대한 ABC 표기법 음악 데이터셋을 활용한 사전 훈련은 NotaGen의 기반을 다졌습니다. 이후, 약 9천 곡의 고품질 클래식 작곡을 '시대-작곡가-편성' 정보를 조건으로 미세 조정하여, 보다 정교하고 세련된 음악 생성 능력을 길러냈습니다. 이는 마치 인간 작곡가가 다양한 시대와 작곡가의 스타일을 학습하는 것과 유사합니다.

하지만 여기서 끝이 아닙니다. 연구진은 CLaMP-DPO라는 새로운 강화 학습 방법론을 제시했습니다. 기존 강화 학습 방식과 달리, CLaMP-DPO는 인간의 주석이나 사전 정의된 보상 없이도 음악 생성의 질과 제어성을 향상시킵니다. 이는 AI 음악 생성의 효율성과 자율성을 크게 높이는 획기적인 발전입니다.

다양한 아키텍처와 인코딩 방식을 가진 모델에서 CLaMP-DPO의 효과를 검증한 결과, NotaGen은 기존 모델들을 압도하는 성능을 보였습니다. 더욱 놀라운 것은, 주관적인 A/B 테스트에서 NotaGen이 인간 작곡가의 작품과 견줄만한 수준으로 평가받았다는 점입니다. 이는 단순히 기술적인 발전을 넘어, AI가 인간의 예술적 영역에 본격적으로 진입했음을 시사합니다.

NotaGen은 AI 음악 생성 분야에 새로운 가능성을 열었습니다. 이는 단순히 음악을 생성하는 것을 넘어, 인간의 창의성과 AI의 기술적 능력이 조화를 이룬 훌륭한 예시입니다. 앞으로 NotaGen이 어떻게 발전하고, 음악 산업에 어떤 영향을 미칠지 기대됩니다.

연구진: Yashan Wang, Shangda Wu, Jianhuai Hu, Xingjian Du, Yueqi Peng, Yongxin Huang, Shuai Fan, Xiaobing Li, Feng Yu, Maosong Sun