딥러닝 기반 재즈 음악 생성 모델 ImprovNet: 자유로운 즉흥 연주가 현실로!

Keshav Bhandari 등 연구진이 개발한 ImprovNet은 트랜스포머 기반의 딥러닝 모델로, 자기 지도 학습을 통해 제어 가능한 즉흥 음악 생성을 가능하게 합니다. 다양한 음악 생성 작업을 단일 모델에서 수행하며, 기존 모델보다 뛰어난 성능을 보여줍니다.

Keshav Bhandari를 비롯한 연구진이 개발한 ImprovNet은 딥러닝의 힘을 빌려 제어 가능한 즉흥 음악 생성이라는 난제를 해결한 혁신적인 모델입니다. 기존의 음악 생성 모델들이 제한된 데이터셋과 다양한 작업 처리의 어려움에 직면했던 것과 달리, ImprovNet은 트랜스포머 기반 아키텍처를 통해 장르 간 및 장르 내 즉흥 연주, 멜로디 조화, 짧은 프롬프트 연속 및 채우기 작업 등을 단일 모델에서 수행합니다.

ImprovNet의 핵심은 자기 지도 학습 기반의 반복적인 손상-복원 전략(Iterative Corruption Refinement) 입니다. 이를 통해 모델은 스스로 학습하며, 사용자는 생성되는 음악의 스타일 전이 정도와 원곡과의 구조적 유사성을 제어할 수 있습니다. 이는 마치 경험이 풍부한 재즈 뮤지션이 즉흥 연주를 통해 자신만의 스타일을 자유롭게 표현하는 것과 같습니다.

연구 결과, ImprovNet은 기존의 Anticipatory Music Transformer보다 짧은 프롬프트 연속 및 채우기 작업에서 뛰어난 성능을 보였습니다. 특히, 79%의 참가자가 재즈 스타일 즉흥 연주를 정확하게 식별할 정도로 장르 변환에도 성공했습니다. 이는 ImprovNet이 단순히 음표를 나열하는 것이 아니라, 실제 재즈 연주의 특징을 잘 포착하고 있음을 의미합니다.

Github (https://github.com/keshavbhandari/improvnet) 에서 코드와 데모 페이지를 확인할 수 있습니다. ImprovNet은 음악 생성 분야에 새로운 가능성을 제시하며, 향후 AI 기반 음악 창작 및 퍼포먼스의 발전에 크게 기여할 것으로 기대됩니다. 이는 단순히 기술의 발전을 넘어, 인간의 창의성과 기술의 조화가 만들어낼 수 있는 무한한 가능성을 보여주는 사례입니다. 앞으로 ImprovNet이 어떻게 발전하고 음악 산업에 어떤 영향을 미칠지 귀추가 주목됩니다.

주요 연구진: Keshav Bhandari, Sungkyun Chang, Tongyu Lu, Fareza R. Enus, Louis B. Bradshaw, Dorien Herremans, Simon Colton