혁신적인 AI 피아노 악보 자동 생성 모델, D3RM 등장!
국내 연구진이 개발한 D3RM 모델은 기존 디퓨전 모델의 한계를 극복하고, 고해상도 피아노 롤 예측 정확도를 향상시킨 혁신적인 AI 피아노 악보 자동 생성 모델입니다. 훈련 및 추론 단계에 다른 전이 상태를 적용하는 독창적인 전략과 MAESTRO 데이터셋 실험 결과를 통해 그 우수성을 입증했습니다. 모델 코드 공개를 통해 더욱 활발한 연구 및 발전이 기대됩니다.

AI가 피아노 연주를 악보로 만들어 준다면?
최근 국내 연구진(김훈수, 권태균, 남주한)이 개발한 D3RM(Discrete Denoising Diffusion Refinement Model) 모델이 음악 기술 분야에 혁신을 일으키고 있습니다. 기존의 디퓨전 모델이 이미지 분야에서 뛰어난 성능을 보였지만, 음악 전사(악보 생성) 분야에서는 아직까지 한계를 보였던 것과 달리, D3RM은 이러한 한계를 극복하고 새로운 가능성을 제시합니다.
D3RM: 어떻게 피아노 연주를 악보로 바꿀까요?
D3RM은 이전 모델들과 어떻게 다를까요? 핵심은 '정제(Refinement)' 에 있습니다. D3RM은 이전 단계의 예측 결과를 활용하여 점진적으로 고해상도 피아노 롤(악보 데이터)을 예측합니다. 이를 위해 Neighborhood Attention 레이어를 활용하여 효율적인 잡음 제거 및 정제 과정을 수행합니다. 또한, 사전 훈련된 음향 모델의 특징을 활용하여 예측의 정확도를 높입니다. 단순히 잡음을 제거하는 것뿐만 아니라, 기존 모델보다 훨씬 정교한 악보를 생성할 수 있다는 점이 D3RM의 가장 큰 장점입니다.
훈련과 추론, 다른 전략으로 성능 UP!
D3RM의 또 다른 혁신적인 부분은 훈련 및 추론 단계에 서로 다른 전이 상태를 적용한다는 점입니다. 이 독창적인 전략을 통해 모델의 성능을 더욱 향상시켰습니다. 이는 마치 사람이 연습(훈련)과 실제 연주(추론)를 다르게 접근하는 것과 유사하다고 볼 수 있습니다. 연습에서는 다양한 시도를 통해 기술을 갈고 닦고, 실제 연주에서는 최상의 결과를 내기 위해 집중하는 것과 같습니다.
MAESTRO 데이터셋으로 검증된 성능!
MAESTRO 데이터셋을 사용한 실험 결과, D3RM은 기존의 디퓨전 모델 기반 피아노 전사 모델과 기준 모델을 모두 능가하는 F1 점수를 기록했습니다. 이는 D3RM의 우수한 성능을 명확하게 증명합니다. 더욱 놀라운 점은, 연구팀이 모델 코드를 공개했다는 점입니다! (https://github.com/hanshounsu/d3rm)
미래를 향한 한 걸음!
D3RM은 단순히 음악 전사 기술의 발전을 넘어, AI가 예술 분야에 더욱 깊숙이 관여할 수 있는 가능성을 보여줍니다. 앞으로 D3RM이 음악 분야의 다양한 응용 분야에 어떻게 활용될지, 그리고 어떤 새로운 가능성을 열어갈지 기대됩니다.
Reference
[arxiv] D3RM: A Discrete Denoising Diffusion Refinement Model for Piano Transcription
Published: (Updated: )
Author: Hounsu Kim, Taegyun Kwon, Juhan Nam
http://arxiv.org/abs/2501.05068v2