AI가 피아노 연주를 악보로 만들어낸다면? 계층적 언어 모델 기반 피아노 악보 자동 생성 기술


리 디추청, 장용의, 공추창 연구원의 논문은 기존 자동 악보 생성(AMT) 시스템의 한계를 극복하는 하이브리드 모델을 제시합니다. 계층적 예측 전략을 통해 연산 비용을 절감하고, 기존 시스템보다 향상된 성능을 보여주며 AMT 기술의 새로운 가능성을 제시합니다.

related iamge

AI가 피아노 연주를 악보로 만들어낸다면?

음악의 아름다움을 영원히 기록하는 방법은 무엇일까요? 바로 악보입니다. 하지만 모든 연주를 악보로 적는 것은 쉽지 않습니다. 이러한 어려움을 해결하기 위해 등장한 것이 바로 자동 악보 생성(AMT) 기술입니다.

최근 리 디추청, 장용의, 공추창 연구원이 발표한 논문 "계층적 언어 모델을 이용한 사전 훈련된 롤 기반 인코더를 통한 피아노 악보 생성"은 AMT 분야에 혁신적인 변화를 가져올 가능성을 보여줍니다.

기존의 AMT 시스템은 크게 두 가지로 나뉩니다. 프레임 단위 시스템은 수동 임계값 설정이 필요하고, 언어 모델(LM) 기반 시스템은 긴 시퀀스 처리에 어려움을 겪습니다. 이 논문은 이러한 한계를 극복하기 위해 사전 훈련된 롤 기반 인코더와 LM 디코더를 결합한 하이브리드 모델을 제시합니다. 이는 마치 서로 다른 장점을 가진 두 명의 전문가가 협업하여 최고의 결과물을 만들어내는 것과 같습니다.

특히, 이 연구의 핵심은 계층적 예측 전략입니다. 온셋(소리 시작), 피치(높이), 벨로시티(세기), 오프셋(소리 끝)을 순차적으로 예측함으로써, 긴 시퀀스 처리에 드는 연산 비용을 크게 줄입니다. 이는 마치 복잡한 문제를 작은 조각으로 나누어 해결하는 것과 같습니다. 이는 효율성과 정확성을 동시에 높이는 매우 효과적인 전략입니다.

두 개의 벤치마크 롤 기반 인코더를 사용한 평가 결과, 이 방법은 기존의 피아노 롤 출력보다 온셋-오프셋-벨로시티 F1 점수에서 0.01 및 0.022 향상된 성능을 보였습니다. 이는 임의의 롤 기반 음악 전사 인코더에 대한 성능 향상 플러그인으로서의 잠재력을 보여주는 결과입니다. 이는 단순한 성능 향상을 넘어, AMT 기술의 새로운 가능성을 제시하는 획기적인 결과입니다.

이 연구는 자동 악보 생성 기술의 발전에 크게 기여할 뿐만 아니라, 음악 분야와 AI 기술의 융합을 통해 새로운 창작의 가능성을 열어줄 것으로 기대됩니다. 앞으로 AI가 음악 창작과 연주에 어떻게 기여할지, 그 미래가 더욱 기대됩니다!


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders

Published:  (Updated: )

Author: Dichucheng Li, Yongyi Zang, Qiuqiang Kong

http://arxiv.org/abs/2501.03038v2