Myna: 음악 표현 학습의 새로운 지평을 열다!

Myna는 토큰 마스킹 기법과 ViT를 활용하여 GPU 배치 크기를 크게 늘리고 음높이 민감도를 유지하며, 기존 최고 성능 모델들을 뛰어넘는 성능을 달성한 혁신적인 음악 표현 학습 모델입니다. 공개된 코드와 모델은 향후 연구 발전에 크게 기여할 것으로 기대됩니다.

혁신적인 음악 표현 학습 모델 Myna 등장!

음악 정보 처리 분야에 획기적인 발전을 가져올 새로운 모델이 등장했습니다. Ori Yonay, Tracy Hammond, Tianbao Yang 세 연구원이 개발한 Myna는 자기 지도 학습 기반의 음악 표현 학습 모델로, 기존 방식의 한계를 뛰어넘는 놀라운 성능을 보여줍니다.

Myna의 핵심 혁신: 토큰 마스킹과 비전 트랜스포머

Myna는 두 가지 핵심적인 혁신을 통해 효율성과 효과성을 동시에 달성했습니다.

• 비전 트랜스포머(ViT) 활용: 멜 스펙트로그램에 ViT를 적용하여 음악 데이터를 효과적으로 처리합니다. 이는 이미지 처리 분야에서 성공적으로 활용된 ViT의 강점을 음악 데이터 분석에 접목한 훌륭한 시도입니다.
• 토큰 마스킹: 90%의 스펙트로그램 토큰을 마스킹하는 새로운 데이터 증강 전략을 도입했습니다. 이를 통해 기존 모델(CLMR, MULE)의 48 또는 120에 비해 GPU 배치 크기를 무려 4096으로 획기적으로 증가시켰습니다. 이는 학습 시간 단축과 비용 절감으로 이어지며, 대규모 데이터셋 학습의 실용성을 크게 높인 혁신적인 성과입니다.

놀라운 성능 향상과 음높이 민감도 유지

Myna는 단일 GPU로 학습되었음에도 불구하고, 62M 매개변수를 가진 MULE을 평균적으로 능가하며, 16개 및 64개 GPU로 학습된 MERT-95M과도 경쟁할 만한 성능을 보였습니다. 특히 공개 데이터셋으로 학습된 모델 중에서는 최고 성능을 기록했습니다. 더욱 놀라운 점은 기존 증강 기법을 사용하지 않고도 음높이 민감도를 유지하여 키 감지와 같은 작업의 정확도를 높였다는 점입니다. 이는 음악의 본질적인 특징을 잘 보존하면서 효율적인 학습을 달성한 뛰어난 성과입니다.

Myna-22M-Hybrid: 16x16과 128x2 패치의 조합

Myna-22M-Hybrid는 16x16과 128x2 패치를 모두 처리하는 하이브리드 모델로, 최첨단 성능을 달성했습니다. 다양한 크기의 패치를 처리함으로써, 음악 데이터의 다양한 특징을 더욱 포괄적으로 학습할 수 있습니다.

공개 코드와 모델: 재현성과 미래 연구를 위한 기여

연구팀은 Myna의 코드와 모델을 공개하여 재현성을 높이고 향후 연구를 위한 기반을 마련했습니다. 이는 학계의 발전에 크게 기여할 뿐 아니라, 음악 기술 분야의 혁신을 가속화할 것으로 예상됩니다. Myna의 등장은 음악 정보 처리 분야의 새로운 장을 열었으며, 앞으로 더욱 발전된 음악 AI 기술의 출현을 기대하게 합니다.