Myna: 마스킹 기반 대조 학습으로 음악 표현 학습의 새 지평을 열다

Myna 모델은 비전 트랜스포머와 토큰 마스킹 기법을 활용하여 음악 표현 학습의 효율성과 정확도를 크게 향상시켰습니다. 단일 GPU로 학습되었음에도 불구하고 기존 최고 성능 모델들을 능가하는 성과를 달성하였으며, 코드와 모델 공개를 통해 지속적인 연구 발전에 기여할 것으로 기대됩니다.

음악 AI 연구의 혁신: Ori Yonay, Tracy Hammond, Tianbao Yang 연구진이 발표한 Myna 모델은 자기 지도 학습을 통한 음악 표현 학습 분야에 혁신을 가져왔습니다. 기존 모델의 한계를 뛰어넘는 놀라운 성능과 효율성을 자랑하는 Myna는 어떻게 이러한 성과를 달성했을까요?

핵심 혁신 1: 비전 트랜스포머(ViT)와 토큰 마스킹: Myna는 멜 스펙트로그램에 ViT를 적용하고, 90%의 스펙트로그램 토큰을 마스킹하는 새로운 데이터 증강 전략을 도입했습니다. 이러한 접근 방식은 단순하지만 효과적입니다. 토큰 마스킹은 GPU 배치 크기를 기존 방법(CLMR, MULE)의 48 또는 120에서 무려 4096으로 획기적으로 증가시켜 학습 속도를 비약적으로 향상시켰습니다.

핵심 혁신 2: 기존 증강 기법 배제 및 수직 패치 활용: Myna는 기존의 데이터 증강 기법을 사용하지 않음으로써 음높이 민감도를 유지하는 데 성공했습니다. 이는 키 검출과 같은 음악적 특징을 정확하게 파악하는 데 매우 중요한 요소입니다. 더 나아가, 수직 패치를 사용하여 키 검출에 중요한 특징을 더 효과적으로 포착할 수 있도록 설계되었습니다.

놀라운 성능: Myna-22M-Hybrid 모델은 16x16과 128x2 패치를 모두 처리하여 최첨단 성능을 달성했습니다. 단일 GPU로 학습된 Myna는 62M 매개변수를 가진 MULE 모델을 평균적으로 능가하고, 16개 및 64개 GPU로 학습된 MERT-95M 모델과도 경쟁할 만한 성능을 보였습니다. 특히, 공개 데이터로 학습된 모델 중에서는 최고 성능을 기록했습니다.

미래를 위한 공유: 연구진은 Myna의 코드와 모델을 공개하여 재현성을 높이고 향후 연구를 위한 발판을 마련했습니다. 이는 학계와 산업계 모두에게 큰 의미를 지닙니다. Myna의 등장은 음악 AI 연구의 새로운 장을 열었으며, 앞으로 더욱 발전된 음악 AI 기술의 개발을 기대하게 합니다. Myna는 단순한 알고리즘 개선을 넘어, 효율성과 성능 모두를 획기적으로 향상시킨 혁신적인 사례로 기록될 것입니다. 🎉