MuQ: 멜 잔차 벡터 양자화를 활용한 자기 지도 학습 기반 음악 표현 학습 모델의 혁신


텐센트 AI Lab의 연구진이 개발한 MuQ 모델은 멜 잔차 벡터 양자화(Mel-RVQ)를 활용한 자기 지도 학습 기반 음악 표현 학습 모델로, 적은 데이터로도 뛰어난 성능을 보이며 음악 이해 분야에 새로운 가능성을 제시합니다. 특히, MuQ-MuLan 모델은 제로샷 음악 태깅에서 최첨단 성능을 달성하며, 오픈소스로 공개되어 더 큰 발전을 위한 기반을 마련했습니다.

related iamge

텐센트 AI Lab의 획기적인 연구: MuQ 모델

최근 몇 년 동안 자기 지도 학습(SSL)을 사용한 기초 모델은 음악 태깅, 악기 분류, 키 감지 등 다양한 음악 정보학 과제에서 성공을 거두었습니다. 텐센트 AI Lab의 연구진 Zhu Haina 등은 이러한 흐름에 발맞춰 음악 이해를 위한 새로운 자기 지도 학습 음악 표현 학습 모델인 MuQ를 제안했습니다.

기존 모델과의 차별점: 멜 잔차 벡터 양자화(Mel-RVQ)

MuQ는 기존 연구에서 사용했던 무작위 투영이나 기존 신경 코덱과는 달리, 멜 잔차 벡터 양자화(Mel-RVQ) 를 통해 생성된 토큰을 예측하도록 학습됩니다. Mel-RVQ는 멜 스펙트럼 양자화를 위해 잔차 선형 투영 구조를 사용하여 목표 추출의 안정성과 효율성을 높여 성능 향상을 이끌어냅니다. 이는 MuQ의 핵심적인 차별점이자 강점입니다.

놀라운 성능: 적은 데이터로 최고의 결과

실험 결과, MuQ는 단 0.9K 시간의 오픈소스 사전 학습 데이터만으로도 기존의 자기 지도 학습 음악 표현 모델들을 능가하는 성능을 보였습니다. 더 나아가, 데이터 규모를 160K 시간 이상으로 확장하고 반복 학습을 적용함으로써 모델 성능을 지속적으로 향상시킬 수 있음을 확인했습니다. 이는 데이터 효율성 측면에서 뛰어난 성능을 의미합니다.

MuQ-MuLan: 제로샷 음악 태깅에서 최고의 성능

연구진은 MuQ의 강점을 더욱 입증하기 위해 대조 학습 기반의 음악-텍스트 결합 임베딩 모델인 MuQ-MuLan을 제시했습니다. MuQ-MuLan은 MagnaTagATune 데이터셋에서 제로샷 음악 태깅 작업에서 최첨단 성능을 달성하며 MuQ의 우수성을 다시 한번 확인시켜주었습니다.

오픈소스 공개: 더 큰 발전을 위한 초대

MuQ 모델과 MuQ-MuLan 모델에 대한 코드와 체크포인트는 https://github.com/tencent-ailab/MuQ 에서 오픈소스로 공개되어, 더 많은 연구자들이 이를 활용하여 음악 이해 분야의 발전에 기여할 수 있도록 했습니다. 이는 학계와 산업계 모두에 큰 영향을 미칠 잠재력을 지닌 연구 결과입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization

Published:  (Updated: )

Author: Haina Zhu, Yizhi Zhou, Hangting Chen, Jianwei Yu, Ziyang Ma, Rongzhi Gu, Yi Luo, Wei Tan, Xie Chen

http://arxiv.org/abs/2501.01108v2