획기적인 음악 감정 인식 기술: 이종 데이터셋 통합을 통한 새로운 지평

강재용, 도리엔 헤레만스 박사 연구팀은 음악 감정 인식 분야의 난제를 해결하는 통합 다중작업 학습 프레임워크를 개발했습니다. 음악적 특징과 MERT 임베딩을 결합하고 지식 증류 기법을 활용하여 기존 최첨단 모델을 능가하는 성능을 달성, 다양한 분야에서의 활용이 기대됩니다.

강재용 박사와 도리엔 헤레만스 박사가 이끄는 연구팀이 음악 감정 인식(MER) 분야의 난제를 해결하는 획기적인 연구 결과를 발표했습니다. 기존 MER 기술은 각 데이터셋이 사용하는 감정 레이블의 표현 방식(범주형 vs. 차원형)이 달라 통합 학습에 어려움을 겪었습니다. 예를 들어, 어떤 데이터셋은 '행복', '슬픔'과 같은 범주형 레이블을 사용하는 반면, 다른 데이터셋은 '쾌락-각성'과 같은 차원형 레이블을 사용합니다.

이러한 문제를 해결하기 위해 연구팀은 통합 다중작업 학습 프레임워크를 제시했습니다. 이 프레임워크는 범주형과 차원형 레이블을 모두 활용하여 여러 데이터셋으로부터 학습할 수 있습니다. 핵심은 바로 음악적 특징(키, 코드 등)과 MERT 임베딩을 결합한 효과적인 입력 표현입니다. 이를 통해 모델은 음악의 다양한 측면을 포착하여 더욱 정확하게 감정을 인식할 수 있습니다.

또한, 연구팀은 지식 증류 기법을 도입했습니다. 개별 데이터셋에서 학습된 여러 '교사 모델'의 지식을 하나의 '학생 모델'에 전달하여 일반화 능력을 향상시킨 것입니다. 이는 마치 여러 전문가의 지식을 하나로 통합하는 것과 같습니다.

MTG-Jamendo, DEAM, PMEmo, EmoMusic 등 다양한 데이터셋을 사용한 실험 결과, 이 프레임워크는 기존 최첨단 모델을 능가하는 성능을 보였습니다. 특히, MediaEval 2021 경진대회에서 최고 성능을 기록했던 모델보다 MTG-Jamendo 데이터셋에서 더욱 뛰어난 결과를 달성했습니다. 이는 음악적 특징, 다중작업 학습, 그리고 지식 증류의 효과적인 조합 덕분입니다.

이 연구는 범주형과 차원형 감정 레이블을 통합하는 새로운 가능성을 열었습니다. 데이터셋 간의 차이를 극복하고 다양한 음악 데이터를 활용하여 더욱 정확하고 강력한 음악 감정 인식 모델을 개발하는 데 중요한 전기를 마련했습니다. 앞으로 이 기술은 음악 추천 시스템, 감정 기반 음악 생성, 심리 치료 등 다양한 분야에 활용될 것으로 기대됩니다. 🤔