SongGLM: 2D 정렬 인코딩과 다중 작업 사전 훈련으로 혁신적인 가사-멜로디 생성 시대를 열다


중국 연구진이 개발한 SongGLM은 2D 정렬 인코딩과 다중 작업 사전 훈련을 통해 가사-멜로디 정렬 및 조화를 향상시킨 혁신적인 멜로디 생성 시스템입니다. 20만 곡 이상의 데이터셋을 활용하여 뛰어난 성능을 입증하였으며, AI 음악 생성 분야에 새로운 가능성을 제시합니다.

related iamge

SongGLM: 가사에서 멜로디를 창조하는 혁신적인 AI 시스템

가사에 맞는 멜로디를 자동으로 생성하는 것은 인공지능 음악 생성 분야의 큰 도전입니다. 가사와 멜로디 사이의 복잡하고 미묘한 상관관계를 정확하게 포착해야 하기 때문입니다. 기존 시스템들은 가사와 멜로디의 정렬 모델링과 조화 모델링에서 어려움을 겪어왔습니다. 단순한 일대일 매핑으로는 복잡한 음악적 구조를 표현하는 데 한계가 있었고, 엄격한 규칙에 의존하는 경우 생성의 다양성이 부족했습니다.

하지만 중국 연구진(Jiaxing Yu, Xinda Wu 외)이 개발한 SongGLM은 이러한 문제점들을 혁신적으로 해결합니다. SongGLM은 2D 정렬 인코딩과 다중 작업 사전 훈련이라는 두 가지 핵심 기술을 활용합니다.

2D 정렬 인코딩: 가사와 멜로디의 완벽한 조화

SongGLM은 단어 수준과 구절 수준의 2차원 정렬 인코딩을 통해 가사와 멜로디의 정렬을 정교하게 모델링합니다. 단순한 일대일 매핑이 아닌, 단어와 구절 간의 복잡한 관계를 포착하여 더욱 정확하고 자연스러운 멜로디 생성을 가능하게 합니다. 이는 마치 가사의 흐름과 멜로디의 곡선이 완벽하게 어우러지는 것과 같습니다.

다중 작업 사전 훈련: 다양성과 조화의 조화

SongGLM은 다양한 길이의 단위(n-gram, 구절, 장구간)에 대한 공백 채우기를 목표로 하는 다중 작업 사전 훈련 프레임워크를 사용합니다. 여기에 가사-멜로디 관계를 통합하여 조화로운 n-gram을 추출하는 방식을 도입하여 멜로디의 다양성과 조화를 동시에 향상시킵니다. 이는 마치 오케스트라의 각 악기들이 서로 조화롭게 어울리면서도 개성을 드러내는 것과 같습니다.

방대한 데이터셋: 20만 곡 이상의 영어 노래

SongGLM은 20만 곡 이상의 영어 노래 데이터셋을 사용하여 사전 훈련 및 미세 조정을 수행했습니다. 방대한 데이터를 통해 모델의 성능을 크게 향상시켰으며, 실제 음악 생성에 가까운 결과를 얻을 수 있었습니다.

놀라운 성능 향상: 기존 방식을 뛰어넘는 결과

객관적 및 주관적 평가 결과, SongGLM은 가사-멜로디 정렬 및 조화 측면에서 기존의 모든 기준 모델들을 뛰어넘는 성능을 보였습니다. 이는 SongGLM이 가사에 기반한 멜로디 생성 분야에 새로운 기준을 제시한다는 것을 의미합니다.

SongGLM의 등장은 인공지능 음악 생성 분야에 새로운 장을 열었습니다. 앞으로 SongGLM을 기반으로 더욱 발전된 음악 생성 기술이 개발되어, 음악 창작의 새로운 가능성을 열어줄 것으로 기대됩니다. 이는 단순히 멜로디 생성을 넘어, 인간의 창작 활동과 AI의 협력을 통한 새로운 예술적 경험을 제공할 수 있음을 시사합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training

Published:  (Updated: )

Author: Jiaxing Yu, Xinda Wu, Yunfei Xu, Tieyao Zhang, Songruoyao Wu, Le Ma, Kejun Zhang

http://arxiv.org/abs/2412.18107v1