YuE: 5분 길이의 긴 음악 생성을 위한 혁신적인 오픈 파운데이션 모델

Ruibin Yuan 등 47명의 연구진이 개발한 LLaMA2 기반의 오픈 파운데이션 모델 YuE는 최대 5분 길이의 음악 생성을 가능하게 하며, 가사와 곡의 일관성 유지, 다양한 스타일 전환, 뛰어난 음악 이해 능력을 보여줍니다. 트랙 분리 예측, 구조적 진행 조건화, 다중 작업 사전 훈련 기법을 통해 장시간 음악 생성의 어려움을 극복한 YuE는 음악 생성 분야의 혁신적인 발전을 이끌 것으로 기대됩니다.

YuE: 5분 길이의 긴 음악 생성의 혁명

최근 인공지능 음악 생성 분야에서 획기적인 발전이 있었습니다. Ruibin Yuan 등 47명의 연구진이 개발한 YuE라는 오픈 파운데이션 모델이 바로 그 주인공입니다. YuE는 LLaMA2 아키텍처를 기반으로 하며, 가사를 바탕으로 최대 5분 길이의 음악을 생성하는 놀라운 성능을 보여줍니다. 이는 기존 모델들이 짧은 음악 생성에 그쳤던 것과 비교하면 엄청난 도약입니다.

핵심 기술: 장시간 음악 생성의 난관 극복

5분 길이의 음악을 생성하는 것은 쉬운 일이 아닙니다. 연구진은 이 문제를 해결하기 위해 세 가지 핵심 기술을 도입했습니다.

• 트랙 분리 예측 (Track-decoupled next-token prediction): 복잡한 음악 신호들을 효과적으로 처리하여 혼란을 최소화합니다. 마치 오케스트라의 각 악기 파트를 개별적으로 분석하여 전체적인 조화를 이루는 것과 같습니다.
• 구조적 진행 조건화 (Structural progressive conditioning): 가사와 음악의 일관성을 유지하는 데 중요한 역할을 합니다. 가사의 내용에 따라 음악의 구조와 흐름을 자연스럽게 조절하여, 가사와 음악이 서로 조화롭게 어울리도록 합니다.
• 다중 작업, 다단계 사전 훈련 (Multitask, multiphase pre-training): 다양한 음악 데이터를 학습하여 모델의 일반화 능력을 높입니다. 마치 다양한 장르의 음악을 섭렵한 음악가가 어떤 스타일의 음악도 자유롭게 연주할 수 있는 것과 같습니다.

YuE의 놀라운 성능: 스타일 전환 및 음악 이해

YuE는 단순히 음악을 생성하는 것을 넘어, 다양한 스타일 전환도 가능합니다. 예를 들어, 일본 시티팝을 영어 랩으로 변환하면서도 원곡의 반주를 그대로 유지할 수 있습니다. 또한, 양방향 생성을 지원하여 음악의 특정 부분을 수정하거나 확장하는 등 유연한 생성이 가능합니다. 더욱 놀라운 점은, YuE가 MARBLE 벤치마크에서 최첨단 음악 이해 모델들과 비교해도 뒤지지 않는 성능을 보였다는 것입니다. 이는 YuE가 단순히 음악을 생성하는 데 그치지 않고 음악을 이해하는 능력까지 갖추고 있음을 의미합니다.

결론: 오픈 소스 모델의 잠재력

YuE는 오픈 소스로 공개되어 누구나 자유롭게 사용하고 연구할 수 있습니다. 이를 통해 음악 생성 분야의 발전에 큰 기여를 할 것으로 기대됩니다. YuE의 등장은 인공지능이 음악 창작의 새로운 지평을 열었다는 것을 보여주는 중요한 사례입니다. 앞으로 YuE가 어떻게 발전하고 활용될지, 그 미래가 더욱 기대됩니다.