DiffRhythm: 10초 만에 4분 45초짜리 완곡 생성? 놀라운 AI 음악 생성 모델 등장!

Ning Ziqian 등 연구진이 개발한 DiffRhythm은 잠재 확산 기반의 혁신적인 음악 생성 모델로, 10초 만에 4분 45초 분량의 완곡을 생성하며 높은 음악성과 확장성을 자랑합니다. 가사와 스타일 프롬프트만으로도 사용이 간편하며, 전체 훈련 코드와 사전 훈련 모델이 공개되어 재현성을 높였습니다.

10초 만에 4분 45초 완곡 생성? AI 음악 생성의 새로운 지평을 연 DiffRhythm

최근 음악 생성 분야의 발전은 눈부십니다. 하지만 기존 모델들은 여러 한계에 직면해 왔습니다. 보컬 트랙이나 반주 트랙만 생성하거나, 보컬과 반주를 함께 생성하더라도 복잡한 다단계 구조와 데이터 파이프라인으로 인해 확장성이 떨어지는 것이죠. 게다가 대부분 짧은 음악만 생성할 수 있었습니다. 더군다나 언어 모델 기반 방식은 추론 속도가 느린 단점도 가지고 있었습니다.

하지만 이제, 이 모든 한계를 뛰어넘는 혁신적인 모델이 등장했습니다! 바로 DiffRhythm입니다. Ning Ziqian 등 8명의 연구진이 개발한 DiffRhythm은 최초의 잠재 확산 기반 완곡 생성 모델로, 단 10초 만에 4분 45초 분량의 보컬과 반주가 모두 포함된 완성도 높은 노래를 생성할 수 있습니다. 그것도 높은 음악성과 명료도를 유지하면서 말이죠!

놀라운 성능에도 불구하고 DiffRhythm의 설계는 놀랍도록 간결하고 우아합니다. 복잡한 데이터 준비 과정이 필요 없고, 모델 구조도 간단하며, 추론 시에는 가사와 스타일 프롬프트만 필요합니다. 비자동회귀 구조는 빠른 추론 속도를 보장하며, 이러한 단순성은 DiffRhythm의 확장성을 보장합니다. 뿐만 아니라, 연구진은 대규모 데이터를 사용한 사전 훈련 모델과 함께 전체 훈련 코드를 공개하여 재현성을 높이고 후속 연구를 장려하고 있습니다.

DiffRhythm의 핵심 강점:

• 초고속 생성: 10초 만에 4분 45초 분량의 완곡 생성
• 전체 노래 생성: 보컬과 반주를 모두 포함한 완성도 높은 노래 생성
• 간편한 사용: 가사와 스타일 프롬프트만으로 손쉬운 생성
• 뛰어난 확장성: 간결한 구조로 인한 높은 확장성
• 뛰어난 재현성: 전체 훈련 코드와 사전 훈련 모델 공개

DiffRhythm은 단순히 음악 생성 기술의 발전을 넘어, 음악 산업과 창작 과정에 혁신을 가져올 잠재력을 가지고 있습니다. 향후 이 기술이 어떻게 활용될지, 그리고 어떤 새로운 가능성을 열어갈지 기대됩니다. 이는 AI 음악 생성 분야의 새로운 이정표를 세운 쾌거라 할 수 있습니다.