LLasa: Llama 기반 음성 합성을 위한 훈련 및 추론 시간 컴퓨팅 확장의 혁신

LLasa는 Llama 기반 음성 합성을 위해 훈련 및 추론 시간 컴퓨팅을 확장하는 혁신적인 프레임워크입니다. 단일 계층 VQ 코덱과 단일 트랜스포머 아키텍처를 사용하여 효율성을 높이고, 훈련 및 추론 시간 컴퓨팅 규모 확장을 통해 음성의 자연스러움, 운율, 감정 표현, 음색 일관성 및 내용 정확도를 향상시켰습니다. 1B, 3B, 8B 크기의 모델과 코드를 공개하여 연구의 재현성을 높였습니다.

LLasa: Llama 기반 음성 합성의 훈련 및 추론 시간 컴퓨팅 확장의 혁신

최근 GPT 시리즈와 o1 모델과 같은 텍스트 기반 거대 언어 모델(LLM)의 발전은 훈련 시간과 추론 시간 컴퓨팅 규모 확장의 효과를 보여주었습니다. 하지만 현재 LLM을 활용하는 최첨단 TTS 시스템은 종종 여러 단계를 거치며, 별도의 모델(예: LLM 이후 확산 모델)이 필요하여 훈련 또는 테스트 중 특정 모델의 규모를 조정할지 결정하는 것이 복잡합니다.

Zhen Ye 등 20명의 연구원이 이끄는 연구팀은 이러한 문제를 해결하기 위해 LLasa라는 새로운 프레임워크를 제안했습니다. LLasa는 단일 계층 벡터 양자화(VQ) 코덱과 단일 트랜스포머 아키텍처를 사용하여 Llama와 같은 표준 LLM과 완벽하게 정렬됩니다. 이는 기존의 복잡한 다단계 시스템과 달리, 단순하고 효율적인 아키텍처를 제공합니다.

연구 결과, LLasa의 훈련 시간 컴퓨팅 규모 확장은 합성 음성의 자연스러움을 향상시키고 더욱 복잡하고 정확한 운율 패턴 생성을 가능하게 합니다. 이는 훈련 데이터의 양과 모델의 크기가 음성 합성의 품질에 직접적인 영향을 미친다는 것을 시사합니다.

추론 시간 컴퓨팅 측면에서는 음성 이해 모델을 검증자로 사용하여 검색 과정에서 샘플링 모드를 특정 검증자의 선호도에 맞춰 조정했습니다. 이를 통해 감정 표현, 음색 일관성, 내용 정확도를 향상시키는 결과를 얻었습니다. 이는 추론 과정에서의 계산량 증가가 음성 합성의 질적 개선으로 이어질 수 있음을 보여줍니다.

더 나아가 연구팀은 1B, 3B, 8B 크기의 TTS 모델과 코덱 모델의 체크포인트 및 훈련 코드를 공개적으로 제공하여 다른 연구자들이 이 연구 결과를 재현하고 확장할 수 있도록 하였습니다. 이는 AI 연구의 투명성과 공유 문화를 증진하는 중요한 조치입니다.

LLasa는 음성 합성 분야의 혁신적인 진전으로, LLM의 규모 확장 전략이 음성 합성의 자연스러움, 정확성 및 표현력을 향상시키는 데 중요한 역할을 한다는 것을 보여줍니다. 향후 연구는 다양한 언어와 음성 데이터에 대한 LLasa의 적용 가능성을 탐구하고, 더욱 효율적이고 고품질의 음성 합성 모델 개발로 이어질 것으로 기대됩니다.