LLASA: 라마 기반 음성합성을 위한 훈련 및 추론 시간 컴퓨팅 확장의 혁신

중국과학원 자동화연구소 연구진이 개발한 LLASA는 라마 기반 음성 합성 모델의 훈련 및 추론 시간 컴퓨팅을 확장하여 음성 자연도와 정확도를 향상시켰습니다. 1B, 3B, 8B 모델과 코드 공개를 통해 학계 및 산업계의 발전에 기여할 것으로 기대됩니다.

최근 GPT 시리즈와 o1 모델과 같은 대규모 언어 모델(LLM)의 발전은 훈련 시간과 추론 시간 컴퓨팅의 확장 효과를 입증했습니다. 하지만, 현재 LLM을 활용하는 최첨단 TTS(Text-to-Speech) 시스템은 종종 여러 단계를 거치며, 별도의 모델(예: LLM 이후 확산 모델)이 필요하여 훈련 또는 테스트 중 특정 모델의 확장 여부를 결정하는 것이 복잡합니다.

중국과학원 자동화연구소 Zhen Ye 등 20명의 연구진은 이러한 문제를 해결하기 위해 훈련 시간 및 추론 시간 컴퓨팅의 확장 가능성을 탐구하는 연구를 수행했습니다. 그리고 그 결과 **단일 계층 벡터 양자화(VQ) 코덱과 단일 트랜스포머 아키텍처를 사용하는 새로운 음성 합성 프레임워크 'LLASA'**를 제안했습니다. 이는 라마와 같은 표준 LLM과 완벽하게 호환됩니다.

연구 결과에 따르면, LLASA의 훈련 시간 컴퓨팅 확장은 합성 음성의 자연스러움을 향상시키고 더욱 복잡하고 정확한 운율 패턴 생성을 가능하게 합니다. 추론 시간 컴퓨팅 확장 측면에서는 음성 이해 모델을 검색 과정에서 검증자로 활용하여, 추론 시간 컴퓨팅 확장이 특정 검증자의 선호도에 따라 샘플링 모드를 변경하여 감정 표현, 음색 일관성, 내용 정확도를 향상시키는 것을 확인했습니다.

더욱 고무적인 것은 1B, 3B, 8B 파라미터 모델과 코덱 모델의 체크포인트와 훈련 코드를 공개적으로 제공한다는 점입니다. 이는 다른 연구자들이 LLASA를 기반으로 더욱 발전된 연구를 수행하고, 음성 합성 기술의 발전에 기여할 수 있도록 하는 중요한 발걸음입니다.

이 연구는 LLM 기반 음성 합성 분야에서 훈련 및 추론 시간 컴퓨팅 확장의 중요성을 보여주는 동시에, 단일 아키텍처 기반의 효율적인 음성 합성 프레임워크를 제시함으로써 향후 음성 합성 기술 발전에 중요한 이정표를 세웠다고 평가할 수 있습니다. LLASA의 공개를 통해 더욱 다양하고 고품질의 음성 합성 기술이 개발될 것으로 기대됩니다.