GLM-4-Voice: 인간과 같은 지능형 음성 챗봇의 탄생
중국과학기술대학교 등 연구진이 개발한 GLM-4-Voice는 중국어와 영어를 지원하는 초저비트율의 혁신적인 음성 챗봇입니다. 1조 토큰의 데이터로 훈련되어 최첨단 성능을 달성했으며, 깃허브와 Hugging Face를 통해 공개되었습니다.

혁신적인 음성 챗봇, GLM-4-Voice 등장!
최근 중국과학기술대학교(USTC)와 텐센트, 기타 연구기관의 공동 연구팀이 놀라운 성과를 발표했습니다. 바로 GLM-4-Voice, 중국어와 영어를 모두 지원하는 지능형 음성 챗봇입니다. 단순한 대화를 넘어, 감정, 억양, 말 속도, 사투리까지 사용자 지시에 따라 변화무쌍한 음성 대화를 제공한다는 점에서 혁신적입니다.
핵심 기술은 무엇일까요?
GLM-4-Voice는 175bps라는 초저비트율의 단일 코드북 음성 토크나이저를 사용합니다. 이는 기존보다 훨씬 효율적인 음성 처리를 가능하게 합니다. 또한, 12.5Hz의 프레임 속도를 사용하여 실시간 대화에 적합한 속도를 제공합니다. 특히, 자동 음성 인식(ASR) 모델에 벡터 양자화 병목 현상을 통합하여 음성 인식 성능을 향상시켰습니다.
텍스트-음성 지식 전이: 새로운 접근 방식
기존의 텍스트 데이터를 효율적으로 활용하기 위해, 연구팀은 텍스트-토큰 모델을 사용하여 기존 텍스트 데이터에서 음성-텍스트 데이터를 합성하는 독창적인 방법을 고안했습니다. 이를 통해 텍스트 데이터의 방대한 지식을 음성 모델에 효과적으로 전이시킬 수 있었습니다.
1조 토큰의 힘: 거대한 사전 훈련
GLM-4-Voice는 1조 토큰이라는 어마어마한 양의 데이터로 사전 훈련되었습니다. 여기에는 비지도 학습 음성 데이터, 음성-텍스트 혼합 데이터, 그리고 지도 학습 음성-텍스트 데이터가 포함됩니다. 이러한 대규모 데이터 학습을 통해 음성 언어 모델링과 음성 질문 응답 분야에서 최첨단 성능을 달성했습니다.
고품질 대화 데이터를 통한 미세 조정: 완성도 높은 대화 능력
마지막으로, 고품질의 대화 음성 데이터를 사용하여 모델을 미세 조정했습니다. 그 결과, 기존 모델 대비 대화 능력과 음성 품질이 훨씬 향상되었습니다. 이제 GLM-4-Voice는 보다 자연스럽고 인간다운 대화를 제공할 수 있습니다.
공개 모델 접근:
이 놀라운 기술은 여러분도 직접 경험할 수 있습니다! GitHub(https://github.com/THUDM/GLM-4-Voice) 와 Hugging Face (https://huggingface.co/THUDM/glm-4-voice-9b) 에서 공개 모델을 확인해보세요.
GLM-4-Voice는 단순한 음성 챗봇을 넘어, 인공지능 기술의 발전 방향을 제시하는 획기적인 성과입니다. 앞으로 이 기술이 어떻게 활용될지, 그리고 또 어떤 혁신을 가져올지 기대됩니다!
Reference
[arxiv] GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Published: (Updated: )
Author: Aohan Zeng, Zhengxiao Du, Mingdao Liu, Kedong Wang, Shengmin Jiang, Lei Zhao, Yuxiao Dong, Jie Tang
http://arxiv.org/abs/2412.02612v1