혁신적인 음성 상호작용 모델 MinMo 등장! 80억 매개변수의 힘
80억 매개변수의 다중 모달 대규모 언어 모델 MinMo는 140만 시간의 음성 데이터를 기반으로 훈련되어 실시간 양방향 음성 상호작용을 가능하게 합니다. 향상된 지시 따르기 기능과 새로운 음성 디코더를 통해 최첨단 성능을 달성하였으며, 감정, 방언, 말투 등을 제어하는 정교한 음성 생성을 지원합니다.

80억 매개변수의 혁신: 다중 모달 대규모 언어 모델 MinMo
최근 대규모 언어 모델(LLM)과 다중 모달 음성-텍스트 모델의 발전으로 실시간, 자연스럽고 사람과 같은 대화가 가능해졌습니다. 하지만 기존 음성 상호작용 모델들은 서로 다른 시퀀스 길이, 불충분한 사전 훈련 데이터 등의 문제에 직면해 왔습니다.
이러한 한계를 극복하고자 등장한 것이 바로 MinMo입니다. Chen Qian 등 33명의 연구진이 개발한 MinMo는 약 80억 개의 매개변수를 가진 다중 모달 대규모 언어 모델로, 140만 시간에 달하는 방대한 음성 데이터를 바탕으로 훈련되었습니다. 단순히 음성 인식과 합성을 넘어, 음성-텍스트 정렬, 텍스트-음성 정렬, 음성-음성 정렬, 그리고 양방향 상호작용 정렬이라는 4단계의 정교한 훈련 과정을 거쳤습니다.
MinMo의 놀라운 성능
MinMo는 다양한 음성 이해 및 생성 벤치마크에서 최첨단 성능을 기록했습니다. 단순히 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 것을 넘어, 사용자와 시스템 간의 전이중(full-duplex) 대화, 즉 동시적인 양방향 소통을 가능하게 합니다. 이론적으로는 약 600ms, 실제로는 800ms의 지연 시간을 보이는데, 이는 실시간 대화에 충분히 활용 가능한 수준입니다. 또한, 새로운 음성 디코더를 통해 기존 모델보다 훨씬 자연스럽고 정확한 음성 생성을 지원합니다.
사용자 지시에 따른 정교한 음성 제어
MinMo의 가장 큰 장점 중 하나는 향상된 지시 따르기 기능입니다. 사용자의 지시에 따라 감정, 방언, 말투, 말하는 속도 등을 세밀하게 제어할 수 있으며, 특정 목소리를 모방하는 것도 가능합니다. 이는 보다 다양하고 풍부한 음성 상호작용을 가능하게 합니다.
MinMo의 미래
MinMo 프로젝트 웹 페이지(https://funaudiollm.github.io/minmo)를 통해 더 자세한 정보를 얻을 수 있으며, 곧 코드와 모델이 공개될 예정입니다. MinMo는 AI 기반 음성 상호작용 기술의 새로운 지평을 열고, 보다 자연스럽고 효율적인 인간-컴퓨터 상호작용 시대를 앞당길 것으로 기대됩니다.
(참고: 음성-텍스트 변환 지연 시간은 약 100ms입니다.)
Reference
[arxiv] MinMo: A Multimodal Large Language Model for Seamless Voice Interaction
Published: (Updated: )
Author: Qian Chen, Yafeng Chen, Yanni Chen, Mengzhe Chen, Yingda Chen, Chong Deng, Zhihao Du, Ruize Gao, Changfeng Gao, Zhifu Gao, Yabin Li, Xiang Lv, Jiaqing Liu, Haoneng Luo, Bin Ma, Chongjia Ni, Xian Shi, Jialong Tang, Hui Wang, Hao Wang, Wen Wang, Yuxuan Wang, Yunlan Xu, Fan Yu, Zhijie Yan, Yexin Yang, Baosong Yang, Xian Yang, Guanrou Yang, Tianyu Zhao, Qinglin Zhang, Shiliang Zhang, Nan Zhao, Pei Zhang, Chong Zhang, Jinren Zhou
http://arxiv.org/abs/2501.06282v1