Step-Audio: 지능형 음성 상호작용의 혁신

70명 이상의 연구진이 개발한 130억 파라미터의 통합 음성-텍스트 다중 모달 모델 Step-Audio는 지시에 따른 역할극, 툴 호출 등 고차원적인 작업 수행이 가능하며, 경제적인 음성 데이터 생성 엔진과 정교한 제어 시스템을 통해 오픈소스 음성 기술의 새로운 기준을 제시합니다.

인간과 기계의 협업을 위한 기본 인터페이스로서 실시간 음성 상호작용은 엄청난 잠재력을 가지고 있습니다. 하지만 현재의 오픈소스 모델들은 음성 데이터 수집 비용이 높고, 동적 제어 기능이 약하며, 지능 수준이 제한적이라는 한계를 가지고 있습니다.

이러한 문제점을 해결하기 위해, 130억 개의 파라미터를 가진 통합 음성-텍스트 다중 모달 모델 Step-Audio가 등장했습니다. Ailin Huang을 포함한 70명이 넘는 연구진이 개발한 Step-Audio는 단순한 음성 인식 및 생성을 넘어, 지시에 따른 역할극 수행, 툴 호출 등 복잡한 작업까지 가능하게 하는 획기적인 오픈소스 솔루션입니다. Step-Audio-Chat 버전은 이미 공개되어 사용 가능합니다.

Step-Audio의 핵심 기능:

130B 파라미터의 통합 음성-텍스트 다중 모달 모델: 음성 이해와 생성을 통합하여 더욱 자연스럽고 효율적인 상호작용을 제공합니다.
경제적인 음성 데이터 생성 엔진: 저렴한 비용으로 고품질 음성 복제를 가능하게 하여, 경량화된 TTS 모델(Step-Audio-TTS-3B) 개발에 성공했습니다.
지시 기반의 정교한 제어 시스템: 방언, 감정, 노래, 랩 등 다양한 요소를 지시에 따라 동적으로 조절할 수 있습니다.
향상된 인지 아키텍처: 툴 호출과 역할극 기능을 추가하여 복잡한 작업을 효과적으로 관리합니다.

Step-Audio는 새롭게 개발된 StepEval-Audio-360 평가 벤치마크를 통해 그 우수성을 입증했습니다. 특히 지시 사항을 따르는 능력에서 최첨단 성능을 기록했습니다. LLaMA Question과 같은 오픈소스 벤치마크에서도 평균 9.3%의 성능 향상을 보였습니다. Step-Audio의 코드와 모델은 https://github.com/stepfun-ai/Step-Audio 에서 확인할 수 있습니다.

Step-Audio는 오픈소스 다중 모달 언어 기술 발전에 크게 기여할 것으로 기대되며, 앞으로 인간과 기계의 상호작용 방식에 혁신적인 변화를 가져올 가능성을 제시합니다. 더 나아가, 저렴한 비용으로 고품질 음성 데이터를 확보할 수 있는 가능성을 열어 음성 기술의 대중화를 앞당길 것으로 예상됩니다. 이는 향후 다양한 분야에서 음성 기반 서비스 및 애플리케이션 개발에 긍정적인 영향을 미칠 것입니다.

*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction

Published: (Updated: )

Author: Ailin Huang, Boyong Wu, Bruce Wang, Chao Yan, Chen Hu, Chengli Feng, Fei Tian, Feiyu Shen, Jingbei Li, Mingrui Chen, Peng Liu, Ruihang Miao, Wang You, Xi Chen, Xuerui Yang, Yechang Huang, Yuxiang Zhang, Zheng Gong, Zixin Zhang, Brian Li, Changyi Wan, Hanpeng Hu, Ranchen Ming, Song Yuan, Xuelin Zhang, Yu Zhou, Bingxin Li, Buyun Ma, Kang An, Wei Ji, Wen Li, Xuan Wen, Yuankai Ma, Yuanwei Liang, Yun Mou, Bahtiyar Ahmidi, Bin Wang, Bo Li, Changxin Miao, Chen Xu, Chengting Feng, Chenrun Wang, Dapeng Shi, Deshan Sun, Dingyuan Hu, Dula Sai, Enle Liu, Guanzhe Huang, Gulin Yan, Heng Wang, Haonan Jia, Haoyang Zhang, Jiahao Gong, Jianchang Wu, Jiahong Liu, Jianjian Sun, Jiangjie Zhen, Jie Feng, Jie Wu, Jiaoren Wu, Jie Yang, Jinguo Wang, Jingyang Zhang, Junzhe Lin, Kaixiang Li, Lei Xia, Li Zhou, Longlong Gu, Mei Chen, Menglin Wu, Ming Li, Mingxiao Li, Mingyao Liang, Na Wang, Nie Hao, Qiling Wu, Qinyuan Tan, Shaoliang Pang, Shiliang Yang, Shuli Gao, Siqi Liu, Sitong Liu, Tiancheng Cao, Tianyu Wang, Wenjin Deng, Wenqing He, Wen Sun, Xin Han, Xiaomin Deng, Xiaojia Liu, Xu Zhao, Yanan Wei, Yanbo Yu, Yang Cao, Yangguang Li, Yangzhen Ma, Yanming Xu, Yaqiang Shi, Yilei Wang, Yinmin Zhong, Yu Luo, Yuanwei Lu, Yuhe Yin, Yuting Yan, Yuxiang Yang, Zhe Xie, Zheng Ge, Zheng Sun, Zhewei Huang, Zhichao Chang, Zidong Yang, Zili Zhang, Binxing Jiao, Daxin Jiang, Heung-Yeung Shum, Jiansheng Chen, Jing Li, Shuchang Zhou, Xiangyu Zhang, Xinhao Zhang, Yibo Zhu

http://arxiv.org/abs/2502.11946v1