Seed1.5-VL: 압도적인 성능과 효율성을 자랑하는 차세대 비전-언어 모델
Seed1.5-VL은 비교적 작은 크기에도 불구하고 다양한 벤치마크에서 최고 성능을 기록하고, 에이전트 중심 작업과 추론 과제에서 뛰어난 성능을 보이는 혁신적인 비전-언어 모델입니다. 본 기술 보고서는 모델 개발 과정 전반에 대한 상세한 정보를 제공하여 향후 연구에 대한 귀중한 통찰력을 제공합니다.
2025년 5월 11일 발표된 Seed1.5-VL 기술 보고서는 Dong Guo를 비롯한 80명 이상의 연구진이 참여하여 개발한 혁신적인 비전-언어 기반 모델을 소개합니다. 5억 3200만 개의 매개변수를 가진 비전 인코더와 200억 개의 활성 매개변수를 가진 전문가 혼합(MoE) LLM으로 구성된 Seed1.5-VL은 그 크기에 비해 놀라운 성능을 보여줍니다.
압도적인 성능: 60개 벤치마크 중 38개에서 최고 성능 기록
Seed1.5-VL은 다양한 공개 VLM 벤치마크와 내부 평가 세트에서 최첨단 성능을 달성했습니다. 특히 눈에 띄는 것은 60개의 공개 벤치마크 중 38개에서 최고 성능을 기록했다는 점입니다. 이는 단순한 성능 향상을 넘어, 다양한 작업에 대한 범용적인 이해 능력을 갖추었음을 의미합니다.
에이전트 중심 작업에서의 탁월한 성능: OpenAI CUA 및 Claude 3.7 능가
GUI 제어나 게임 플레이와 같은 에이전트 중심 작업에서 Seed1.5-VL은 OpenAI CUA 및 Claude 3.7을 포함한 선도적인 다중 모드 시스템을 능가했습니다. 이는 Seed1.5-VL이 단순한 정보 처리를 넘어 실제 세계와 상호 작용하고 작업을 수행할 수 있는 능력을 갖추었음을 보여주는 중요한 결과입니다. 이는 자율 주행, 로봇 제어 등 다양한 분야에 혁신적인 가능성을 제시합니다.
강력한 추론 능력: 시각적 퍼즐에서 뛰어난 성과
Seed1.5-VL은 시각적 퍼즐과 같은 다중 모달 추론 과제에서도 뛰어난 성능을 보였습니다. 이는 모델이 단순히 정보를 인식하는 것을 넘어, 복잡한 문제를 해결하고 논리적인 추론을 수행할 수 있는 능력을 갖추었음을 의미합니다. 이러한 추론 능력은 AI의 지능 수준을 한 단계 끌어올리는 중요한 진전입니다.
투명성과 공유: 모델 설계부터 훈련까지 상세한 과정 공개
본 기술 보고서는 단순한 성능 결과 발표에 그치지 않고 모델 설계, 데이터 구축, 훈련 과정 전반에 대한 상세한 경험을 공유합니다. 이는 다른 연구자들에게 귀중한 지식을 제공하고, 향후 연구 발전에 크게 기여할 것으로 예상됩니다. Seed1.5-VL은 Volcano Engine Model ID: doubao-1-5-thinking-vision-pro-250428을 통해 접근 가능합니다. (https://www.volcengine.com/)
Seed1.5-VL은 단순한 기술적 발전을 넘어, AI의 실세계 적용 가능성을 넓히는 중요한 이정표를 세웠습니다. 향후 발전이 더욱 기대되는 혁신적인 모델입니다.
Reference
[arxiv] Seed1.5-VL Technical Report
Published: (Updated: )
Author: Dong Guo, Faming Wu, Feida Zhu, Fuxing Leng, Guang Shi, Haobin Chen, Haoqi Fan, Jian Wang, Jianyu Jiang, Jiawei Wang, Jingji Chen, Jingjia Huang, Kang Lei, Liping Yuan, Lishu Luo, Pengfei Liu, Qinghao Ye, Rui Qian, Shen Yan, Shixiong Zhao, Shuai Peng, Shuangye Li, Sihang Yuan, Sijin Wu, Tianheng Cheng, Weiwei Liu, Wenqian Wang, Xianhan Zeng, Xiao Liu, Xiaobo Qin, Xiaohan Ding, Xiaojun Xiao, Xiaoying Zhang, Xuanwei Zhang, Xuehan Xiong, Yanghua Peng, Yangrui Chen, Yanwei Li, Yanxu Hu, Yi Lin, Yiyuan Hu, Yiyuan Zhang, Youbin Wu, Yu Li, Yudong Liu, Yue Ling, Yujia Qin, Zanbo Wang, Zhiwu He, Aoxue Zhang, Bairen Yi, Bencheng Liao, Can Huang, Can Zhang, Chaorui Deng, Chaoyi Deng, Cheng Lin, Cheng Yuan, Chenggang Li, Chenhui Gou, Chenwei Lou, Chengzhi Wei, Chundian Liu, Chunyuan Li, Deyao Zhu, Donghong Zhong, Feng Li, Feng Zhang, Gang Wu, Guodong Li, Guohong Xiao, Haibin Lin, Haihua Yang, Haoming Wang, Heng Ji, Hongxiang Hao, Hui Shen, Huixia Li, Jiahao Li, Jialong Wu, Jianhua Zhu, Jianpeng Jiao, Jiashi Feng, Jiaze Chen, Jianhui Duan, Jihao Liu, Jin Zeng, Jingqun Tang, Jingyu Sun, Joya Chen, Jun Long, Junda Feng, Junfeng Zhan, Junjie Fang, Junting Lu, Kai Hua, Kai Liu, Kai Shen, Kaiyuan Zhang, Ke Shen, Ke Wang, Keyu Pan, Kun Zhang, Kunchang Li, Lanxin Li, Lei Li, Lei Shi, Li Han, Liang Xiang, Liangqiang Chen, Lin Chen, Lin Li, Lin Yan, Liying Chi, Longxiang Liu, Mengfei Du, Mingxuan Wang, Ningxin Pan, Peibin Chen, Pengfei Chen, Pengfei Wu, Qingqing Yuan, Qingyao Shuai, Qiuyan Tao, Renjie Zheng, Renrui Zhang, Ru Zhang, Rui Wang, Rui Yang, Rui Zhao, Shaoqiang Xu, Shihao Liang, Shipeng Yan, Shu Zhong, Shuaishuai Cao, Shuangzhi Wu, Shufan Liu, Shuhan Chang, Songhua Cai, Tenglong Ao, Tianhao Yang, Tingting Zhang, Wanjun Zhong, Wei Jia, Wei Weng, Weihao Yu, Wenhao Huang, Wenjia Zhu, Wenli Yang, Wenzhi Wang, Xiang Long, XiangRui Yin, Xiao Li, Xiaolei Zhu, Xiaoying Jia, Xijin Zhang, Xin Liu, Xinchen Zhang, Xinyu Yang, Xiongcai Luo, Xiuli Chen, Xuantong Zhong, Xuefeng Xiao, Xujing Li, Yan Wu, Yawei Wen, Yifan Du, Yihao Zhang, Yining Ye, Yonghui Wu, Yu Liu, Yu Yue, Yufeng Zhou, Yufeng Yuan, Yuhang Xu, Yuhong Yang, Yun Zhang, Yunhao Fang, Yuntao Li, Yurui Ren, Yuwen Xiong, Zehua Hong, Zehua Wang, Zewei Sun, Zeyu Wang, Zhao Cai, Zhaoyue Zha, Zhecheng An, Zhehui Zhao, Zhengzhuo Xu, Zhipeng Chen, Zhiyong Wu, Zhuofan Zheng, Zihao Wang, Zilong Huang, Ziyu Zhu, Zuquan Song
http://arxiv.org/abs/2505.07062v1