InternLM-XComposer2.5-OmniLive: 끊임없이 학습하고 진화하는 멀티모달 AI의 탄생
Pan Zhang 외 27명의 연구진이 개발한 InternLM-XComposer2.5-OmniLive는 장기간 스트리밍 비디오 및 오디오 상호작용을 위한 멀티모달 시스템입니다. 기존 MLLM의 한계를 극복하고 인간의 인지 능력을 모방하여 실시간 처리 및 적응적 서비스 제공을 가능하게 합니다.

인간처럼 생각하고, 배우는 AI: InternLM-XComposer2.5-OmniLive
인간처럼 장기간에 걸쳐 환경과 상호작용하는 AI 시스템 개발은 오랜 숙제였습니다. 최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 개방형 세계 이해에 큰 진전을 가져왔지만, 끊임없이 흐르는 스트리밍 데이터를 동시에 인지하고, 기억하고, 추론하는 것은 여전히 미개척 분야였습니다.
기존 MLLM은 순차적(sequence-to-sequence) 구조의 한계로 실시간 처리와 응답 생성에 어려움을 겪었습니다. 마치 인지하는 동안 생각할 수 없는 것과 같습니다. 또한, 모든 정보를 저장하는 것은 비효율적이며 비용이 많이 듭니다.
InternLM-XComposer2.5-OmniLive (IXC2.5-OL) 프로젝트는 이러한 문제를 해결하기 위해 전문화된 일반화 AI 개념에서 영감을 얻었습니다. 스트리밍 인식, 추론, 메모리 메커니즘을 분리하여 스트리밍 비디오 및 오디오 입력과 실시간 상호 작용을 가능하게 합니다.
IXC2.5-OL은 세 가지 주요 모듈로 구성됩니다.
- 스트리밍 인식 모듈: 실시간으로 멀티모달 정보를 처리하고, 중요한 세부 정보를 메모리에 저장하며, 사용자 질문에 따라 추론을 시작합니다. 마치 인간의 감각 기관과 같습니다.
- 멀티모달 장기 메모리 모듈: 단기 및 장기 메모리를 통합하여 단기 메모리를 장기 메모리로 압축, 효율적인 검색과 정확도 향상을 도모합니다. 인간의 기억력과 유사한 역할을 수행합니다.
- 추론 모듈: 질문에 응답하고 추론 작업을 실행하며, 인식 및 메모리 모듈과 조정합니다. 인간의 사고 과정을 담당하는 부분이라고 볼 수 있습니다.
이 프로젝트는 인간의 인지 능력을 모방하여 멀티모달 대규모 언어 모델이 시간이 지남에 따라 지속적이고 적응적인 서비스를 제공할 수 있도록 합니다. 이는 AI가 단순히 정보를 처리하는 것을 넘어, 끊임없이 학습하고 진화하는 존재로 나아가는 중요한 발걸음입니다. 끊임없이 변화하는 세상 속에서, IXC2.5-OL과 같은 시스템은 미래 AI의 모습을 보여주는 중요한 사례가 될 것입니다.
Reference
[arxiv] InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions
Published: (Updated: )
Author: Pan Zhang, Xiaoyi Dong, Yuhang Cao, Yuhang Zang, Rui Qian, Xilin Wei, Lin Chen, Yifei Li, Junbo Niu, Shuangrui Ding, Qipeng Guo, Haodong Duan, Xin Chen, Han Lv, Zheng Nie, Min Zhang, Bin Wang, Wenwei Zhang, Xinyue Zhang, Jiaye Ge, Wei Li, Jingwen Li, Zhongying Tu, Conghui He, Xingcheng Zhang, Kai Chen, Yu Qiao, Dahua Lin, Jiaqi Wang
http://arxiv.org/abs/2412.09596v1