M2-omni: 모든 모달리티를 아우르는 혁신적인 AI 모델 등장!

M2-omni는 GPT-4o 수준의 성능을 가진 최첨단 오픈소스 옴니-MLLM으로, 다양한 모달리티(오디오, 비디오, 이미지, 텍스트)를 통합적으로 처리하고 생성합니다. 모달리티 간 데이터 불균형 문제를 해결하기 위한 혁신적인 전략을 통해 뛰어난 성능을 달성했으며, 오픈소스 공개를 통해 AI 연구 발전에 크게 기여할 것으로 기대됩니다.

멀티 모달리티의 새로운 지평을 연 M2-omni

최근 AI 연구 분야에서 뜨거운 감자로 떠오르고 있는 멀티 모달(Multi-modal) 모델. 이제 M2-omni 라는 강력한 오픈소스 모델이 등장하여 새로운 가능성을 제시하고 있습니다! 중국과학원(Chinese Academy of Sciences)을 포함한 여러 연구 기관의 공동 연구 결과인 M2-omni는 놀랍게도 GPT-4o와 경쟁할 만한 성능을 보이며, 오디오, 비디오, 이미지, 텍스트 등 다양한 모달리티를 자유롭게 처리하고 생성할 수 있다는 점에서 주목받고 있습니다.

핵심은 '통합'과 '균형'

M2-omni의 핵심은 바로 통합된 멀티모달 시퀀스 모델링 프레임워크입니다. 단순히 여러 모달리티를 처리하는 것을 넘어, 이들을 유기적으로 연결하고 상호작용하도록 설계되어 있습니다. 예를 들어, 이미지를 입력으로 받아 텍스트와 오디오 설명을 동시에 생성하는 등, 더욱 직관적이고 상호작용적인 실시간 경험을 제공할 수 있습니다.

하지만 이러한 옴니-MLLM(Omni-Multimodal Large Language Model)을 학습시키는 것은 쉬운 일이 아닙니다. 각 모달리티의 데이터 양이 크게 차이가 나고, 수렴 속도 또한 다르기 때문입니다. 연구팀은 이러한 문제를 해결하기 위해 두 가지 혁신적인 전략을 제시했습니다.

• 단계적 균형 전략 (Step Balance Strategy): 사전 학습 단계에서 모달리티별 데이터 양의 차이를 효과적으로 해결합니다.
• 동적으로 적응하는 균형 전략 (Dynamically Adaptive Balance Strategy): 지시어 조정(Instruction Tuning) 단계에서 모달리티별 학습 진행 상황을 동기화하여 최적의 수렴을 달성합니다.

특히, 연구팀은 순수 텍스트 작업에 대한 강력한 성능 유지에 중점을 두었습니다. 이는 M2-omni의 견고한 언어 이해 능력을 보장하는 데 중요한 요소입니다.

오픈소스의 힘: 새로운 연구의 시작

M2-omni는 오픈소스로 공개되어, 전 세계 연구자들이 자유롭게 활용하고 발전시킬 수 있습니다. GPT-4o에 필적하는 성능과 포괄적인 모달리티 지원, 뛰어난 성능을 모두 갖춘 M2-omni는 옴니-MLLM 분야의 발전에 크게 기여할 것으로 기대됩니다. 이는 단순한 기술 발전을 넘어, AI 연구의 새로운 장을 열어갈 혁신적인 도약입니다.