혁신적인 AI 학습법 등장: 모달 불일치 지속적 학습 (MICL)
본 기사는 다중 모달 대규모 언어 모델의 지속적 학습 분야에서 모달 불일치 지속적 학습(MICL)이라는 새로운 개념과 이를 해결하는 MoInCL 모델을 소개합니다. MoInCL은 의사 타겟 생성 모듈과 지시 기반 지식 증류를 통해 기존 모델의 한계를 극복하고, 다양한 모달과 작업 유형 변화에도 안정적인 성능을 보이는 것으로 실험 결과 확인되었습니다.

끊임없이 학습하는 AI, 새로운 도약을 향해
인공지능(AI)의 발전은 곧 학습 능력의 향상과 직결됩니다. 특히, 다양한 정보(이미지, 음성, 비디오 등)를 처리하는 다중 모달 대규모 언어 모델(MLLM)은 최근 AI 연구의 핵심 영역으로 떠올랐습니다. 하지만, MLLM이 새로운 데이터를 학습할 때 기존에 학습한 내용을 잊어버리는 'catastrophic forgetting' 문제는 끊임없이 학습하는 AI의 발전에 큰 걸림돌이었습니다.
이러한 문제를 해결하기 위해, Weiguo Pian 등 연구진이 제시한 모달 불일치 지속적 학습(MICL) 은 AI 학습의 새로운 지평을 열었습니다. MICL은 기존의 단순한 모달 추가 방식을 넘어, 이미지, 오디오, 비디오 등 다양한 모달과 캡션 생성, 질의응답 등 다양한 작업 유형의 변화를 동시에 고려하는 혁신적인 접근 방식입니다. 이처럼 모달과 작업 유형의 변화가 동시에 발생하는 환경에서의 학습은 기존의 방법론으로는 해결하기 어려운 난제였습니다.
연구진은 이러한 난관을 극복하기 위해 MoInCL이라는 새로운 모델을 제안했습니다. MoInCL은 두 가지 핵심 기술을 활용합니다. 첫째, 의사 타겟 생성 모듈은 이전에 학습한 모달에서 작업 유형이 변화하더라도 망각을 최소화합니다. 둘째, 지시 기반 지식 증류는 새로운 모달이 추가될 때 이전에 학습된 모달에 대한 지식을 효과적으로 보존하는 역할을 합니다. 이는 마치 사람이 새로운 언어를 배우면서 기존 언어 능력을 유지하는 것과 유사합니다.
6가지 다양한 작업을 통해 진행된 실험 결과는 MoInCL의 우수성을 명확히 보여줍니다. 기존의 최첨단 지속적 학습 기준 모델들에 비해 훨씬 향상된 성능을 기록하며, MICL의 실효성을 입증했습니다. 이는 끊임없이 변화하는 데이터 환경에서도 안정적이고 지속적인 학습이 가능한 AI 시스템 개발의 가능성을 열어준 획기적인 성과입니다.
이 연구는 AI의 지속적 학습에 대한 새로운 패러다임을 제시하며, 앞으로 더욱 강력하고 유연한 AI 시스템 개발에 중요한 이정표가 될 것으로 기대됩니다. MICL과 MoInCL은 단순한 기술적 진보를 넘어, AI가 우리의 삶 속에서 더욱 깊이 있고 자연스럽게 통합될 수 있는 가능성을 보여주는 중요한 사례입니다.
Reference
[arxiv] Modality-Inconsistent Continual Learning of Multimodal Large Language Models
Published: (Updated: )
Author: Weiguo Pian, Shijian Deng, Shentong Mo, Yunhui Guo, Yapeng Tian
http://arxiv.org/abs/2412.13050v1