혁신적인 AI 연구: 모달리티 증분 지속 학습의 새로운 지평을 열다

본 기사는 Zhang 등(2025)의 연구를 바탕으로 다중 모달리티 대규모 언어 모델(MLLM)의 모달리티 증분 지속 학습(MCL)에서 발생하는 성능 저하 문제와 이를 해결하는 새로운 방법인 'Merge then Realign'(MERA)에 대해 소개합니다. MERA는 모델 구조 변경 없이 효율적으로 성능을 향상시키며, 4가지 모달리티 확장 시 99.84%의 후방 상대적 성능 향상을 달성하여 거의 손실 없는 MCL 성능을 구현했습니다.

끊임없이 진화하는 AI: 모달리티 증분 지속 학습의 도전과 혁신

최근 다중 모달리티 대규모 언어 모델(MLLM)의 발전은 눈부십니다. 점점 더 많은 모달리티(예: 텍스트, 이미지, 오디오)를 통합하여 활용성을 높이고 있죠. 하지만 MLLM을 훈련하는 데에는 막대한 비용이 소요됩니다. 그래서 기존 MLLM을 재활용하고 모달리티 증분 지속 학습(MCL)을 통해 더 많은 모달리티를 추가하는 것이 중요한 연구 과제가 되었습니다.

하지만 문제가 있습니다. 새로운 모달리티를 추가할 때마다 기존에 학습된 모달리티의 성능이 저하되는 현상이 발생하는 것이죠. 이는 단순히 '파국적 망각'만의 문제가 아닙니다. Zhang 등(2025)의 연구에 따르면, 모달리티에 무관한 부분과 특정 모달리티에 관련된 부분 간의 '정렬 불일치'가 성능 저하의 주요 원인임을 밝혀냈습니다.

'Merge then Realign'(MERA): 간결함 속에 담긴 강력한 성능

이러한 문제를 해결하기 위해 Zhang 등은 'Merge then Realign'(MERA)이라는 새로운 MCL 패러다임을 제안했습니다. MERA의 핵심은 모델 구조를 변경하거나 과도한 훈련 부담을 추가하지 않고, 기존 모델을 효율적으로 통합하고 재정렬하는 데 있습니다. 이는 MLLM 커뮤니티에서 쉽게 적용하고 재활용할 수 있다는 것을 의미합니다.

핵심: 기존 모델의 성능 저하를 최소화하며 새로운 모달리티를 추가하는 간결하고 효율적인 방법

놀랍게도 MERA는 단순함에도 불구하고 놀라운 성능을 보여줍니다. 네 가지 모달리티로 확장했을 때, 후방 상대적 성능 향상이 무려 99.84%에 달합니다. 이는 거의 손실 없는 MCL 성능을 달성한 것을 의미합니다. 이는 기존의 MCL 방법의 한계를 뛰어넘는 획기적인 결과입니다.

미래를 향한 전진: 끊임없는 학습과 진화

Zhang 등의 연구는 MLLM의 지속적 학습에 대한 새로운 가능성을 제시합니다. MERA는 단순한 알고리즘적 개선을 넘어, MLLM 개발의 효율성과 성능을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다. 앞으로 MERA를 기반으로 더욱 발전된 MCL 기법들이 개발되어, AI의 학습 능력과 활용성을 한층 더 높일 것으로 기대됩니다. 이 연구는 AI 분야의 지속적인 발전에 중요한 이정표가 될 것입니다.