혁신적인 AI 모델 SEFE: 잊지 않는 능력, 다중 모달 지속 학습의 새 지평을 열다

Jinpeng Chen 등의 연구진이 발표한 SEFE는 다중 모달 지속적 지시 조정(MCIT)에서의 망각 문제를 해결하기 위해 표면적 망각과 본질적 망각을 구분하고, 답변 스타일 다양화(ASD)와 RegLoRA 기법을 제시하여 최첨단 성능을 달성했습니다. 이는 AI의 지속적 학습 및 발전에 큰 기여를 할 것으로 기대됩니다.

잊지 않는 AI, SEFE의 등장

인공지능(AI) 분야에서 지속적인 학습(Continual Learning)은 뜨거운 감자입니다. 특히, 다양한 형태의 데이터(텍스트, 이미지, 영상 등)를 처리하는 다중 모달 대규모 언어 모델(MLLM)에서 새로운 과제를 학습하면서 기존 지식을 잊어버리는 '망각(forgetting)' 문제는 심각한 걸림돌이었습니다. 하지만 최근, 중국과 홍콩의 연구진이 이 문제에 대한 획기적인 해결책을 제시했습니다. Jinpeng Chen 등이 발표한 논문 "SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning"은 다중 모달 지속적 지시 조정(MCIT)에서의 망각 문제를 해결하는 새로운 방법론 SEFE를 소개합니다.

망각의 두 얼굴: 표면적 망각 vs. 본질적 망각

SEFE의 핵심은 망각을 '표면적 망각'과 '본질적 망각'으로 나누어 접근하는 데 있습니다. 표면적 망각은 모델이 지식을 완전히 잃은 것이 아니라, 이전 과제의 답변 스타일이 이후 과제의 영향을 받아 예상 답변 형식과 달라지는 현상입니다. 마치 요리법은 알지만, 새로운 레스토랑의 스타일대로 요리하여 원래 요리와 다른 결과물이 나오는 것과 같습니다. 반면, 본질적 망각은 답변 형식은 맞지만, 사실적으로 부정확한 답변을 하는 경우로, 진정한 지식의 손실을 의미합니다. 이는 레시피를 잊어버리고 잘못된 재료를 사용하여 요리하는 것과 같습니다.

SEFE: 망각과의 전쟁에서 승리하다

연구진은 표면적 망각을 해결하기 위해 답변 스타일 다양화(ASD) 패러다임을 도입했습니다. 이는 다양한 과제의 데이터 스타일을 표준화된 절차로 변환하여 학습 데이터의 스타일을 통일함으로써 스타일 변화로 인한 표면적 망각을 방지합니다. 마치 모든 요리 레시피를 통일된 양식으로 정리하는 것과 같습니다.

본질적 망각을 해결하기 위해서는 RegLoRA 기법을 제안했습니다. RegLoRA는 이전 지식이 주로 저장된 주요 매개변수를 안정화시키는 정규화를 적용하여 모델이 기존 역량을 유지하도록 합니다. 이는 요리의 기본 원리를 잊지 않도록 핵심 기술을 꾸준히 연마하는 것과 같습니다.

최고 성능을 달성한 SEFE

ASD와 RegLoRA를 결합한 SEFE는 실험 결과에서 최첨단 성능을 달성했습니다. 이는 다중 모달 지속적 학습 모델의 한계를 극복하고, 실제 응용 가능성을 크게 높이는 중요한 발전입니다. SEFE는 단순한 기술적 진보를 넘어, AI가 지속적으로 학습하고 발전하는 미래를 향한 중요한 이정표를 제시합니다. 앞으로 SEFE를 기반으로 더욱 발전된 AI 모델들이 등장할 것으로 기대됩니다.