혁신적인 지속 학습 모델 SCDEM: 다중 백본 아키텍처로 AI의 한계를 뛰어넘다

Wu Runqing 등 연구진이 개발한 SCDEM은 다중 백본 아키텍처, 협업 최적화 메커니즘(COM), 기능 분포 일관성(FDC), 동적 계층별 특징 주의 메커니즘(DLWFAM)을 통해 기존 지속 학습 모델의 한계를 극복하고 최첨단 성능을 달성했습니다. 새로운 과제에 대한 적응력을 높이고 부정적 지식 전이 및 과적합 문제를 효과적으로 해결하는 혁신적인 모델입니다.

끊임없이 학습하는 AI, 그 한계를 뛰어넘다: SCDEM의 등장

최근 급격한 기술 발전에도 불구하고, 인공지능의 지속 학습(Continual Learning, CL)은 여전히 풀어야 할 과제입니다. 기존의 CL 모델들은 새로운 과제를 학습하는 동안 이전 데이터에 접근할 수 없다는 점에서 어려움을 겪어왔습니다. 특히, 다양한 데이터 도메인을 다룰 때는 많은 비활성 매개변수로 인해 새로운 과제에 대한 적응력이 떨어지는 문제가 존재했습니다.

Wu Runqing 등 연구진, 자기 제어 동적 확장 모델(SCDEM) 제시

이러한 한계를 극복하기 위해, Wu Runqing 등 연구진은 혁신적인 자기 제어 동적 확장 모델(SCDEM) 을 제시했습니다. SCDEM은 여러 개의 독립적으로 학습 가능한 사전 학습된 ViT(Vision Transformer) 백본을 활용하여 다양하고 의미적으로 풍부한 표현을 제공합니다. 핵심은 다중 백본 아키텍처를 공유 모듈로 사용하여 새로운 과제에 최소한의 매개변수만으로 새로운 전문가(expert)를 동적으로 생성하는 것입니다.

협업 최적화 메커니즘(COM)과 기능 분포 일관성(FDC): 지식 전이 및 과적합 문제 해결

SCDEM은 기존 전문가의 예측 신호를 활용하여 여러 백본을 시너지 효과적으로 최적화하는 협업 최적화 메커니즘(COM) 을 도입했습니다. 이를 통해 이전에 습득한 지식을 지우지 않고 새로운 과제 학습을 가능하게 합니다. 또한, 최적 수송 거리 기반 메커니즘을 사용하는 기능 분포 일관성(FDC) 접근 방식을 통해 이전과 현재 학습된 표현 간의 의미적 유사성을 맞춤으로써 부정적 지식 전이 효과를 효과적으로 완화합니다.

과적합 문제를 해결하기 위해, 연구진은 각 학습 가능한 표현 계층에 대한 패널티 강도를 자율적으로 결정하는 동적 계층별 특징 주의 메커니즘(DLWFAM) 을 제시했습니다.

최첨단 성능 달성: 실험 결과

광범위한 실험 결과, SCDEM은 최첨단 성능을 달성했습니다. 이는 다중 백본 아키텍처와 혁신적인 최적화 메커니즘, 그리고 과적합 방지 전략의 효과를 입증하는 것입니다. SCDEM은 지속 학습 분야의 발전에 중요한 기여를 할 것으로 기대됩니다. 앞으로 이 모델이 어떻게 발전하고 다양한 분야에 적용될지 주목할 필요가 있습니다.