잊지 않는 AI: 소량 학습에도 강한 비전 트랜스포머의 비밀

Kyle Stein 등 연구진은 비전 트랜스포머(ViT)의 매개변수를 효율적으로 업데이트하는 새로운 FSCIL 프레임워크를 제안했습니다. 기존 지식 손실 없이 새로운 클래스 정보를 통합하는 이 방법은 소량의 데이터로도 우수한 성능을 보이며, AI의 실용성을 한 단계 끌어올리는 혁신적인 결과를 보여줍니다.

인공지능 분야의 숙원 중 하나는 기존 지식을 잃지 않고 새로운 정보를 학습하는 것입니다. 이를 '파국적 망각'이라 부르는데, Kyle Stein 등 연구진이 이 문제에 대한 놀라운 해결책을 제시했습니다. 바로 적응형 가산 매개변수 업데이트를 이용한 비전 트랜스포머(ViT) 입니다.

기존의 소량 샷 클래스 증분 학습(FSCIL)은 기본 클래스로 모델을 훈련한 후, 소량의 새로운 데이터로만 모델을 업데이트하는 방식입니다. 하지만 이는 과적합 문제와 기존 지식의 손실 위험을 내포하고 있었습니다.

연구진은 이 문제를 해결하기 위해 기발한 아이디어를 제시했습니다. 바로 미리 훈련된 ViT의 매개변수는 고정하고, 자가 주의 메커니즘에만 선택적으로 훈련 가능한 가중치를 추가하는 방식입니다. 마치 레고 블록을 추가하듯, 기존의 견고한 구조는 그대로 유지하면서 새로운 기능을 추가하는 것입니다. 이러한 가산 업데이트 메커니즘을 통해 소량의 매개변수만 업데이트함으로써 과적합 위험을 줄이고, 기존 지식을 보존하는 데 성공했습니다.

이 연구의 핵심은 **'효율성'**입니다. 일부 매개변수만 업데이트하기 때문에 연산량이 줄어들고, 학습 속도 또한 빨라집니다. 이는 모바일 기기나 자원 제약이 있는 환경에서 AI 모델을 구동하는 데 큰 장점으로 작용할 것입니다.

실제 여러 벤치마크 데이터셋에서 실험한 결과, 이 방법은 기존 FSCIL 방법들보다 훨씬 우수한 성능을 보였다고 합니다. 이는 단순히 새로운 기술이 아닌, 실제 문제 해결에 효과적인 실용적인 기술임을 의미합니다.

이 연구는 AI가 더욱 효율적이고 지능적으로 학습할 수 있는 길을 열어주는 중요한 발걸음입니다. 소량의 데이터로도 놀라운 성과를 낼 수 있다는 사실은, 앞으로 AI 기술이 더욱 다양한 분야에 적용될 수 있음을 시사합니다. 하지만, 여전히 과적합 문제에 대한 완벽한 해결책은 아닙니다. 향후 연구에서는 더욱 강건하고 일반화된 FSCIL 프레임워크 개발이 중요한 과제로 남아있습니다.