혁신적인 지속적 학습 프레임워크: Perturb-and-Merge (P&M)

하오미아오 치우(Haomiao Qiu) 등 연구진이 개발한 Perturb-and-Merge (P&M) 프레임워크는 모델 병합 기술과 혁신적인 규제 기법을 통해 지속적 학습(CL)에서의 파국적 망각 문제를 해결하고, LoRA와의 결합으로 메모리 효율성까지 높였습니다. 다양한 벤치마크 데이터 세트에서 최첨단 성능을 달성하며, 잊지 않는 AI 시대를 앞당기는 획기적인 발전으로 평가받고 있습니다.

잊지 않는 AI: 획기적인 지속적 학습 프레임워크, Perturb-and-Merge (P&M)

끊임없이 새로운 지식을 학습하고 기존 지식을 잊지 않는 AI, 꿈만 같았던 이야기가 현실이 되어가고 있습니다. 하오미아오 치우(Haomiao Qiu) 등 연구진이 발표한 Perturb-and-Merge (P&M) 프레임워크가 바로 그 핵심입니다.

기존 지속적 학습(Continual Learning, CL) 방법들은 최근 작업의 파라미터에만 의존하여, 이전에 학습한 내용을 잊어버리는 '파국적 망각(catastrophic forgetting)' 문제에 취약했습니다. P&M은 이러한 한계를 극복하기 위해 모델 병합(model merging) 이라는 혁신적인 아이디어를 도입했습니다.

P&M의 작동 원리: 섭동과 병합의 조화

P&M은 각 작업을 훈련한 후, 이전 모델과 새로 훈련된 작업 특정 모델의 볼록 조합으로 새로운 모델을 생성합니다. 연구진은 이론적 분석을 통해 모든 작업에 걸친 손실 증가를 최소화하고, 최적의 병합 계수를 분석적으로 도출하는 데 성공했습니다. 더 나아가, 병합 과정에서 발생하는 성능 저하를 완화하기 위해 작업 벡터와 손실 함수의 Hessian 행렬로 구성된 규제 항을 도입했습니다. 흥미롭게도, 이 규제 항은 2차 대칭 유한 차분(second-order symmetric finite differences) 을 이용하여 효율적으로 근사할 수 있으며, 작업 벡터 방향을 따라 확률적 섭동 전략을 고안하여 추가적인 전달 또는 역전달 없이 효과적인 근사를 제공합니다.

LoRA와의 시너지 효과: 메모리 효율의 극대화

P&M은 메모리 효율적인 미세 조정 방법인 LoRA(Low-Rank Adaptation) 와 결합하여 메모리 오버헤드를 줄였습니다. 이를 통해 P&M은 다양한 지속적 학습 벤치마크 데이터 세트에서 최첨단 성능을 달성했습니다.

미래를 향한 전망: 잊지 않는 AI의 시대

P&M은 지속적 학습 분야의 획기적인 발전을 보여주는 사례입니다. 단순히 새로운 지식을 습득하는 것을 넘어, 기존 지식을 보존하고 활용하는 능력을 향상시킴으로써, 더욱 강력하고 유연한 AI 시스템 개발의 가능성을 열었습니다. 앞으로 P&M이 어떻게 발전하고 다양한 분야에 적용될지 기대됩니다. 잊지 않는 AI, 그 꿈은 이제 현실이 되어가고 있습니다.