혁신적인 지속적 학습 알고리즘 DATA: 급격한 망각 문제 해결의 새로운 지평

본 기사는 지속적 학습(CL)에서 대규모 언어 모델(LLM)의 급격한 망각 문제를 해결하기 위한 혁신적인 알고리즘 DATA를 소개합니다. DATA는 고계수와 저계수 작업 어댑터를 이용하여 작업 특유 및 공유 지식을 분리 학습하고, 어댑터 가중치의 동적 조정을 통해 새로운 작업 학습과 기존 지식 보존의 균형을 맞춥니다. 실험 결과 최첨단 성능을 달성함으로써 LLM의 지속적 학습 능력 향상에 기여할 것으로 기대됩니다.

급격한 망각의 딜레마: 지속적 학습의 과제

대규모 언어 모델(LLM)은 진화하는 현실 세계의 요구에 적응하기 위해 지속적인 학습(CL)이 필수적입니다. 하지만 LLM은 새로운 정보를 학습하는 과정에서 이전에 학습한 정보를 잊어버리는 급격한 망각(Catastrophic Forgetting, CF) 현상에 취약합니다. 기존의 CF 해결책은 비용이 많이 드는 데이터 재사용에 의존했지만, 최근에는 데이터 재사용 없이 모델 기반 및 규제 기반 전략을 활용하는 방법들이 등장했습니다. 그러나 이러한 접근 방식은 모델의 가소성(plasticity), 즉 새로운 정보에 적응하고 학습하는 능력을 간과하는 경우가 많았습니다. CL에서 핵심적인 과제는 바로 이 가소성을 유지하면서 CF를 완화하는 균형을 맞추는 것입니다.

DATA: 가소성과 CF 완화의 조화

Liao Huanxuan 등 연구진은 이러한 과제에 대한 해결책으로 DATA(Decomposed Attention-based Task Adaptation) 알고리즘을 제시했습니다. DATA는 고계수(high-rank)와 저계수(low-rank) 작업 어댑터(예: LoRAs)를 사용하여 작업 특유의 지식과 작업 간 공유 지식을 명시적으로 분리하고 학습합니다. 새로운 작업에 대해 DATA는 이전 작업과의 관련성과 차이를 기반으로 다양한 계수의 어댑터 가중치를 동적으로 조정합니다. 이를 통해 모델은 새로운 작업 관련 기술을 습득하는 동시에 이전에 학습한 지식을 효과적으로 유지할 수 있습니다. 특히, 학습 가능한 구성 요소로 구성된 분해된 구성 요소 가중치 전략을 구현하여 주의 기반 가중치를 생성함으로써, 모델은 각 DATA에서 다양한 지식을 통합하고 활용할 수 있습니다. 훈련 반복 중에 학습 가능한 구성 요소를 확장하고 확률적 복원(stochastic restoration)을 사용함으로써 모델의 가소성을 크게 향상시키고 CF를 완화합니다.

최첨단 성능과 미래 전망

세 가지 널리 사용되는 벤치마크에 대한 광범위한 실험 결과, DATA는 최첨단 성능을 달성했습니다. 이 연구는 LLM의 지속적인 학습 능력 향상에 중요한 기여를 하며, 급격한 망각 문제를 효과적으로 해결하는 새로운 가능성을 제시합니다. DATA 알고리즘은 LLM의 실제 세계 적용 가능성을 더욱 확대할 것으로 기대됩니다. 앞으로 더욱 다양한 작업과 데이터셋에서의 성능 평가 및 알고리즘 개선을 통해 더욱 강력하고 효율적인 지속적 학습 프레임워크로 발전할 것으로 예상됩니다.