획기적인 대규모 언어 모델 지속적 학습: 분석적 부분 공간 라우팅(ASR) 등장!

중국과학원 자동화연구소 연구팀이 발표한 분석적 부분 공간 라우팅(ASR) 기법은 대규모 언어 모델(LLM)의 지속적 학습 문제를 해결하는 혁신적인 방법을 제시합니다. 재귀적 최소 제곱법을 활용하여 이전 데이터 접근 없이 동적으로 적응하고, 지식 간섭을 최소화하여 기존 지식을 유지하면서 새로운 정보를 효과적으로 통합합니다.

대규모 언어 모델의 지속적 학습: 한계 극복을 위한 새로운 돌파구

대규모 언어 모델(LLM)은 다양한 언어 관련 작업을 처리하는 막강한 능력을 지녔지만, 미세 조정 과정에서 기존의 일반적인 기술이 저하될 수 있습니다. 특히, 지속적인 미세 조정은 축적된 지식에 심각한 손상을 초래할 수 있다는 문제점이 존재합니다. 이러한 문제를 해결하기 위해 최근 지속적 학습(Continual Learning, CL) 이 주목받고 있습니다. CL은 LLM이 새로운 작업에 지속적으로 적응하면서 이전에 학습한 지식을 유지하고 일반적인 기술을 계승하는 것을 목표로 합니다.

기존의 CL 기법들은 이전 데이터를 재사용하여 계산 비용을 증가시키거나, 단일 매개변수 효율 모듈을 사용하여 새로운 지식 흡수를 제한하는 등의 한계를 가지고 있었습니다. 하지만 최근, 중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences)의 Kai Tong 박사 연구팀이 발표한 논문 "Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model"은 이러한 문제점들을 혁신적으로 해결하는 새로운 방법을 제시합니다.

분석적 부분 공간 라우팅(ASR): 지식 간섭의 종말

연구팀은 분석적 부분 공간 라우팅(ASR) 이라는 새로운 기법을 제안했습니다. ASR은 각 작업에 대해 심층 레이어 특징의 부분 공간 내에서 학습을 분리하여 저차원 적응을 통해 서로 다른 작업 간의 지식 간섭을 제거합니다. 또한, 분석적 라우팅 메커니즘을 통해 서로 다른 부분 공간에서 학습된 지식을 적절히 활용합니다.

재귀적 최소 제곱법(Recursive Least Squares): 효율적인 학습의 핵심

ASR은 재귀적 최소 제곱법(Recursive Least Squares) 을 이용하여 다중 작업 라우터 모델을 학습합니다. 이를 통해 라우터는 이전 데이터에 접근하지 않고도 들어오는 데이터에 동적으로 적응할 수 있습니다. 뿐만 아니라, 라우터는 현재 작업을 적절한 부분 공간에 효과적으로 할당하고, 이전에 학습된 작업에 대한 망각 현상 없이(non-forgetting property) 지식을 유지할 수 있습니다. 이는 탄탄한 이론적 보장을 바탕으로 합니다.

놀라운 실험 결과: 완벽에 가까운 기존 지식 유지 및 새로운 정보 통합

실험 결과는 ASR이 기존 지식을 거의 완벽하게 유지하면서 새로운 정보를 원활하게 통합함을 보여줍니다. 이는 기존 방법들의 핵심적인 한계를 효과적으로 극복한 결과입니다. 연구팀은 논문이 수락된 후 코드를 공개할 예정입니다. 이번 연구는 LLM의 지속적 학습 분야에 중요한 발전을 가져올 것으로 기대됩니다. 앞으로 ASR을 기반으로 한 더욱 발전된 연구들이 LLM의 성능과 활용성을 더욱 확장시킬 것으로 예상됩니다.