혁신적인 육체화 지속 학습: 계층적 구조와 LoRA 전문가 혼합을 활용한 잊지 않는 AI

Jia 등 연구진(2025)은 계층적 육체화 지속 학습 설정(HEC)과 작업 인식 증분 LoRA 전문가 혼합(Task-aware MoILE) 방법을 제시하여 기존 육체화 지속 학습의 한계를 극복하고 파국적 망각 문제를 효과적으로 해결했습니다. 실험 결과, 이 방법은 고수준 계획 능력과 다층적 지식 학습을 가능하게 하여 지속적인 학습 능력을 향상시켰음을 보여줍니다.

잊지 않는 AI: 계층적 구조와 LoRA 전문가 혼합을 통한 혁신적인 육체화 지속 학습

최근 인공지능 분야에서 뜨거운 감자인 육체화된 지속 학습(Embodied Continual Learning) . Jia 등 연구진(2025)의 새로운 연구는 기존 연구의 한계를 극복하고 한 단계 도약하는 혁신적인 방법을 제시합니다. 기존 연구들이 주로 사람의 명령에 따른 단순 행동 수행에 집중했다면, 이 연구는 고수준 계획 능력과 다층적 지식 학습이라는 중요한 측면을 새롭게 조명합니다.

연구진은 이 문제를 해결하기 위해 계층적 육체화 지속 학습 설정(HEC) 이라는 새로운 프레임워크를 제안합니다. HEC는 에이전트의 학습 과정을 고수준 지시와 저수준 행동이라는 두 계층으로 나누고, 각 계층에 맞는 5가지 하위 설정을 정의하여 보다 체계적이고 효율적인 학습을 가능하게 합니다. 마치 인간의 학습 과정처럼, 큰 그림(고수준)과 세부적인 행동(저수준)을 동시에 고려하는 셈입니다.

하지만, 새로운 작업을 학습하는 동안 이전에 학습한 내용을 잊어버리는 '파국적 망각(catastrophic forgetting)' 문제는 여전히 풀어야 할 과제입니다. 이를 위해 연구진은 작업 인식 증분 LoRA 전문가 혼합(Task-aware MoILE) 이라는 독창적인 방법을 제안합니다. 시각-텍스트 임베딩을 클러스터링하여 작업을 인식하고, 작업 수준 라우터와 토큰 수준 라우터를 사용하여 상황에 맞는 LoRA 전문가를 선택하는 지능적인 시스템입니다.

더 나아가, SVD(Singular Value Decomposition) 기법을 통해 기존 작업에서 얻은 LoRA 매개변수의 핵심 요소를 보존하면서 나머지 부분은 직교적으로 학습하는 방식을 채택했습니다. 이는 마치 중요한 정보는 잊지 않고 새로운 정보를 효율적으로 추가하는 인간의 기억 방식과 유사합니다. 이를 통해 파국적 망각 문제를 효과적으로 해결하고 지속적인 학습 능력을 향상시켰습니다.

실험 결과는 이 방법의 우수성을 명확히 보여줍니다. 기존 방법들에 비해 과거 작업에 대한 망각을 현저히 줄이고 새로운 작업을 지속적으로 학습하면서 이전 지식을 효과적으로 유지하는 것을 확인했습니다. 이는 육체화된 AI 에이전트가 다양한 작업을 수행하는 데 필수적인 능력입니다. 이 연구는 육체화된 지속 학습 분야에 새로운 이정표를 제시하며, 더욱 발전된 AI 시스템 개발의 가능성을 열어줍니다.