매개변수 공간에서의 기술 확장과 조합: 인간처럼 학습하는 AI 에이전트의 탄생

류텅롱 등 연구팀이 개발한 PSEC 프레임워크는 LoRA 모듈과 맥락 인식 모듈을 활용하여 AI 에이전트의 기술 확장과 조합을 효율적으로 수행합니다. D4RL, DSRL 벤치마크 및 DeepMind Control Suite 실험 결과, 기존 지식 활용 및 기술 라이브러리 확장을 통한 효율적인 문제 해결 능력을 입증했습니다.

인간은 기존 지식을 재활용하여 새로운 문제에 효과적으로 대처하고, 문제 해결 과정에서 새로운 기술을 개발합니다. 이러한 능력을 AI 에이전트에 구현하려는 시도가 활발하게 진행되고 있으며, 자기 진화를 통해 새로운 과제에 스스로 대응하는 시스템 개발이 주목받고 있습니다. 하지만 기존 방법들은 새로운 기술을 확장할 때 훈련 효율이 떨어지고, 기존 지식을 충분히 활용하지 못하는 한계를 가지고 있었습니다.

류텅롱(Tenglong Liu) 등 연구팀은 이러한 문제를 해결하기 위해 매개변수 기술 확장 및 조합(Parametric Skill Expansion and Composition, PSEC) 이라는 새로운 프레임워크를 제안했습니다. PSEC는 관리 가능한 규모의 기술 라이브러리를 유지하면서 에이전트의 능력을 반복적으로 발전시켜 새로운 과제에 효율적으로 대처하는 것을 목표로 합니다.

PSEC의 핵심은 저순위 적응(Low-Rank Adaptation, LoRA) 모듈을 활용한 것입니다. LoRA 모듈은 플러그 앤 플레이 방식으로 기술을 추가하고 제거할 수 있도록 설계되어, 기술 확장을 효율적이고 유연하게 만듭니다. 더욱 놀라운 점은, 서로 다른 기술을 담은 LoRA 모듈을 매개변수 공간에서 직접 결합하여 새로운 기술을 생성할 수 있다는 것입니다. 이 과정에서 여러 기술 간의 공유 정보를 활용하여 효과적으로 새로운 기술을 프로그래밍합니다. 여기에 더해, 맥락 인식 모듈을 통해 상황에 맞는 기술을 동적으로 활성화하여 새로운 과제를 협력적으로 처리합니다.

다양한 응용 분야(다중 목표 조합, 역동적 변화, 지속적인 정책 변화 등)에서 PSEC의 성능을 검증하기 위해 D4RL, DSRL 벤치마크 및 DeepMind Control Suite를 사용한 실험을 진행했습니다. 그 결과, PSEC는 기존 지식을 효율적으로 활용하여 새로운 과제에 대처하고, 기술 라이브러리를 확장하여 능력을 진화시키는 데 탁월한 성능을 보였습니다. (프로젝트 웹사이트: https://ltlhuuu.github.io/PSEC/)

이 연구는 AI 에이전트가 인간처럼 학습하고 진화하는 데 한 걸음 더 다가서는 중요한 성과입니다. 앞으로 PSEC 프레임워크가 더욱 발전하여 인공지능의 다양한 분야에서 혁신을 가져올 것으로 기대됩니다. 자기 학습과 진화 능력을 갖춘 AI 시대의 도래가 가까워지고 있음을 시사하는 연구 결과입니다.