에이전트 에피소딕 제어(AEC): LLM과 강화학습의 만남, AI의 새로운 지평을 열다

양 씨 등 연구진이 개발한 에이전트 에피소딕 제어(AEC)는 대규모 언어 모델과 강화 학습을 결합하여 AI의 데이터 효율성과 일반화 능력을 크게 향상시켰으며, BabyAI-Text 벤치마크에서 우수한 성능을 기록했습니다.

에이전트 에피소딕 제어(AEC): LLM과 강화학습의 시너지 효과

최근 게임, 과학적 발견, AI 정렬 등 다양한 분야에서 괄목할 만한 성과를 거두고 있는 강화학습(Reinforcement Learning, RL)은 여전히 데이터 효율성과 일반화 능력의 한계에 직면해 있습니다. 하지만, 풍부한 세계 지식과 추론 능력을 갖춘 대규모 언어 모델(Large Language Model, LLM)이 이러한 한계를 극복하는 돌파구가 될 수 있다는 주목할 만한 연구 결과가 발표되었습니다.

양 씨 등 연구진은 RL과 LLM을 통합한 새로운 아키텍처, 에이전트 에피소딕 제어(Agentic Episodic Control, AEC) 를 제안했습니다. AEC는 LLM을 활용하여 관측값을 언어 기반 임베딩으로 변환하고, 이를 에피소딕 메모리에 저장하여 효율적으로 과거 경험을 활용합니다. 이는 마치 인간이 과거 경험을 통해 학습하는 방식과 유사합니다. 뿐만 아니라, 세계 그래프 작업 메모리(World-Graph working memory) 모듈을 통해 환경의 구조적 역학을 포착하여 관계적 추론 능력을 향상시킵니다. 여기에 더해, 경량화된 경계 상태 감지기(lightweight critical state detector) 는 에피소딕 메모리 회상과 세계 모델 기반 탐색 간의 균형을 동적으로 조절하여 학습 효율을 극대화합니다.

이는 RL의 시행착오 학습 방식과 LLM의 의미론적 사전 지식을 결합한 혁신적인 접근 방식입니다. BabyAI-Text 벤치마크 실험 결과, AEC는 기존 기준 모델 대비 괄목할 만한 성능 향상을 보였습니다. 특히 FindObj와 같은 복잡하고 일반화가 어려운 작업에서 최대 76%의 성능 향상을 기록하며 그 효과를 입증했습니다.

AEC는 수치적 강화 학습과 기호적 추론의 장점을 결합하여 더욱 적응력 있고 데이터 효율적인 에이전트 개발의 새로운 가능성을 열었습니다. 이는 AI의 발전에 있어 중요한 이정표가 될 것으로 예상됩니다. 향후 연구를 통해 AEC의 적용 범위가 더욱 확장되고, 실제 세계 문제 해결에도 적용될 수 있기를 기대합니다.