혁신적인 강화학습: 문맥 내 모델 기반 계획을 위한 증류 기법

손재현, 이수찬, 김건희 연구원이 개발한 DICP는 트랜스포머를 이용한 문맥 내 모델 기반 강화학습 프레임워크로, 기존 방법보다 적은 환경 상호작용으로 최첨단 성능을 달성하여 강화학습 분야에 혁신을 가져왔습니다.

최근 트랜스포머 모델이 기존 강화학습 알고리즘을 모방하여 새로운 작업에 적응하는 문맥 내 강화학습(in-context RL) 을 수행할 수 있다는 연구 결과가 발표되었습니다. 이는 매개변수 업데이트 없이도 효율적인 학습을 가능하게 하지만, 모방하는 알고리즘의 비효율적인 행동을 그대로 물려받는 단점이 존재했습니다. 특히, 점진적인 업데이트 규칙이 이러한 문제를 야기했습니다.

이러한 문제를 해결하기 위해 손재현, 이수찬, 김건희 연구원은 모델 기반 계획(model-based planning) 을 제안했습니다. 모델 기반 계획은 행동을 취하기 전에 잠재적인 결과를 시뮬레이션하여 비효율적인 행동으로부터 벗어날 수 있는 추가적인 메커니즘을 제공합니다. 연구팀은 별도의 역학 모델을 학습하는 대신, 문맥 내 모델 기반 강화학습 프레임워크인 DICP(Distillation for In-Context Planning) 를 제시했습니다. DICP는 트랜스포머가 환경 역학과 정책을 동시에 학습하고 문맥 내에서 정책을 개선하는 방식을 사용합니다.

연구팀은 Darkroom 변형 및 Meta-World를 포함한 다양한 이산 및 연속 환경에서 DICP를 평가했습니다. 그 결과, DICP는 모델 자유형 대응 방법과 기존 메타 강화학습 방법을 포함한 기준 방법들보다 훨씬 적은 환경 상호 작용만으로도 최첨단 성능을 달성했습니다.

이 연구는 문맥 내 강화학습의 효율성을 크게 향상시키는 획기적인 성과입니다. 점진적인 업데이트 규칙의 한계를 극복하고, 모델 기반 계획을 통해 더욱 효과적인 강화학습 에이전트를 구축할 수 있는 가능성을 제시했습니다. 향후, DICP는 자율 주행, 로보틱스 등 다양한 분야에 적용되어 더욱 발전된 인공지능 시스템 개발에 기여할 것으로 기대됩니다.

핵심: DICP는 트랜스포머를 이용해 환경 역학과 정책을 동시에 학습, 기존 방법보다 적은 상호작용으로 최첨단 성능 달성