희소 보상 환경에서 강화학습 에이전트의 탐색 전략: 내재적 보상의 영향 분석
본 연구는 희소 보상 환경에서 강화학습 에이전트의 탐색 성능 향상을 위해 네 가지 내재적 보상 기법을 비교 분석했습니다. 저차원 관측값에서는 상태 수 기반 보상이 우수한 성능을 보였으나, 고차원 관측값에서는 최대 엔트로피 기반 보상이 더욱 견고한 탐색을 제공했습니다. DIAYN은 탐색 성능 향상에 기여하지 못했는데, 이는 기술 공간 학습의 어려움과 행동 차별화에 대한 우선순위 때문으로 분석됩니다.

강화학습 분야의 난제 중 하나는 희소 보상 환경에서의 탐색 문제입니다. 이 문제를 해결하기 위해 다양한 내재적 보상 기법들이 제시되었는데, 이는 에이전트의 다양성을 증진시키는 데 초점을 맞춥니다. Aya Kayal, Eduardo Pignatelli, Laura Toni 연구팀은 이러한 다양성이 에이전트 행동에 미치는 영향을 심층적으로 분석하는 연구를 진행했습니다.
연구팀은 상태, 정책, 기술 수준의 다양성을 고려하여 상태 수, 내재적 호기심 모듈(ICM), 최대 엔트로피, 다양성이 전부다(DIAYN)의 네 가지 내재적 보상 기법을 MiniGrid 환경에서 실험적으로 비교 분석했습니다. 에피소드 수익, 관측 범위, 에이전트 위치 범위, 정책 엔트로피, 희소 보상 도달 시간 등 다양한 지표를 통해 탐색 성능을 평가했습니다.
흥미로운 결과가 도출되었습니다. 저차원 관측값에서는 상태 수 기반의 내재적 보상이 가장 효과적인 탐색 성능을 보였습니다. 하지만 RGB 관측값과 같은 고차원 데이터에서는 표현 학습의 어려움으로 인해 성능이 크게 저하되는 현상이 나타났습니다. 반면, 최대 엔트로피 기반 보상은 고차원 데이터에서도 비교적 견고한 탐색 성능을 유지했습니다. 이는 최대 엔트로피 기반 보상이 항상 최적의 성능을 보이는 것은 아니지만, 다양한 상황에 대한 적응력이 높다는 것을 시사합니다.
마지막으로, 강건성과 일반화 개선과 관련이 있는 것으로 알려진 DIAYN은 MiniGrid 환경에서 탐색을 촉진하지 못했습니다. 이는 기술 공간 학습 자체의 어려움과 기술 공간 내 탐색이 상태 방문의 균일성보다 행동 차별화에 우선순위를 두기 때문으로 분석됩니다.
이 연구는 다양한 내재적 보상 기법의 강점과 약점을 명확히 보여주는 동시에, 희소 보상 환경에서 효과적인 탐색 전략을 설계하기 위한 중요한 통찰력을 제공합니다. 특히, 관측값의 차원에 따른 내재적 보상 기법의 적합성을 고려해야 함을 시사하며, 향후 연구에서는 다양한 환경과 과제에 대한 추가적인 실험과 분석이 필요할 것으로 보입니다.
Reference
[arxiv] The impact of intrinsic rewards on exploration in Reinforcement Learning
Published: (Updated: )
Author: Aya Kayal, Eduardo Pignatelli, Laura Toni
http://arxiv.org/abs/2501.11533v1