답집합 추론 기반 온라인 유도 학습: 강화학습의 새로운 지평
본 논문은 온라인 유도 학습과 답집합 추론을 강화 학습에 결합하여 에이전트 학습 성능과 설명 가능성을 향상시키는 새로운 방법을 제시합니다. Pac-Man 시뮬레이션을 통해 검증된 이 방법은 학습 초기부터 괄목할 만한 성능 향상을 보이며, 계산 시간 증가 없이 빠르게 수렴하는 특징을 보였습니다.

Celeste Veronese, Daniele Meli, Alessandro Farinelli 세 연구원이 발표한 최근 논문은 강화 학습의 탐색(exploration) 과정을 획기적으로 개선할 새로운 방법을 제시합니다. 이들의 핵심 아이디어는 온라인 유도 학습과 답집합 추론을 강화 학습 알고리즘과 결합하는 것입니다. 이는 단순히 성능 향상을 넘어, 에이전트의 의사결정 과정을 설명 가능하게 만드는 혁신적인 접근입니다.
논리 규칙을 통한 에이전트 정책 근사화
기존 강화 학습은 잡음이 많은 데이터로부터 학습해야 하는 어려움이 있습니다. 본 연구에서는 이 문제를 해결하기 위해 유도 논리 프로그래밍 기법을 활용합니다. 불완전하거나 잡음이 섞인 데이터로부터 답집합 프로그램(Answer Set Program) 을 유도 학습하여 에이전트의 정책을 나타내는 논리 규칙 집합을 생성하는 것입니다. 이 규칙들은 에이전트의 행동을 설명하는 일종의 '지침서' 역할을 합니다.
효율적인 탐색 전략: 답집합 추론의 활용
학습된 논리 규칙들은 단순히 에이전트의 행동을 설명하는 것에 그치지 않습니다. 연구팀은 답집합 추론을 통해 이 규칙들을 활용하여 다음 학습 단계에서의 탐색 전략을 효율적으로 안내합니다. 이는 마치 에이전트에게 미리 '지도'를 제공하는 것과 같습니다. 기존의 비효율적인 보상 조정(reward shaping) 없이도 최적의 정책을 찾아갈 수 있도록 '소프트 바이어스(soft bias)'를 통해 학습을 유도합니다.
Pac-Man 시나리오에서의 검증: 놀라운 성능 향상
본 연구의 효과는 Pac-Man 게임 시뮬레이션을 통해 검증되었습니다. 복잡도가 다른 두 개의 지도에서 Q-학습 알고리즘에 제안된 방법을 통합한 결과, 에이전트의 누적 보상(discounted return)이 극적으로 향상되었습니다. 특히 학습 초기 단계부터 그 효과가 두드러졌습니다. 더욱 놀라운 점은, 유도 학습 과정이 Q-학습의 계산 시간에 영향을 미치지 않았다는 것입니다. 학습된 규칙들은 빠르게 수렴하여 에이전트의 정책을 효과적으로 설명했습니다.
결론: 설명 가능하고 효율적인 강화 학습의 미래
이 연구는 온라인 유도 학습과 답집합 추론을 결합하여 강화 학습의 성능과 설명 가능성을 동시에 향상시킬 수 있음을 보여줍니다. 이는 단순한 기술적 진보를 넘어, 보다 투명하고 이해 가능한 인공지능 시스템 개발의 중요한 발걸음입니다. 향후 다양한 분야에서 이 접근법의 응용이 기대됩니다. 특히 복잡하고 불확실한 환경에서 에이전트의 학습을 효율적으로 개선하고, 그 과정을 명확하게 설명할 수 있다는 점에서 큰 의의가 있습니다.
Reference
[arxiv] Online inductive learning from answer sets for efficient reinforcement learning exploration
Published: (Updated: )
Author: Celeste Veronese, Daniele Meli, Alessandro Farinelli
http://arxiv.org/abs/2501.07445v1