잡음이 많은 강화학습에서 마르코프 위반 정량화: 인과적 발견 접근법

Naveen Mysore의 연구는 잡음이 많은 강화학습 환경에서 마르코프 가정 위반을 정량적으로 측정하는 새로운 방법론을 제시합니다. PCMCI와 MVS를 활용하여 마르코프 위반을 감지하고, 고전 제어 작업을 통해 실험적으로 검증하여, 효과적인 단일 단계 학습을 위해 가장 중요한 인과적 차원을 보호하는 중요성을 강조합니다.

강화학습(Reinforcement Learning, RL)은 환경의 상태를 완벽하게 반영하는 관측값을 가정하는 경우가 많습니다. 하지만 현실 세계에서는 부분 관측 가능성이나 센서/액추에이터 노이즈로 인해 이러한 가정이 깨지는 경우가 빈번합니다. Naveen Mysore의 최근 연구는 이러한 문제에 대한 혁신적인 해결책을 제시합니다. 바로 마르코프 위반을 정량화하는 새로운 방법론입니다.

연구진은 부분 상관 기반 인과적 발견 프로세스(PCMCI)와 새로운 마르코프 위반 점수(MVS)를 결합하여 마르코프 가정 위반을 체계적으로 감지하는 시스템을 개발했습니다. MVS는 노이즈나 불완전한 상태 정보로 인해 마르코프 특성이 깨질 때 발생하는 다단계 의존성을 측정합니다.

연구에서는 CartPole, Pendulum, Acrobot과 같은 고전적인 제어 작업을 통해 실험을 진행했습니다. 흥미롭게도, 상당한 관측 노이즈에도 불구하고 특정 영역(예: Acrobot)에서는 강한 다지연 의존성이 유발되지 않는 경우가 있었습니다. 반면, 차원 축소 실험에서는 특정 상태 변수(예: CartPole 및 Pendulum의 각속도)를 제거하면 수익률이 크게 감소하고 MVS가 증가하는 반면, 다른 차원을 제거하는 것은 최소한의 영향만 미치는 것을 확인했습니다.

이러한 결과는 효과적인 단일 단계 학습을 유지하기 위해 가장 인과적으로 중요한 차원을 찾아 보호하는 것이 얼마나 중요한지 강조합니다. 부분 상관 검정과 RL 성능 결과를 통합함으로써, 제안된 접근 방식은 마르코프 가정이 언제 어디서 위반되는지 정확하게 식별합니다. 이 프레임워크는 강력한 정책 개발, 표현 학습 개선, 그리고 실제 RL 시나리오에서 부분 관측 가능성 문제 해결을 위한 원칙적인 메커니즘을 제공합니다. 재현성을 위해 모든 코드와 실험 로그에 접근할 수 있습니다. (https://github.com/ucsb/markovianess)

이 연구는 잡음이 많은 환경에서 RL의 신뢰성과 성능을 향상시키는 데 중요한 발걸음이 될 것으로 기대됩니다. 향후 연구에서는 다양한 RL 알고리즘과 복잡한 환경에 대한 적용 가능성을 더욱 탐구할 필요가 있습니다.