안전하고 신뢰할 수 있는 오프라인 강화학습의 혁신: SOReL과 TOReL

본 기사는 오프라인 강화학습의 표본 효율 문제를 해결하기 위해 개발된 SOReL과 TOReL 알고리즘을 소개합니다. SOReL은 베이지안 접근 방식을 통해 안전한 오프라인 학습을, TOReL은 효율적인 하이퍼파라미터 조정을 가능하게 합니다. 두 알고리즘은 실제 세계 문제에 강화학습을 적용하는 데 중요한 진전을 가져올 것으로 기대됩니다.

오프라인 강화학습의 난관을 극복하다: SOReL과 TOReL의 등장

강화학습(Reinforcement Learning, RL)은 인공지능 분야에서 괄목할 만한 발전을 이루었지만, 실제 세계 적용에는 여전히 큰 장벽이 존재합니다. 바로 표본 효율(Sample Efficiency) 문제입니다. 시뮬레이터를 이용한 풍부한 데이터 환경과 달리, 현실 세계에서는 데이터 획득에 제약이 따르기 때문입니다. 비용과 위험성을 고려하면 무한한 환경 상호작용을 기대하기 어렵죠.

이러한 문제를 해결하기 위해 등장한 것이 바로 오프라인 강화학습(Offline RL) 입니다. 기존에 수집된 데이터를 활용하여 최적의 정책을 학습하는 방식이죠. 하지만 기존의 오프라인 RL 방법들은 하이퍼파라미터 조정에 여전히 많은 온라인 상호작용에 의존하고, 초기 온라인 성능에 대한 신뢰할 만한 보장이 없다는 한계를 가지고 있었습니다.

SOReL: 안전한 오프라인 강화학습을 위한 혁신

Mattie Fellows 외 6명의 연구진은 이러한 문제점을 해결하기 위해 두 가지 알고리즘, SOReL과 TOReL을 제안했습니다. 먼저 SOReL(Safe Offline Reinforcement Learning)은 베이지안 접근 방식을 활용하여 오프라인 데이터만으로 환경 역학에 대한 사후 확률 분포를 추정합니다. 이를 통해 온라인 성능을 사후 예측 불확실성을 이용하여 신뢰성 있게 예측할 수 있습니다. 가장 중요한 점은 모든 하이퍼파라미터가 오프라인으로 조정된다는 것입니다.

TOReL: 오프라인 하이퍼파라미터 조정의 새로운 지평

TOReL(Tuning for Offline Reinforcement Learning)은 정보율 기반 오프라인 하이퍼파라미터 조정 방법을 일반적인 오프라인 RL에 확장한 알고리즘입니다. 결과적으로, TOReL은 오프라인 데이터만을 사용하여 온라인 하이퍼파라미터 조정 방법과 경쟁력 있는 성능을 달성합니다.

실험 결과 및 결론

실험 결과 SOReL은 베이지안 설정에서 후회(regret)를 정확하게 추정하는 능력을 보였고, TOReL은 오프라인 하이퍼파라미터 조정을 통해 최고의 온라인 하이퍼파라미터 조정 방법과 견줄 만한 성능을 달성했습니다. SOReL과 TOReL은 안전하고 신뢰할 수 있는 오프라인 RL을 향한 중요한 발걸음이며, 실제 세계 문제에 RL을 적용하는 가능성을 크게 높였습니다. Github (https://github.com/CWibault/sorel_torel) 에서 코드를 확인할 수 있습니다.

이 연구는 오프라인 강화학습의 한계를 극복하고, 실제 응용 분야에서 RL의 활용 가능성을 넓히는 데 중요한 기여를 할 것으로 기대됩니다. 앞으로 더욱 발전된 오프라인 RL 기술을 통해 더욱 안전하고 효율적인 AI 시스템의 구축이 가능해질 것입니다.