신뢰성 보장 기반 시퀀스 모델링을 활용한 모델 기반 오프라인 강화학습: RT 알고리즘의 등장

He Shenghong 연구팀이 개발한 RT 알고리즘은 누적 신뢰도 개념을 도입하여 기존 MORL의 신뢰성 문제를 해결하고, 높은 보상을 얻는 궤적 생성을 가능하게 함으로써 MORL 분야에 획기적인 발전을 가져왔습니다. 이론적 및 실험적 결과를 통해 그 우수성이 입증되었습니다.

오프라인 강화학습(Offline Reinforcement Learning) 분야에서 획기적인 발전이 있었습니다! He Shenghong 연구원이 이끄는 연구팀이 모델 기반 오프라인 강화학습(MORL) 의 새로운 지평을 열 RT (Reliability-guaranteed Transformer) 알고리즘을 발표했습니다.

기존 MORL은 기존 데이터셋을 활용하여 동적 모델을 학습하고 정책을 개선하는데 집중했습니다. 하지만, 현재 정보(t 시점의 상태와 행동)만을 고려하여 궤적을 생성하기 때문에, 과거 정보의 영향을 간과하여 신뢰성이 떨어지는 궤적을 생성하는 문제점을 가지고 있었습니다. 이는 실제 데이터 분포와 일치하지 않는 결과를 초래할 수 있습니다.

RT 알고리즘은 이러한 문제점을 해결하기 위해 누적 신뢰도(cumulative reliability) 라는 혁신적인 개념을 도입했습니다. 생성된 궤적이 실제 데이터 분포와 얼마나 멀리 떨어져 있는지(가중 변분 거리)를 계산하여 신뢰할 수 없는 궤적을 효과적으로 제거합니다. 뿐만 아니라, 높은 보상을 가진 후보 행동을 샘플링하여 기존 오프라인 데이터에서 높은 수익을 얻는 궤적을 효율적으로 생성합니다.

연구팀은 RT 알고리즘의 정책 학습 성능을 이론적으로 증명하고, 여러 벤치마크 작업에서 최첨단 모델 기반 방법에 비해 RT 알고리즘의 우수성을 실험적으로 입증했습니다. 이는 단순한 알고리즘 개선을 넘어, MORL 분야의 패러다임을 바꿀 잠재력을 지닌 성과라고 할 수 있습니다.

이 연구는 MORL의 신뢰성 문제를 해결하는 동시에 효율성까지 높였다는 점에서 큰 의미를 가집니다. 향후 다양한 응용 분야에서 RT 알고리즘의 활용 가능성을 기대해 볼 수 있습니다. 특히, 자율주행, 로봇 제어 등 안전성이 중요한 분야에서 혁신적인 발전을 이끌어낼 것으로 예상됩니다.