딥러닝의 새 지평을 열다: 흐름 Q-학습(FQL)의 등장

서울대학교와 UC 버클리 공동 연구팀이 개발한 흐름 Q-학습(FQL)은 오프라인 강화학습의 성능을 획기적으로 향상시킨 알고리즘으로, 복잡한 행동 분포를 효과적으로 모델링하고 안정적인 학습 및 효율적인 테스트를 가능하게 합니다. 다양한 실험 결과를 통해 그 우수성을 입증하였으며, AI 기술 발전에 크게 기여할 것으로 예상됩니다.

최근, 서울대학교 박서홍 교수 연구팀과 UC 버클리의 Qiyang Li, Sergey Levine 교수 연구팀이 공동으로 개발한 흐름 Q-학습(Flow Q-Learning, FQL) 이라는 혁신적인 오프라인 강화학습(Reinforcement Learning, RL) 알고리즘이 학계의 주목을 받고 있습니다. FQL은 데이터 내 임의의 복잡한 행동 분포를 모델링하는 데 능숙한 표현력 있는 흐름 일치 정책(flow-matching policy)을 활용하는 간단하면서도 성능이 뛰어난 알고리즘입니다.

기존 강화학습에서 흐름 정책을 학습하는 것은 행동 생성 과정의 반복적인 특성으로 인해 어려움이 있었습니다. 하지만 FQL은 이러한 문제를 반복적인 흐름 정책을 직접적으로 최적화하는 대신, 표현력 있는 단일 단계 정책을 강화학습으로 학습하는 방식으로 해결했습니다. 이는 불안정한 재귀적 역전파를 완전히 피하고, 테스트 시간에 비용이 많이 드는 반복적인 행동 생성을 제거하면서도 표현력을 유지할 수 있다는 것을 의미합니다.

연구팀은 73개의 다양하고 어려운 상태 및 픽셀 기반 OGBench 및 D4RL 작업에서 FQL의 성능을 실험적으로 검증했습니다. 그 결과, FQL은 오프라인 RL 및 오프라인에서 온라인으로의 RL 모두에서 강력한 성능을 보여주었습니다. 이 연구는 프로젝트 페이지에서 자세히 확인할 수 있습니다.

FQL은 단순히 알고리즘의 개선을 넘어, 오프라인 강화학습의 실용성을 크게 높이는 혁신적인 성과로 평가받고 있습니다. 데이터 효율성과 안정성을 동시에 확보함으로써, 자율주행, 로보틱스 등 다양한 분야에서의 강화학습 적용 가능성을 넓힐 것으로 기대됩니다. 향후 FQL을 기반으로 더욱 발전된 알고리즘들이 등장하여 AI 기술의 발전을 가속화할 것으로 예상됩니다.

** 주요 연구진:** 박서홍 (서울대학교), Qiyang Li (UC 버클리), Sergey Levine (UC 버클리)