규칙 병목 강화 학습(RBRL): 언어 에이전트를 활용한 자원 할당의 혁신

심층 강화학습의 한계와 언어 에이전트의 장점을 결합한 RBRL 프레임워크는 의사결정과 설명을 동시에 최적화하여 자원 할당 문제 해결에 효율성과 투명성을 높였습니다. 실제 시나리오 평가와 설문조사 결과는 RBRL의 우수성을 입증합니다.

의료, 공공 정책, 자원 관리 등 다양한 분야에서 순차적 자원 할당 문제 해결에 있어 심층 강화 학습(Deep Reinforcement Learning, RL) 은 놀라운 효과를 보여주었습니다. 하지만 심층 RL 정책은 종종 투명성과 적응성이 부족하여 인간 의사결정자와의 협력에 어려움을 겪습니다.

반면, 대규모 언어 모델(LLM) 기반의 언어 에이전트는 인간이 이해할 수 있는 추론을 제공하지만, 효과적인 의사결정에는 어려움을 겪을 수 있습니다.

Mauricio Tec, Guojun Xiong, Haichuan Wang, Francesca Dominici, Milind Tambe 연구팀은 이러한 한계를 극복하기 위해 규칙 병목 강화 학습(Rule-Bottleneck Reinforcement Learning, RBRL) 이라는 새로운 프레임워크를 제안했습니다. RBRL은 의사결정과 설명을 동시에 최적화하는 혁신적인 접근 방식을 채택합니다.

RBRL은 각 단계에서 LLM을 사용하여 후보 규칙을 생성하고, 주의 기반 RL 정책을 사용하여 후보 규칙 중에서 선택합니다. 그리고 사고 과정(chain-of-thought reasoning)을 통해 설명과 함께 환경 행동을 결정합니다. RL 규칙 선택은 환경 보상과 LLM이 평가하는 설명 가능성 지표를 사용하여 최적화됩니다.

실제 시나리오 평가 결과, RBRL은 심층 RL과의 경쟁력 있는 성능을 보여주었으며, LLM 미세 조정에 비해 효율성이 향상되었습니다. 또한 설문조사를 통해 설명의 질적 향상을 확인했습니다.

RBRL은 단순한 의사결정 알고리즘을 넘어, 인간의 이해와 효율성을 모두 고려한 지능형 시스템으로 발전하는 중요한 단계를 제시합니다. 이는 복잡한 자원 할당 문제에 대한 새로운 해결책을 제시할 뿐만 아니라, 인간과 AI의 협력적인 의사결정 시스템 구축을 위한 중요한 이정표가 될 것으로 기대됩니다. 앞으로 RBRL의 발전과 다양한 분야로의 적용이 기대됩니다!