협력적 심층 강화 학습 기반 지역 교통 신호 제어의 혁신: 마이크로-매크로 교통 상태 통신 전략

Gu Hankang 등 연구진은 MADRL 기반 RTSC에서 마이크로-매크로 교통 상태 간 상관관계를 포착하는 혁신적인 통신 전략을 제시했습니다. GA2-Naive와 GA2-Aug 모듈을 통해 실제 및 합성 시나리오에서 성능 향상을 입증했으며, 대규모 네트워크에서도 견고성을 보였습니다.

첨단 교통 신호 제어의 새로운 지평을 열다: 협력적 심층 강화 학습의 활약

적응형 교통 신호 제어(ATSC) 는 지능형 교통 시스템 분야에서 뜨거운 감자입니다. 특히 다중 에이전트 심층 강화 학습(MADRL) 을 이용한 지역 교통 신호 제어(RTSC) 는 확장성과 최적화 사이의 균형을 훌륭하게 달성하며 주목받고 있습니다. 기존의 대부분 RTSC 접근 방식은 교통 네트워크를 여러 개의 독립적인 지역으로 분할한 후 각 지역에 중앙 집중식 강화 학습 기법을 적용했습니다.

하지만 RTSC 에이전트 간의 협력은 여전히 해결해야 할 과제였습니다. Gu Hankang을 비롯한 연구진은 이 문제에 도전장을 내밀었습니다. 그들은 RTSC 에이전트 간의 통신 전략을 제시하여 차선 간 마이크로 교통 상태와 교차로 간 매크로 교통 상태의 상관 관계를 포착하는 데 성공했습니다.

마이크로-매크로 교통 상태의 조화: 혁신적인 통신 모듈

연구진은 우선 저장 및 전달 큐 시스템을 통해 RTSC 프로세스의 진화 방정식이 마르코프적임을 입증했습니다. 이를 바탕으로 두 가지 GAT-Aggregated (GA2) 통신 모듈 — GA2-Naive와 GA2-Aug —을 제안했습니다. GA2-Naive는 각 교차로의 이동만 고려하는 반면, GA2-Aug는 차량의 차선 변경 행동까지 고려합니다. 이렇게 개발된 두 가지 통신 모듈은 RegionLight와 Regional-DRL이라는 두 가지 기존 RTSC 프레임워크에 통합되었습니다.

놀라운 성과: 실제 및 합성 시나리오 모두에서 효과 입증

실험 결과는 놀라웠습니다. GA2-Naive와 GA2-Aug 모두 실제 및 합성 시나리오 모두에서 기존 RTSC 프레임워크의 성능을 효과적으로 향상시켰습니다. 또한 하이퍼파라미터 테스트를 통해 대규모 교통 네트워크에서도 이 통신 모듈의 견고성과 잠재력이 확인되었습니다. 이 연구는 첨단 교통 제어 시스템 개발에 중요한 이정표를 세웠을 뿐만 아니라, 복잡한 시스템에서 다중 에이전트의 효과적인 협력을 위한 새로운 가능성을 제시합니다. 앞으로 더욱 발전된 연구를 통해 더욱 효율적이고 지능적인 교통 시스템 구축에 기여할 것으로 기대됩니다.