똑똑한 신호등: 하나의 인공지능으로 모든 교차로를 제어하는 비결

Zhou 박사 연구팀이 제안한 HAMH-PPO는 그래프 어텐션 유닛과 하이퍼-액션을 활용하여 단일 actor-critic 네트워크로 다양한 교차로에 대한 개인화된 교통 신호 제어 정책을 효율적으로 생성하는 혁신적인 방법입니다. 이는 교통 흐름 최적화 및 교통 효율 향상에 크게 기여할 것으로 기대됩니다.

최근 다중 에이전트 강화 학습(MARL)의 발전으로 적응형 교통 신호 제어(ATSC)가 놀라운 성과를 거두고 있습니다. 여러 교차로가 있는 교통 환경에서 MARL은 각 교차로를 하나의 에이전트로 취급하여 학습과 실시간 의사결정을 통해 교통 신호 제어 전략을 최적화합니다.

하지만 현실 세계의 교차로들은 관측 분포가 상이하다는 문제가 있습니다. 공유 매개변수 방식은 이러한 차이를 제대로 반영하지 못하고, 결과적으로 공유 정책 네트워크의 일반화 능력에 한계가 발생합니다. 네트워크 크기를 늘리는 것이 일반적인 해결책으로 여겨지지만, 단순히 네트워크 규모를 키운다고 해서 정책의 일반화 성능이 향상되는 것은 아닙니다. Zhou 박사 연구팀의 실험 결과가 이를 뒷받침합니다.

그래서 Zhou 박사 연구팀(Kailing Zhou, Chengwei Zhang, Furui Zhan, Wanting Liu, Yihong Li)은 개인화와 매개변수 공유 효율성을 동시에 고려하는 새로운 접근 방식을 제안합니다. 그것이 바로 Hyper-Action Multi-Head Proximal Policy Optimization (HAMH-PPO) 입니다. HAMH-PPO는 중앙 집중식 훈련과 분산 실행(CTDE) MARL 방법을 활용하여 비iid(독립 동일 분포가 아닌) 관측 분포를 가진 교차로에 대해 개인화된 정책을 제공하는 공유 PPO 정책 네트워크를 사용합니다.

HAMH-PPO의 중앙 집중식 평가자(critic)는 그래프 어텐션 유닛을 사용하여 모든 교차로의 그래프 표현을 계산하고, 각 교차로에 대해 여러 출력 헤드를 가진 일련의 가치 추정치를 출력합니다. 분산 실행 에이전트(actor)는 지역 관측 이력을 입력으로 받고, 행동 분포와 이른바 하이퍼-액션(hyper-action) 을 출력합니다. 하이퍼-액션은 중앙 집중식 평가자로부터 추정된 여러 가치를 조정하여 TSC 정책 업데이트를 추가적으로 안내합니다.

하이퍼-액션과 다중 헤드 가치의 조합을 통해 여러 에이전트가 단일 actor-critic을 공유하면서 개인화된 정책을 달성할 수 있습니다. 이는 각 교차로의 고유한 특성을 고려하면서 효율적인 제어 시스템을 구축하는 획기적인 방법입니다. 이 연구는 단순히 네트워크 크기를 키우는 대신, 지능적인 아키텍처 설계를 통해 더욱 효과적인 교통 신호 제어 시스템을 구축할 수 있음을 보여줍니다. 향후 교통 혼잡 완화 및 교통 효율 개선에 크게 기여할 것으로 기대됩니다.