6G 시대 초저지연 통신의 혁신: 하이브리드 강화학습 기반 자원 스케줄링 프레임워크

본 기사는 Zhang, Liu, Wang 세 연구원이 개발한 하이브리드 강화학습 기반 자원 스케줄링 프레임워크(HRL-RSHLC)를 소개합니다. HRL-RSHLC는 6G 시대 XR 응용 분야의 초저지연 통신 문제 해결을 위한 혁신적인 접근 방식으로, 기존 알고리즘 대비 우수한 성능과 빠른 수렴 속도를 보입니다.

다가오는 6G 시대, 확장 현실(XR)은 초고신뢰 저지연 통신(URLLC)의 핵심 응용 분야로 떠오르고 있습니다. 하지만 XR의 준주기적 트래픽 외에도, 실제 저지연 통신 환경에서는 큰 프레임 크기와 임의 도착 시간을 갖는 돌발 트래픽이 네트워크 혼잡 또는 마비의 주요 원인이 되고 있으며, 이에 대한 효율적인 자원 스케줄링 알고리즘은 여전히 부족한 실정입니다.

Zhang, Liu, Wang 세 연구원은 이러한 문제를 해결하기 위해 하드 지연 제약 조건 하에서 자원 스케줄링을 위한 새로운 하이브리드 강화학습 프레임워크(HRL-RSHLC) 를 제안했습니다. 이 프레임워크는 기존 유사 환경에서 학습된 정책과 전문가 지식 기반(DK) 정책을 재사용하여 성능을 향상시킵니다. 정책 재사용 확률과 새로운 정책의 결합 최적화는 마르코프 의사결정 문제(MDP)로 공식화되어 사용자의 하드 지연 제약 효과 처리량(HLC-ET)을 극대화합니다.

연구팀은 HRL-RSHLC가 임의의 초기점에서 KKT 점으로 수렴함을 증명했습니다. 시뮬레이션 결과는 HRL-RSHLC가 기존 알고리즘에 비해 더 빠른 수렴 속도와 우수한 성능을 달성함을 보여줍니다.

이는 단순한 알고리즘 개선을 넘어, 6G 시대의 초저지연 통신 환경에서 발생하는 복잡한 트래픽 문제에 대한 혁신적인 해결책을 제시한 것입니다. 특히 돌발 트래픽으로 인한 네트워크 붕괴 위험을 줄이고, XR과 같은 첨단 응용 분야의 안정적인 운영을 가능하게 할 것으로 기대됩니다. 앞으로 이 연구가 더욱 발전하여 실제 네트워크 환경에 적용될 수 있기를 기대하며, 6G 시대의 초저지연 통신 기술 발전에 중요한 이정표가 될 것으로 예상됩니다.

핵심: HRL-RSHLC는 기존 정책 재사용과 전문가 지식을 결합한 하이브리드 강화학습 접근 방식을 통해, 하드 지연 제약 조건 하에서도 우수한 자원 스케줄링 성능을 달성하는 획기적인 프레임워크입니다. 이는 6G 시대의 초저지연 통신 기술 발전에 크게 기여할 것으로 예상됩니다.