딥 강화학습으로 지연 시간 최소화: RIS-지원 OFDM 시스템의 혁신

본 논문은 RIS-지원 OFDM 시스템에서 평균 지연 시간을 최적화하기 위한 하이브리드 DRL 알고리즘을 제시합니다. 다중 에이전트 전략과 전이 학습 프레임워크를 활용하여 효율성과 정확성을 높였으며, 실험 결과 기존 방법 대비 우수한 성능을 보였습니다.

중국과학원 소속 연구진의 최신 논문이 재구성 가능 지능형 표면(RIS) 기반 직교 주파수 분할 다중화(OFDM) 시스템에서 평균 지연 시간을 최적화하는 획기적인 방법을 제시했습니다. Yu Ma를 비롯한 연구팀은 하향 링크에서의 공동 빔포밍 및 자원 할당 문제를 해결하기 위해 딥 강화 학습(DRL) 기반의 새로운 알고리즘을 개발했습니다. 각 사용자에 대한 데이터 패킷이 기지국에 확률적으로 도착하는 상황을 고려하여, 이 문제를 마르코프 의사 결정 과정(MDP) 으로 모델링하고, DRL을 통해 효율적인 해결책을 제시하고 있습니다.

연구팀은 혼합된 행동 공간과 차원의 저주 문제를 해결하기 위해 하이브리드 DRL 접근 방식을 제안합니다. RIS 위상 이동 설계에는 근사 정책 최적화(PPO)-Θ를, 부반송파 할당 결정에는 PPO-N을 사용하는 전략입니다. 여기에 더해, 부반송파 할당 지표를 더욱 효율적으로 최적화하기 위해 다중 에이전트 전략을 도입했습니다.

단순히 알고리즘의 효율성만 높인 것이 아닙니다. 연구팀은 평균 지연 시간과 밀접한 관련이 있는 요소 (버퍼의 대기 패킷 수, 현재 패킷 도착률)를 상태 공간에 포함시켜 네트워크 동역학을 더욱 정확하게 반영했습니다. 또한, 전이 학습 프레임워크를 도입하여 훈련 효율을 높이고 수렴 속도를 가속화했습니다.

실험 결과, 제안된 알고리즘은 기존 방법과 비교하여 평균 지연 시간을 상당히 줄이고, 자원 할당 효율을 높이며, 시스템의 강건성과 공정성을 향상시키는 것으로 나타났습니다. 이는 RIS-지원 OFDM 시스템의 성능을 크게 개선할 수 있는 잠재력을 보여주는 중요한 결과입니다. 향후 5G 및 6G 통신 시스템의 지연 시간 민감 서비스의 성능 향상에 크게 기여할 것으로 예상됩니다. 🎉