에너지 효율적인 불규칙 RIS 지원 UAV 통신 최적화: 딥 강화 학습 접근 방식

본 논문은 RIS와 딥 강화 학습을 활용하여 에너지 효율을 극대화하는 UAV 지원 통신 시스템을 제안합니다. HERA 전략과 EE-DDPG 알고리즘을 통해 단일 및 다중 사용자 시나리오에서 각각 최대 81.5%와 73.2%의 EH 효율 향상을 달성하였습니다.

혁신적인 에너지 효율 개선: RIS 기반 UAV 통신 최적화

서론: 최근 무인 항공기(UAV)를 이용한 통신 시스템이 주목받고 있습니다. 하지만 UAV의 제한된 배터리 수명은 통신 지속 시간에 큰 영향을 미칩니다. 이러한 문제를 해결하기 위해 본 논문에서는 재구성 가능 지능형 표면(RIS)을 활용한 에너지 효율적인 UAV 지원 통신 시스템을 제안합니다. Mahmoud M. Salim, Khaled M. Rabie, Ali H. Muqaibel 세 명의 연구자는 기지국(BS)과 여러 단일 안테나 사용자 간의 UAV 지원 RIS를 통한 다중 입력 단일 출력(MISO) 시스템을 연구하였습니다. 사용자 이동성에 동적으로 적응하여 원활한 연결성을 유지하는 것이 핵심입니다.

HERA 전략: 에너지 효율 극대화를 위한 핵심 전략

연구진은 UAV-RIS 작동 시간을 연장하기 위해 하이브리드 에너지 수확 자원 할당(HERA) 전략을 제시했습니다. 이는 불규칙적인 RIS ON/OFF 기능을 활용하고 BS-RIS 및 RIS-사용자 채널에 적응하는 전략입니다. HERA는 시간 스위칭(TS) 접근 방식 기반의 비선형 RF 에너지 수확(EH)과 재생 에너지를 보완적인 에너지원으로 통합하여 자원을 동적으로 할당합니다. 채널 상태 정보 및 하드웨어 장애를 고려하여 서비스 품질, 전력 및 에너지 제약 조건을 만족하는 동시에 EH 효율을 극대화하는 비볼록 혼합 정수 비선형 계획 문제가 수립되었습니다. 최적화는 BS 전송 전력, RIS 위상 편이, TS 계수 및 RIS 요소 선택을 결정 변수로 고려합니다.

EE-DDPG 알고리즘: 최적화 문제 해결의 핵심

이 문제를 해결하기 위해 연구진은 에너지 효율적인 심층 결정적 정책 경사(EE-DDPG) 알고리즘을 도입했습니다. 이 딥 강화 학습(DRL) 기반 접근 방식은 액션 클리핑과 소프트맥스 가중 Q-값 추정을 통합하여 추정 오차를 완화합니다. 시뮬레이션 결과는 제안된 HERA 방법이 EH 효율을 크게 향상시켜 단일 사용자 시나리오에서는 최대 81.5%, 다중 사용자 시나리오에서는 최대 73.2%에 도달함을 보여줍니다. 이는 UAV 작동 시간 연장에 크게 기여합니다. 또한, 제안된 EE-DDPG 모델은 기존 DRL 알고리즘보다 우수한 성능을 보이며 실용적인 계산 복잡도를 유지합니다.

결론: 이 연구는 RIS와 딥 강화 학습을 결합하여 UAV 기반 통신 시스템의 에너지 효율을 획기적으로 개선하는 가능성을 제시합니다. 이는 향후 UAV 통신 시스템의 지속 가능성과 효율성 향상에 중요한 기여를 할 것으로 예상됩니다. 하지만 실제 환경 적용을 위한 추가적인 연구가 필요하며, 특히 다양한 채널 환경 및 하드웨어 제약 조건에 대한 실험 및 분석이 중요합니다. 앞으로 이 분야의 지속적인 연구를 통해 더욱 효율적이고 안정적인 UAV 통신 시스템이 구축될 것으로 기대됩니다.