基于强化学习的智能超表面辅助无人机通信系统物理层安全算法

该文从物理层安全的角度出发研究了智能超表面(RIS)辅助的无人机(UAV) 3D轨迹优化。具体地说,当RIS辅助的UAV向地面用户进行无线传输时,通过联合优化RIS相移和UAV的3D轨迹来最大化物理层安全速率。然而,由于目标函数是非凸的,传统的优化技术很难直接求解。深度强化学习能够处理无线通信中动态复杂的优化问题,该文基于强化学习双深度Q网络(DDQN)设计一种联合优化RIS相移和无人机3D轨迹算法,最大化可实现的平均安全速率。仿真结果表明,所设计的RIS辅助UAV通信优化算法可以获得比固定飞行高度的连续凸逼近算法(SCA)、随机相移下的RIS算法和没有RIS的算法有更高的安全速率。     

基于深度强化学习的多小区NOMA能效优化功率分配算法

在下行多小区非正交多址接入系统中,功率分配是决定系统性能的关键因素之一。由于多小区系统间的功率优化问题的非凸性,获得最优功率分配在求解上非常困难。为此提出了一种基于深度强化学习最大化能效的功率分配算法,将深度Q网络作为动作?状态值函数,将系统能效直接设置为奖励函数,优化信道功率分配,使系统能量效率最大化。仿真结果表明,该算法比加权最小均方误差、分式规划、最大功率和随机功率算法等能够获得更高的系统能量效率,在算法计算复杂度、收敛速度和稳定性方面也有较好表现。