| 摘 要： | 无人机(unmanned aerial vehicle, UAV)搭载边缘服务器构成移动边缘服务器,可以在一些基站难以部署的场景下为用户设备(user equipment, UE)提供计算服务,借助深度强化学习对智能体进行训练,能够在连续复杂的状态空间中制定合理的卸载决策,将用户产生的计算密集型任务部分卸载至边缘服务器处执行,提高系统的续航和响应时间.但目前的深度强化学习算法所使用的全连接神经网络无法较好地处理UAV辅助移动边缘计算(mobile edge computing, MEC)场景下的时间序列数据,算法的智能体训练效率低,决策性能差.针对上述问题,本文以最小化UAV辅助MEC系统总时延为目标,提出了一种基于长短期记忆网络的双延迟深度确定性策略梯度算法(twin delayed deep deterministic policy gradient algorithm based on long short term memory, LSTM-TD3).利用LSTM改进TD3算法的Actor-Critic网络结构,将网络划分成3部分:包含LSTM的记忆提取单元,当前特征提取单元,以及感知整合单元;并在改进了经验池中的样本数据,定义了历史数据,使记忆提取单元能够得到更好的训练效果.仿真结果表明,与AC算法、DQN算法和DDPG算法相比, LSTM-TD3算法在以系统最小总时延为目标对卸载策略进行优化时具有最好的性能.
|
