基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

考虑信息年龄的无人机辅助智能交通系统计算卸载优化

该文考虑无人机(UAV)交通监测与移动边缘计算(MEC)技术结合的智能交通系统。为了保障系统中数据时效性并且降低系统能耗,提出计及信息年龄(AoI)的UAV计算卸载优化方法。首先,建立UAV辅助的MEC系统模型,允许MEC服务器缓存常用的应用程序并为UAV提供计算卸载,以支持UAV执行交通监测任务。通过联合优化UAV任务卸载决策、UAV上下行通信带宽分配以及被卸载任务的计算资源分配,最小化所有UAV与MEC服务器的总能耗,同时满足AoI与资源容量等约束条件。其次,系统能耗最小化问题是混合整数非凸优化问题,因此采用离散化和线性化手段,快速获得问题的近似最优解,并设计离散点生成算法来调节近似误差。最后,仿真结果表明,即使对于大型的非凸问题,所提方法也能够快速得到近似最优解,并且可以在不同的任务场景中满足AoI等约束条件,最大限度降低系统能耗。仿真结果验证了所提方法的有效性。     

基于DRL的无人机辅助边缘计算服务质量优化

针对无人机（Unmanned Aerial Vehicle, UAV）搭载移动边缘服务器为地面用户进行服务时的服务质量（Quality of Service, QoS）问题,提出了一种基于深度强化学习的优化方案,旨在优化UAV飞行轨迹和卸载方案以最大化UAV为用户服务时的QoS。首先,定义了任务延迟来表征任务新鲜度,在任务延迟的基础上提出了一种新的QoS评价指标;其次,将最大化QoS问题建模为一个无转移概率的马尔可夫决策过程,并定义了该过程的状态空间、动作空间和奖励函数;最后,UAV通过所提出的算法进行训练,优化任务卸载方案并寻找最优飞行轨迹为地面用户进行服务以提高QoS。仿真结果表明所提算法较于其他算法能有效提高UAV为地面用户服务过程中的QoS且提高任务新鲜度。      

基于深度强化学习的无人机间通信链路智能决策

由于无人机组网灵活、快速、低成本的特性,空中基站被视为在未来无线通信中有前景的技术。无人机集群可以通过相互协调和合作,完成的复杂任务,具有重大的研究和实用价值,而无人机间的高效通信是当下面临的重大挑战。为了在满足无人机间通信速率的前提下,尽可能节省发射功率,本文提出基于深度强化学习的集群方案和功率控制的智能决策算法。首先,本文设计了三种无人机集群方案,以对地面用户提供无缝的无线覆盖;然后,本文提出了基于深度Q网络（Deep Q-network）算法的集群方案和功率控制决策算法,用深度神经网络输出不同条件下联合决策的无人机集群方案和发射功率,并研究了重要性采样技术,提高训练效率。仿真结果表明,本文提出的深度强化学习算法能够正确决策无人机集群方案和发射功率,与不带强化学习的深度学习（Deep Learning Without Reinforcement Learning, DL-WO-RL）算法相比,用更低的发射功率满足无人机之间的通信速率要求,并且重要性采样技术能够缩短DQN算法的收敛时间。      

面向星地协同网络的联邦边缘学习方法研究

目前地面蜂窝网络无法实现全球广域覆盖,同时抗毁性不高。低轨卫星网络的加入,弥补了地面蜂窝网络的不足。二者协同成为星地协同网络后可以打破两种网络之间互相独立的现状并结合它们的优点,是未来的发展趋势。在对星地协同网络中海量设备产生的大量数据进行分析处理时,易出现隐私信息泄露和数据孤岛问题。为解决上述问题,提出一种包含分层聚合和用户关联策略的联邦边缘学习算法。该算法通过分层聚合来适配星地协同网络,并通过用户关联策略实现时延和模型精度的联合优化。仿真表明,所提出的算法可以使协同网络中进行联邦边缘学习的全过程时延较低,同时可以得到较高的模型测试精度。     

协同边缘网络中智能计算卸载与资源优化算法

针对具有依赖关系的计算密集型应用任务面临的卸载决策难题,提出了一种基于优先级的深度优先搜索调度策略。考虑到用户能量受限和移动性,构建了一种联合用户下行能量捕获和上行计算任务卸载的网络模型,并在此基础上建立了端到端优化目标函数。结合任务优先级及时延约束,利用深度强化学习自学习的优势,将任务卸载决策问题建模为马尔科夫模型,并设计了基于任务相关性的Dueling Double DQN(D3QN)算法对问题进行求解。仿真数据表明,所提算法较其他算法能够满足更多用户的时延要求,并能减少9%～10%的任务执行时延。     

基于深度强化学习的多用户计算卸载优化模型和算法

在移动边缘计算(MEC)密集部署场景中,边缘服务器负载的不确定性容易造成边缘服务器过载,从而导致计算卸载过程中时延和能耗显著增加。针对该问题,该文提出一种多用户计算卸载优化模型和基于深度确定性策略梯度(DDPG)的计算卸载算法。首先,考虑时延和能耗的均衡优化建立效用函数,以最大化系统效用作为优化目标,将计算卸载问题转化为混合整数非线性规划问题。然后,针对该问题状态空间大、动作空间中离散和连续型变量共存,对DDPG深度强化学习算法进行离散化改进,基于此提出一种多用户计算卸载优化方法。最后,使用该方法求解非线性规划问题。仿真实验结果表明,与已有算法相比,所提方法能有效降低边缘服务器过载概率,并具有很好的稳定性。     

移动边缘计算中基于联邦学习的视频请求预测和协作缓存策略

随着互联网社交平台的崛起和移动智能终端设备的普及,自媒体短视频、直播等视频业务蓬勃发展,人们对高质量视频服务的需求也急剧上升。与此同时,连接到核心网络的大量智能设备增加了回程链路的负载,传统的云计算难以满足用户对视频服务的低延迟要求。移动边缘计算(MEC)通过在网络边缘部署具有计算和存储能力的边缘节点,通过在更靠近用户的边缘侧提高计算和存储服务,降低了数据传输时延进而缓解了网络阻塞。因此,基于MEC架构,该文充分利用网络边缘资源,提出了基于联邦学习的视频请求预测和视频协作缓存策略。通过利用多个边缘节点对提出的深度请求预测模型(DRPN)视频请求预测模型进行联邦训练,预测视频未来的请求情况,然后量化缓存内容所带来的时延收益并协作地以最大化该时延收益为目的进行缓存决策。该文分析了真实数据集MovieLens,模拟了视频请求缓存场景并进行实验。仿真结果表明,相比于其他策略,所提策略不仅能有效降低用户等待时延,在有限的缓存空间中提高内容多样性,从而提高缓存命中率,降低缓存成本,还能降低整个系统的通信成本。     

移动边缘计算辅助智能驾驶中基于高效联邦学习的碰撞预警算法

智能驾驶中的碰撞避免任务存在对时延要求极高和隐私保护等挑战。首先,该文提出一种基于自适应调整参数的半异步联邦学习(SFLAAP)的门控循环单元联合支持向量机(GRU_SVM)碰撞多级预警算法,SFLAAP可根据训练和资源情况动态调整两个训练参数：本地训练次数和参与聚合的局部模型数量。然后,为解决资源受限的移动边缘计算(MEC)下碰撞预警模型协作训练的效率问题,根据上述参数与SFLAAP训练时延的关系,建立训练总时延最小化模型,并将其转化为马尔可夫决策过程(MDP)。最后,在所建立的MDP中采用异步优势演员-评论家(A3C)学习求解,自适应地确定最优训练参数,从而减少碰撞预警模型的训练完成时间。仿真结果表明,所提算法有效地降低训练总时延并保证预测精度。     

基于强化学习的智能超表面辅助无人机通信系统物理层安全算法

该文从物理层安全的角度出发研究了智能超表面(RIS)辅助的无人机(UAV) 3D轨迹优化。具体地说,当RIS辅助的UAV向地面用户进行无线传输时,通过联合优化RIS相移和UAV的3D轨迹来最大化物理层安全速率。然而,由于目标函数是非凸的,传统的优化技术很难直接求解。深度强化学习能够处理无线通信中动态复杂的优化问题,该文基于强化学习双深度Q网络(DDQN)设计一种联合优化RIS相移和无人机3D轨迹算法,最大化可实现的平均安全速率。仿真结果表明,所设计的RIS辅助UAV通信优化算法可以获得比固定飞行高度的连续凸逼近算法(SCA)、随机相移下的RIS算法和没有RIS的算法有更高的安全速率。     

加权能耗最小化的无人机辅助移动边缘计算资源分配策略

针对无人机(UAV)辅助的移动边缘计算(MEC)系统,考虑到无人机能耗与地面设备能耗不在一个数量级,该文提出通过给地面设备能耗增加一个权重因子以平衡无人机能耗与地面设备能耗。同时在满足地面设备的任务需求下,通过联合优化无人机轨迹、系统资源分配以最小化无人机和地面设备的加权能耗。该问题高度非凸,为此提出一个基于交替优化算法的两阶段资源分配策略解决该非凸问题。第1阶段在给定地面设备的卸载功率下,利用连续凸逼近(SCA)方法求解无人机轨迹规划、CPU频率资源分配及卸载时间分配;第2阶段求解地面设备的卸载功率分配。通过两阶段的交替和迭代优化找到原问题的次优解。仿真结果验证了所提算法在降低系统能耗方面的有效性。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

无人机辅助反向散射通信计算任务卸载与资源分配

针对边缘计算网络中用户能量短缺问题,该文提出一种无人机(UAV)辅助的反向散射通信网络计算任务卸载和资源分配方案。首先,通过联合考虑飞行轨迹、用户的计算频率、任务卸载比例、无人机及用户的发射功率、反向散射时间分配以及主动通信时间分配,构建最小化无人机总能耗优化问题。其次,利用交替优化算法,将原非凸问题分解为两个子问题,并通过连续凸逼近方法将原问题转化为凸问题进行求解。仿真结果表明,所提算法使得无人机能耗显著减少,且具有良好的收敛性。     

基于深度强化学习的无人机可信地理位置路由协议

针对无人机(UAV)通信过程中存在的高移动性和节点异常问题,该文提出一种基于深度强化学习的无人机可信地理位置路由协议(DTGR)。引入可信第三方提供节点的信任度,使用理论与真实的时延偏差和丢包率作为信任度的评估因子,将路由选择建模为马尔可夫决策过程(MDP),基于节点信任度、地理位置和邻居拓扑信息构建状态空间,然后通过深度Q网络(DQN)输出路由决策。在奖励函数中结合信任度调整动作的价值,引导节点选择最优下一跳。仿真结果表明,在包含异常节点的无人机自组网(UANET)中,DTGR与现有方案相比具有更低的平均端到端时延和更高的包递交率。当异常节点数量或者比例变化时,DTGR能感知环境并高效智能地完成路由决策,保障网络性能。     

基于强化学习的无人机基站多播通信系统的飞行路线在线优化

针对无人机(UAV)基站(BS)多播通信系统的通信时延最小化问题,该文提出飞行路线在线优化算法。在该系统中无人机基站向多个地面用户同时发送公共信息,其中每次通信任务中地面用户位置是随机的。为了保证地面用户能够接收完整的公共信息以及考虑到无人机的能量有限性,该文以最小化无人机基站完成通信任务的平均时间为目标。首先将问题转化成一个马尔可夫决策过程(MDP);然后把通信时延引入到动作价值函数中;最后提出使用Q-Learning算法对无人机飞行路线进行学习和在线优化,从而实现平均通信时延最小化。仿真结果显示,与其他基准方案相比,该文所提方案能够有效地为无人机多播通信系统飞行路线实现在线优化,并有效降低通信任务的完成时间。