基于DRL的无人机辅助边缘计算服务质量优化

针对无人机（Unmanned Aerial Vehicle, UAV）搭载移动边缘服务器为地面用户进行服务时的服务质量（Quality of Service, QoS）问题,提出了一种基于深度强化学习的优化方案,旨在优化UAV飞行轨迹和卸载方案以最大化UAV为用户服务时的QoS。首先,定义了任务延迟来表征任务新鲜度,在任务延迟的基础上提出了一种新的QoS评价指标;其次,将最大化QoS问题建模为一个无转移概率的马尔可夫决策过程,并定义了该过程的状态空间、动作空间和奖励函数;最后,UAV通过所提出的算法进行训练,优化任务卸载方案并寻找最优飞行轨迹为地面用户进行服务以提高QoS。仿真结果表明所提算法较于其他算法能有效提高UAV为地面用户服务过程中的QoS且提高任务新鲜度。      

基于MIMO的多无人机辅助移动边缘计算系统时延优化设计

物联网数据的快速增长和物联网设备的计算限制催生了移动边缘计算(Mobile Edge Computing, MEC)解决方案。其中,无人机群的高机动性、易部署以及成本低的特点和多输入多输出(Multiple Input Multiple Output, MIMO)技术能够增强边缘计算网络的传输容量,缩短边缘计算网络的传输时延。该文在基于多无人机的多用户MIMO-MEC系统中通过联合优化无人机轨迹、地面用户卸载比、辅助无人机卸载比和辅助无人机数据分发比最小化整个周期的系统最大总时延。采用了连续凸优化技术和块坐标下降方法来解决其中的非凸问题。仿真结果讨论了影响系统时延的因素,并验证了算法的有效性及收敛性。     

移动边缘计算中基于内容流行度的深度强化学习缓存机制

随着5G商用的推进,涌现出大量依赖高速率、低时延的新应用,混合现实(Mixed Reality,MR)就是其中之一.考虑到从中心云传输服务内容到MR设备会带来很大时延和能耗问题,引入移动边缘计算(Mobile Edge Compu?ting,MEC)技术,通过在MEC服务器上缓存用户的预渲染环境帧,以减少延迟和能耗.针...     

基于边缘计算的无人机移动辅助卸载策略研究

文中研究了基于边缘计算的无人机移动辅助卸载技术,对促进无人机发展、提升其经济价值具有重要的意义。值得注意的是,当前我国需要实现无人机辅助边缘计算系统的能耗最小化、用户时延最小化、系统吞吐量最大化、无人机能耗最小化等,以促进无人机技术高质量发展。基于此,文中提出了利用合理的计算卸载机制,使无人机在卸载过程中的位置适宜化,实现了用户任务的分配高效、无人机运动建模、无人机轨迹优化,并设计了用户终端任务分配方案、优化算法,从而设计出一种快速收敛的算法,推动无人机技术的快速发展。     

考虑能耗中断的无人机通信中基于深度强化学习的资源管理

最新研究表明,高速传输导致的手机温度变化会影响相应的传输性能。针对高速传输下未考虑与手机温度有关的能耗中断而导致传输性能降低的问题,该文提出一种基于深度强化学习的资源管理方案去考虑无人机(UAV)通信场景下的能耗中断。首先,给出无人机通信的网络模型与智能手机热传递模型的分析;其次,将能耗中断的影响以约束条件的形式整合到无人机场景的优化问题中,并通过联合考虑带宽分配、功率分配和轨迹设计优化系统吞吐量;最后,采用马尔可夫决策过程描述相应的优化问题并通过名为归一化优势函数的深度强化学习算法求解。仿真表明,所提方案能有效提升系统吞吐量并得到合理的无人机飞行轨迹。     

基于无人机无线能量传输的边缘计算系统能耗优化方法研究

无线能量传输(WPT)和移动边缘计算(MEC)可以为无线设备提供能量供应和任务计算,有效提高设备的能量效率。该文提出一种基于无人机无线能量传输的边缘计算系统能耗优化方法,在所提方法中,通过联合优化能量收集(EH)时间、用户发射功率和卸载决策,最小化系统总能耗。利用块坐标下降法(BCD),将优化问题分解为两个子问题,通过交替优化来获得最优能量收集时间、用户发射功率和卸载决策。仿真结果表明,该文提出的系统能耗优化方法优于其他基准方案,并且系统所需能量可以显著减少。     

移动边缘计算中基于图到序列深度强化学习的复杂任务部署策略

借助于移动边缘计算（MEC）和网络虚拟化技术,可使移动端将执行各类复杂应用所需的算力、存储和传输等资源需求就近卸载至边缘服务节点,从而获得更高效的服务体验。面向边缘服务商,研究其在进行复杂任务部署时所面临的能耗优化决策问题。首先将复杂任务部署于多个边缘服务节点的问题建模为混合整数规划（MIP）模型,然后提出了一种融合图到序列的深度强化学习（DRL）求解策略。该策略通过基于图的编码器设计提取并学习子任务间潜在的依赖关系,从而根据边缘服务节点的可用资源状态及使用率自动发现任务部署的通用模式,最终快速获得能耗优化的部署策略。在不同的网络规模中,将所提策略与具代表性的基准策略进行了全面对比。实验结果表明,所提策略在任务部署错误率、MEC系统总功耗和算法求解效率等方面均显著优于基准策略。     

基于深度强化学习的多用户计算卸载优化模型和算法

在移动边缘计算(MEC)密集部署场景中,边缘服务器负载的不确定性容易造成边缘服务器过载,从而导致计算卸载过程中时延和能耗显著增加。针对该问题,该文提出一种多用户计算卸载优化模型和基于深度确定性策略梯度(DDPG)的计算卸载算法。首先,考虑时延和能耗的均衡优化建立效用函数,以最大化系统效用作为优化目标,将计算卸载问题转化为混合整数非线性规划问题。然后,针对该问题状态空间大、动作空间中离散和连续型变量共存,对DDPG深度强化学习算法进行离散化改进,基于此提出一种多用户计算卸载优化方法。最后,使用该方法求解非线性规划问题。仿真实验结果表明,与已有算法相比,所提方法能有效降低边缘服务器过载概率,并具有很好的稳定性。     

基于深度强化学习的边缘视频任务卸载策略

随着物联网的发展以及智能设备的普及,视频处理技术已广泛应用于生活中。自动驾驶、产品质检等应用场景对视频处理技术的实时性需求逐步提高,移动边缘计算为计算能力不足和能源受限的设备提供计算资源以执行时延敏感性任务,为实时视频处理提供了新的计算架构。本文搭建了一个视频计算卸载场景,并以视频检测为任务,以系统时延为优化目标,建立了计算卸载模型和马尔可夫决策模型;考虑到计算卸载场景的复杂动态因素,如带宽波动、设备数量、任务大小等,以最小化系统时延为目标,提出了一种基于深度强化学习的计算卸载策略进行求解。实验表明,与其他基线方案相比,该卸载策略能够适应较复杂卸载场景,有效降低系统时延。     

基于强化学习的移动边缘计算资源分配方法

当前的移动边缘计算资源分配结构多为单向形式,资源分配效率较低,导致资源分配比下降,文中设计了一种基于强化学习的移动边缘计算资源分配方法,并通过实验验证了其有效性。根据当前的测试需求,首先部署了资源采集节点,然后采用多阶的方式,提升整体的资源分配效率,构建多阶迁移资源分配结构,最后设计了移动边缘计算强化学习资源分配模型,采用动态化辅助协作处理的方式来实现资源分配。测试结果表明,对于选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可以达到5.5以上,这说明在强化学习技术的辅助下,文中设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。     

加权能耗最小化的无人机辅助移动边缘计算资源分配策略

针对无人机(UAV)辅助的移动边缘计算(MEC)系统,考虑到无人机能耗与地面设备能耗不在一个数量级,该文提出通过给地面设备能耗增加一个权重因子以平衡无人机能耗与地面设备能耗。同时在满足地面设备的任务需求下,通过联合优化无人机轨迹、系统资源分配以最小化无人机和地面设备的加权能耗。该问题高度非凸,为此提出一个基于交替优化算法的两阶段资源分配策略解决该非凸问题。第1阶段在给定地面设备的卸载功率下,利用连续凸逼近(SCA)方法求解无人机轨迹规划、CPU频率资源分配及卸载时间分配;第2阶段求解地面设备的卸载功率分配。通过两阶段的交替和迭代优化找到原问题的次优解。仿真结果验证了所提算法在降低系统能耗方面的有效性。     

面向空天地异构网络的边缘计算部分任务卸载策略

空天地异构网络作为一种新型网络构架,是未来6G实现泛在连接的关键支撑。该文提出一种面向空天地异构网络(SAGIN)的移动边缘计算部分任务卸载方案。首先,分析了低轨(LEO)卫星的覆盖时间。其次,联合考虑用户与无人机(UAV)匹配关联因子、任务分配、带宽分配、无人机计算资源分配以及无人机轨迹,旨在建立一个能耗最小化问题。最后,采用交替迭代优化算法,将原非凸问题分解为3个子问题,并利用变量替换和连续凸逼近方法将问题转化为凸问题进行求解。仿真结果表明,所提算法具有良好的收敛性能,并有效地降低系统能耗。     

基于线性滤波器的四旋翼无人机强化学习控制策略

针对四旋翼无人机(UAVs)系统,该文提出一种基于线性降阶滤波器的深度强化学习(RL)策略,进而设计了一种新型的智能控制方法,有效地提高了旋翼无人机对外界干扰和未建模动态的鲁棒性。首先,基于线性降阶滤波技术,设计了维数更少的滤波器变量作为深度网络的输入,减小了策略的探索空间,提高了策略的探索效率。在此基础上,为了增强策略对稳态误差的感知,该文结合滤波器变量和积分项,设计集总误差作为策略的新输入,提高了旋翼无人机的定位精度。该文的新颖之处在于,首次提出一种基于线性滤波器的深度强化学习策略,有效地消除了未知干扰和未建模动态对四旋翼无人机控制系统的影响,提高了系统的定位精度。对比实验结果表明,该方法能显著地提升旋翼无人机的定位精度和对干扰的鲁棒性。     

基于深度强化学习的无人机可信地理位置路由协议

针对无人机(UAV)通信过程中存在的高移动性和节点异常问题,该文提出一种基于深度强化学习的无人机可信地理位置路由协议(DTGR)。引入可信第三方提供节点的信任度,使用理论与真实的时延偏差和丢包率作为信任度的评估因子,将路由选择建模为马尔可夫决策过程(MDP),基于节点信任度、地理位置和邻居拓扑信息构建状态空间,然后通过深度Q网络(DQN)输出路由决策。在奖励函数中结合信任度调整动作的价值,引导节点选择最优下一跳。仿真结果表明,在包含异常节点的无人机自组网(UANET)中,DTGR与现有方案相比具有更低的平均端到端时延和更高的包递交率。当异常节点数量或者比例变化时,DTGR能感知环境并高效智能地完成路由决策,保障网络性能。     

移动边缘计算辅助智能驾驶中基于高效联邦学习的碰撞预警算法

智能驾驶中的碰撞避免任务存在对时延要求极高和隐私保护等挑战。首先,该文提出一种基于自适应调整参数的半异步联邦学习(SFLAAP)的门控循环单元联合支持向量机(GRU_SVM)碰撞多级预警算法,SFLAAP可根据训练和资源情况动态调整两个训练参数：本地训练次数和参与聚合的局部模型数量。然后,为解决资源受限的移动边缘计算(MEC)下碰撞预警模型协作训练的效率问题,根据上述参数与SFLAAP训练时延的关系,建立训练总时延最小化模型,并将其转化为马尔可夫决策过程(MDP)。最后,在所建立的MDP中采用异步优势演员-评论家(A3C)学习求解,自适应地确定最优训练参数,从而减少碰撞预警模型的训练完成时间。仿真结果表明,所提算法有效地降低训练总时延并保证预测精度。     

基于位置预测的智慧公路边缘任务协同机制

近年来智慧公路为用户提供了道路监测、辅助驾驶等新型服务,但随之而来的是数据流量爆炸式的增长,这对网络的承载能力带来了极大的考验。随着5G和移动边缘计算技术的成熟,海量任务不必集中在云端处理,边缘侧的协同处理成为一种较好的选择。为了在车辆高速移动场景下为用户提供高效可靠的服务,该文提出一种基于位置预测的智慧公路边缘任务协同(CETLP)机制。首先,结合智慧公路场景下车辆运动特点,建立面向时延和负载均衡的边缘任务协同模型。进而,针对任务时延最小化以及网络负载均衡等目标,提出一种基于深度强化学习的边缘任务协同算法,对海量任务的协同策略进行求解。仿真结果表明,所提机制能够在保证网络负载均衡的情况下降低服务时延。     

无蜂窝大规模MIMO中基于深度强化学习的无人机辅助通信与资源调度

无蜂窝大规模多入多出(MIMO)网络中分布式接入点(AP)同时服务多个用户,可以实现较大区域内虚拟MIMO的大容量传输;而无人机辅助通信能够为该目标区域热点或边缘用户提供覆盖增强。为了降低反馈链路负载,并有效提升无人机辅助通信的频谱利用率,该文研究了基于AP功率分配、无人机服务区选择和接入用户选择的联合调度;首先将AP功率分配和无人机服务区选择问题联合建模为双动作马尔可夫决策过程 (DAMDP),提出了基于Q-learning和卷积神经网络(CNN)的深度强化学习(DRL)算法;然后将用户调度构造为一个0-1优化问题,并分解成子问题来求解。仿真结果表明,该文提出的基于DRL的资源调度方案与现有方案相比,可以有效提升无蜂窝大规模MIMO网络中频谱利用率。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。