基于多智能体强化学习的混合博弈模式下多无人机辅助通信系统设计

空天地一体化通信作为未来6G的发展方向,很好地弥补了当前无线通信覆盖不足的弊端。该文提出一种基于多智能体强化学习(MARL)的多无人机(Multi-UAV)辅助通信算法,在用户与无人机(UAVs)构成的混合博弈模式下求解纳什均衡近似解,解决了动态环境下UAVs轨迹设计、多维资源调度以及用户接入策略联合优化问题。结合马尔可夫博弈概念建模该连续决策过程,以集中训练分布式执行(CTDE)机制,将近端策略优化(PPO)算法扩展到多智能体领域。针对离散与连续共存的动作空间设计了两种策略输出模式,并且结合Beta策略改进实现,最后通过仿真实验验证了算法的有效性。     

基于强化学习的无人机中继网络节点轨迹优化

无人机在远程采集和传输数据时可能遇到频谱不足的问题,此时需要借助地面网络共享频谱,即部分无人机获得地面网络提供的额外频谱作为回报,另一部分无人机为地面网络提供中继服务。针对无线网络频谱共享系统中多个无人机的飞行调度问题展开了研究,提出了一种基于Q-Learning的无人机飞行调度算法。在多个无人机进行数据中继传输时,该算法结合了放大转发和解码转发的特点,采用自适应转发模式,以最大化系统吞吐量。仿真结果表明,所提的调度算法可以对两个网络的无人机数目进行合理的分配,使每个无人机能够找到各自的最优或者次优位置,从而实现较高的系统吞吐量。     

基于强化学习的能量受限无人机通信感知轨迹规划方法

针对能量受限下无人机（Unmanned Aerial Vehicle,UAV）辅助通信感知中的无人机轨迹规划问题,采用激光无线充电的方式为无人机额外提供能量,同时考虑了无人机动力学和感知通信速率等约束,以对移动目标感知互信息量最大化为目标,建立了移动目标感知通信轨迹规划问题。为了求解建立的包含大量复杂约束的优化问题,将原优化问题建立为马尔可夫决策过程,把无人机运动、能量变化、目标感知、基站通信等过程建模为环境空间,无人机电机转速设计为动作空间,并采用深度强化学习方法进行训练,实现无人机的轨迹规划。由于考虑了无人机动力学,规划得到的轨迹更符合无人机运动特性,并且训练得到的最优控制序列可以直接作用于无人机电机转速,降低了无人机控制难度。在设计的实验场景下,相较于传统最优控制方法,所提方法对移动目标感知互信息量提升了约3倍。     

考虑信息年龄的无人机辅助智能交通系统计算卸载优化

该文考虑无人机(UAV)交通监测与移动边缘计算(MEC)技术结合的智能交通系统。为了保障系统中数据时效性并且降低系统能耗,提出计及信息年龄(AoI)的UAV计算卸载优化方法。首先,建立UAV辅助的MEC系统模型,允许MEC服务器缓存常用的应用程序并为UAV提供计算卸载,以支持UAV执行交通监测任务。通过联合优化UAV任务卸载决策、UAV上下行通信带宽分配以及被卸载任务的计算资源分配,最小化所有UAV与MEC服务器的总能耗,同时满足AoI与资源容量等约束条件。其次,系统能耗最小化问题是混合整数非凸优化问题,因此采用离散化和线性化手段,快速获得问题的近似最优解,并设计离散点生成算法来调节近似误差。最后,仿真结果表明,即使对于大型的非凸问题,所提方法也能够快速得到近似最优解,并且可以在不同的任务场景中满足AoI等约束条件,最大限度降低系统能耗。仿真结果验证了所提方法的有效性。     

基于内容感知的无人机轨迹规划和资源分配联合优化方法

针对未来网络中激增的数据流量以及用户多样化的业务需求,利用无人机来辅助蜂窝网络为用户提供更好的服务。该文提出了基于内容感知的无人机轨迹规划和资源分配联合优化方法,在无人机上缓存热点内容,在满足用户内容需求的条件下,联合优化用户接入以及无人机飞行轨迹来最大化最小用户平均服务速率。由于所建立的优化问题具有非凸性,该文提出了一种块坐标下降的方法将原问题分解为两个子问题,并利用连续凸优化方法对问题进行求解。仿真结果表明,所提方法能够有效提升最小用户平均服务速率,提升网络深度覆盖水平。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

基于深度强化学习的蜂窝无人机网络中的轨迹设计

设计了一个蜂窝无人机网络,其中无人机采集到的感知数据可以通过直通通信的方式直接传输到移动设备端,或者通过传统的蜂窝方式传输到移动设备端。由于无人机的传输模式会影响到它们的轨迹,在考虑了传输模式的情况下,研究了无人机轨迹设计问题,以最大化系统的总效用。该问题是一个状态行动空间非常大的马尔科夫决策问题,基于此问题提出了一种基于深度强化学习的多无人机轨迹设计算法。仿真结果表明所提出的算法比单智能体算法性能更好。     

基于多智能体强化学习的无人机集群攻防对抗策略研究

针对大规模无人机集群攻防对抗问题,提出了一种基于近端策略优化(Proximal Policy Optimization,PPO)的改进多智能体(Multi-agent Proximal Policy Optimization,M-PPO)算法.该算法采用了Actor-Critic框架,但与PPO不同,为实现智能体之间的...     

无线传感器网络中基于信息年龄的状态更新策略

针对具有能量收集的无线传感器网络(WSN)场景,传感器定期向基站发送状态更新信息,但受频谱资源限制,在给定时隙仅允许有限数量传感器进行发送。同时,发射功率受限于剩余能量的约束。围绕上述问题,提出了基于信息年龄(AoI)的马尔可夫决策过程(MDP)来构建状态的更新策略方案。模型刻画了WSN中频谱、能量及发送时隙三者之间的内在关系,同时,针对大规模传感网络下高计算复杂度问题,提出了基于Whittle Index的调度算法。该算法通过迭代得到了渐近最优性能,计算复杂度较之大规模MDP求解显著降低,兼顾了调度的实时性和准确性。     

基于K-臂赌博机的多无人机空地网络动态资源分配方法

针对配置大规模MIMO的多无人机空地网络中的动态资源分配问题,从最大化系统吞吐量的角度出发,该文提出一种基于K-臂赌博机的强化学习算法联合优化多个无人机的用户选择与功率分配策略。首先根据地理位置对用户进行分簇,利用簇中心节点规划无人机飞行路径;其次在不考虑无人机之间端到端通信的情况下,将多无人机资源分配问题转化为相互独立的多个智能体强化学习问题;最后提出分幕式多智能体多状态K-臂赌博机算法来实现用户选择与功率分配的联合优化。通过将无人机每个时刻的位置索引定义为状态空间,从而使得无人机可动态适配自身位置及信道的动态变化。仿真结果表明,所提方案可根据环境状态变化自主智能调整资源分配策略,相比于已有方案能有效提升系统总吞吐量。     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

面向物联网的深度Q网络无人机路径规划

随着无人机技术的广泛应用,基于无人机辅助数据收集的物联网架构扩展了物联网的应用范围,尤其适用于军事战场、灾害救援等极端场景。针对上述场景,该文提出一种基于深度Q网络(Deep Q-Network, DQN)框架的无人机飞行路径规划算法。该算法以无人机飞行周期内收集信息的平均信息年龄(Age of Information, AoI)为优化目标,来保证无人机收集数据的时效性。仿真结果表明,所提算法可以有效降低无人机单个飞行周期内收集数据的平均AoI。与随机算法、基于最大AoI的贪心算法、最短路径算法以及基于AoI的路径规划算法(AoI-based Trajectory Planning, ATP)相比,平均AoI分别降低了约81%, 67%, 56%和39%。该研究实现了无人机辅助物联网系统中,数据的高效、低时延采集。     

面向大规模物联网的无人机通信感知一体化能效优化算法

针对大规模物联网场景下无人机通信感知一体化系统存在的重复感知和能量受限等问题,提出了一种基于聚类算法的能效优化方案。该方案在满足无人机的移动性和感知能力约束下,通过联合设计无人机的三维轨迹和发射功率来最大化系统能效。由于该问题是非凸的,首先将其解耦为两个子问题,然后利用模拟退火算法和标准凸优化技术来求解无人机的悬停位置和飞行速度以获取最优轨迹,最后根据最优轨迹推导发射功率的闭合表达式,求得每个悬停位置的最优发射功率。与传统的二维和三维方案相比,所提基于聚类的能效优化方案在收敛速度提高4倍的基础上能提升20%~30%系统能效。     

多智能体强化学习飞行路径规划算法

为了减轻现代空战中大量信息处理给飞行员带来的负担,同时为了实现无人机航路自主规划,提出了一种基于多智能体强化学习理论的飞行路径规划算法.该算法采用多智能体强化学习的方法,采用两个功能不同的智能体,分别对应局部和全局路径规划.该算法对状态和动作空间进行划分和抽象,有效地减少了状态的数量,解决了强化学习维数灾难的问题.最后用Matlab对此算法进行了数字仿真,验证了算法的可行性,仿真实验结果显示该算法收敛速度快,能够解决飞行路径规划的任务.     

面向无线能量传输的三维无人机轨迹设计

在无人机(UAV)辅助的无线网络中,UAV轨迹设计可以有效地提升无线网络系统性能。然而,3维场景下的UAV轨迹设计问题因其高复杂性,目前仍是开放性研究问题,并缺少高性能的求解方案。该文针对具有一般性的无线能量传输(WPT)系统中UAV 3维轨迹设计问题,在凸空间下,基于间续悬飞(SHF)的最优轨迹结构,提出获得高性能3维轨迹的求解方案。     

基于无人机辅助的认知无线电网络信息年龄研究

考虑到信息时效性和数据新鲜度对各类实时状态更新系统带来的挑战,提出了一种无人机（Unmanned Aerial Vehicle, UAV）中继辅助的认知无线电网络（Cognitive Radio Network, CRN）信息年龄（Age of Information, AoI）最小化方案。为了降低CRN中次用户接收机处的AoI,在不影响主用户正常通信的前提下,利用UAV作为移动中继来辅助次用户发射机将数据包传输到对应的接收机。通过联合优化UAV的飞行轨迹和资源分配来确保信息新鲜度。由于联合设计问题是非凸的,故采用连续凸逼近的高效迭代算法得出问题的最优解。仿真结果表明,所提方案可以有效提高信息新鲜度,并获得峰值AoI的最小值。同时,数据包的大小和数量与AoI呈线性关系,对UAV的飞行轨迹也有影响。      

面向异构传输需求的多无人机通信协同抗干扰决策方法

干扰条件下的多无人机通信中,用户根据业务有不同的通信需求,而各个信道质量也不同,对抗干扰通信决策提出了业务需求与资源匹配的新要求。针对外部对抗性干扰场景下,多个用户如何选择适合的信道和功率,在干扰躲避、内部冲突控制以及功率优化的同时实现有限资源的高效利用这一问题进行研究,提出了一种面向传输需求匹配的抗干扰决策方法。首先,利用部分重叠信道的特性进行信道资源复用;然后,运用多用户协同强化学习训练用户信道选择策略,并使用斯坦伯格博弈对功率进行优化,实现对用户异构传输需求进行资源匹配。所提方法能实现干扰条件下的多用户异构传输需求的信道和功率联合优化,提升资源利用合理性,实现传输效果的提升。     

智能反射面辅助的无人机无线携能通信网络吞吐量最大化算法研究

为了解决城市场景中无人机(UAV)与地面终端设备(GUs)间易受到障碍物阻挡的问题,该文提出一种基于智能反射面(IRS)辅助的UAV供能通信网络吞吐量最大化算法。首先,在满足能量因果、IRS相移、UAV移动性等约束条件下,建立了一个联合IRS相移设计、GU无线资源分配、UAV飞行轨迹设计的多变量耦合优化模型。其次,通过快坐标下降法(BCD)将原非凸问题转换为3个易于处理的子问题,并通过三角不等式、引入松弛变量、连续凸近似(SCA)等方法,对子问题进行转化求解。仿真结果表明,该文所提算法具有较好的收敛性,同时可有效提高系统总吞吐量。     

基于强化学习的通信受限环境多无人机协同策略

文章对基于强化学习的通信受限环境中的多无人机协同架构、通信需求和协同策略进行了分析,旨在提高多无人机协同的合理性,解决多无人机在通信受限环境中出现的问题,发挥强化学习的作用。