基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

基于多智能体强化学习的无人机集群攻防对抗策略研究

针对大规模无人机集群攻防对抗问题,提出了一种基于近端策略优化(Proximal Policy Optimization,PPO)的改进多智能体(Multi-agent Proximal Policy Optimization,M-PPO)算法.该算法采用了Actor-Critic框架,但与PPO不同,为实现智能体之间的...     

多智能体强化学习驱动的无人机动态信道分配

针对无人机编队在进行远距离实时视频传输时频谱资源不足且利用效率低、吞吐量要求较高、传输任务难以完成等问题,提出了多智能体强化学习驱动的动态信道分配算法,使得无人机编队可以根据传输任务和信道环境动态地选择使用的信道,实现了频谱资源的高效利用。该算法使用了集中式训练分布式执行的架构,通过联合探索和联合学习的方式保证了无人机间的探索和合作能力,使得每架无人机均可以依据局部观测信息同时独立分配自身使用信道,提高了算法的灵活性和可行性,并减少了频谱分配用时。仿真结果表明,该算法训练过程性能更好,执行时相比于现有算法可以提高编队整体的平均任务传输成功率。     

基于强化学习的通信受限环境多无人机协同策略

文章对基于强化学习的通信受限环境中的多无人机协同架构、通信需求和协同策略进行了分析,旨在提高多无人机协同的合理性,解决多无人机在通信受限环境中出现的问题,发挥强化学习的作用。     

多智能体强化学习方法综述

在自动驾驶、团队配合游戏等现实场景的序列决策问题中，多智能体强化学习表现出了优秀的潜力。然而，多智能体强化学习面临着维度灾难、不稳定性、多目标性和部分可观测性等挑战。为此，概述了多智能体强化学习的概念与方法，并整理了当前研究的主要趋势和研究方向。研究趋势包括CTDE范式、具有循环神经单元的智能体和训练技巧。主要研究方向涵盖混合型学习方法、协同与竞争学习、通信与知识共享、适应性与鲁棒性、分层与模块化学习、基于博弈论的方法以及可解释性。未来的研究方向包括解决维度灾难问题、求解大型组合优化问题和分析多智能体强化学习算法的全局收敛性。这些研究方向将推动多智能体强化学习在实际应用中取得更大的突破。     

稀疏奖励下基于强化学习的异构多智能体对抗

文中在多智能体对抗问题研究过程中,采用强化学习为研究方法,以完全中心化训练架构为基础,选用基于策略的强化学习算法,针对领域研究中广泛存在的稀疏奖励问题,采用基于任务局部的奖励工程设定方法,以人为经验知识为导引,加速训练过程,提升训练结果.最后以对抗问题中典型的攻防对抗为场景进行了仿真实验,验证了方法的有效性.     

基于SAC的多智能体深度强化学习算法

由于多智能体所处环境动态变化,并且单个智能体的决策也会影响其他智能体,这使得单智能体深度强化学习算法难以在多智能体环境中保持稳定.为了适应多智能体环境,本文利用集中训练和分散执行框架Cen-tralized Training with Decentralized Execution(CTDE),对单智能体深度强化学习算法Soft Actor-Critic(SAC)进行了改进,引入智能体通信机制,构建Multi-Agent Soft Actor-Critic(MASAC)算法.MASAC中智能体共享观察信息和历史经验,有效减少了环境不稳定性对算法造成的影响.最后,本文在协同以及协同竞争混合的任务中,对MASAC算法性能进行了实验分析,结果表明MASAC相对于SAC在多智能体环境中具有更好的稳定性.     

基于强化学习的智能超表面辅助无人机通信系统物理层安全算法

该文从物理层安全的角度出发研究了智能超表面(RIS)辅助的无人机(UAV) 3D轨迹优化。具体地说,当RIS辅助的UAV向地面用户进行无线传输时,通过联合优化RIS相移和UAV的3D轨迹来最大化物理层安全速率。然而,由于目标函数是非凸的,传统的优化技术很难直接求解。深度强化学习能够处理无线通信中动态复杂的优化问题,该文基于强化学习双深度Q网络(DDQN)设计一种联合优化RIS相移和无人机3D轨迹算法,最大化可实现的平均安全速率。仿真结果表明,所设计的RIS辅助UAV通信优化算法可以获得比固定飞行高度的连续凸逼近算法(SCA)、随机相移下的RIS算法和没有RIS的算法有更高的安全速率。     

基于博弈论的多无人机覆盖策略研究

协同控制在许多复杂的无人机通信网络中得到广泛的应用,但无人机协同覆盖和无人机节能通信技术仍然具有挑战性。为解决节能通信场景下无人机区域覆盖的问题,提出了一种基于博弈论的多无人机覆盖策略。首先,采用集中分布式优化体系结构,将多维策略问题转化为覆盖最大化和功率控制,并通过博弈理论证明了两者都存在纳什均衡点;其次,采用基于空间自适应博弈的多无人机节能覆盖部署算法,进行了覆盖最大化和最优功率控制计算,保证了最优节能覆盖部署;最后,对模型进行仿真模拟,计算结果表明了该模型的有效性和可靠性。     

基于模糊动态博弈的多无人机空战策略研究

不确定环境下多无人机空战决策问题已成为无人机作战系统的一个重要研究课题。首先通过分析无人机空战态势信息的不确定性, 建立模糊信息下的多无人机动态博弈的作战优势函数; 将动态扩展式博弈转化成静态策略式博弈, 构建基于模糊信息的双方博弈的支付矩阵。将模糊结构元方法和粒子群算法相结合, 给出模糊信息下动态博弈的混合战略的纳什均衡求解方法。最后通过仿真实验验证了该方法的可行性和有效性。     

基于协作非正交多址的无人机辅助卫星通信系统中断性能分析

针对无人机(UAV)辅助的卫星通信系统下行链路,该文研究了基于多天线波束成形和协作非正交多址(NOMA)技术相结合的多用户传输系统。首先,在UAV采用多天线和NOMA技术服务多个用户的情况下,基于用户平均信干噪比最大化准则,提出一种利用角度信息的波束成形方案。其次,在卫星-UAV链路服从相关阴影莱斯分布,而UAV-地面用户链路服从Nakagami-m分布的条件下,推导出系统的中断概率闭合表达式。然后,为了进一步分析系统性能,还推导了高信噪比条件下系统的中断概率近似表达式。最后,计算机仿真验证了理论分析的正确性和所提方案的优越性。     

智能反射面辅助的无人机无线携能通信网络吞吐量最大化算法研究

为了解决城市场景中无人机(UAV)与地面终端设备(GUs)间易受到障碍物阻挡的问题,该文提出一种基于智能反射面(IRS)辅助的UAV供能通信网络吞吐量最大化算法。首先,在满足能量因果、IRS相移、UAV移动性等约束条件下,建立了一个联合IRS相移设计、GU无线资源分配、UAV飞行轨迹设计的多变量耦合优化模型。其次,通过快坐标下降法(BCD)将原非凸问题转换为3个易于处理的子问题,并通过三角不等式、引入松弛变量、连续凸近似(SCA)等方法,对子问题进行转化求解。仿真结果表明,该文所提算法具有较好的收敛性,同时可有效提高系统总吞吐量。     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

无人机辅助的非正交多址反向散射通信系统max-min速率优化算法

无人机(UAV)、非正交多址(NOMA)和反向散射通信(BC)相结合,可以满足热点地区高容量需求,提高通信质量。该文提出一种无人机辅助的NOMA反向散射通信系统最小速率最大化资源分配算法。考虑无人机发射功率、能量收集、反射系数、传输速率以及连续干扰消除(SIC)解码顺序约束,建立基于系统最小速率最大化的资源分配模型。首先利用块坐标下降将原问题分解为无人机发射功率优化、反射系数优化和无人机位置与SIC解码顺序联合优化3个子问题,然后使用反证法给出无人机最优发射功率,再用变量替换法和连续凸逼近将剩余子问题进一步转化为凸优化问题进行求解。仿真结果表明,所提算法在系统和速率与用户公平性之间具有较好折中。     

利用激光对无人机进行侦察的可行性探索

无人机在战争中的作用令世人瞩目,在和平时期,也是收集情报的重要手段之一．探测和跟踪无人机成为一项重要的军事课题．由于材料制作等方面的原因,雷达很难探测到无人机．利用无人机在过顶飞越时,激光对它有最大反射截面(LCS)和激光垂直向上只有极小大气衰减的原理,提出了利用激光探测和大功率激光测距机跟踪无人机的方法,并对该方法所需的参数进行了定量计算和可行性分析。     

面向无线能量传输的三维无人机轨迹设计

在无人机(UAV)辅助的无线网络中,UAV轨迹设计可以有效地提升无线网络系统性能。然而,3维场景下的UAV轨迹设计问题因其高复杂性,目前仍是开放性研究问题,并缺少高性能的求解方案。该文针对具有一般性的无线能量传输(WPT)系统中UAV 3维轨迹设计问题,在凸空间下,基于间续悬飞(SHF)的最优轨迹结构,提出获得高性能3维轨迹的求解方案。     

无人机中继协助的有限码长隐蔽通信

由于中长距离的无线隐蔽通信中信号发射功率较大,容易被监测者检测到,针对此问题该文提出无人机(UAV)中继协助的有限码长隐蔽传输方案。首先,根据无人机通信的信道模型,推导从发射机经过无人机中继到合法接收机的信噪比(SNR),得到隐蔽传输中断概率及吞吐量的表达式;然后,分析监测者的检测性能, 即KL(Kullback-Leibler)散度,并将其作为隐蔽通信的约束条件;最后,在此约束的条件下,联合优化发射机和中继的发射功率以及无人机的飞行高度,从而最大化隐蔽通信的吞吐量。仿真结果验证了系统的隐蔽性能,并且通过与缺少无人机协助的传统方案对比,揭示所提出的无人机中继隐蔽传输方案可以有效地降低监测者的KL散度。     

一个高精度无人机载多功能SAR系统

该文介绍了中国科学院电子学研究所研制的一个高精度无人机载多功能SAR系统,该系统可灵活工作在Ku和X波段,具有高分辨率、干涉、全极化成像能力。该文对该系统的指标、功能、组成进行了描述,提出了高精度运动补偿、宽带信号产生和中频接收、多通道幅相一致性保持等方案,通过车载和无人机飞行实验,验证了无人机装载多功能SAR系统的可行性。     

一种W波段无人机微型SAR系统

随着轻小型无人机(UAV)日益发展,基于UAV平台搭载微型SAR系统的探测手段会给信息获取方式带来革命性的影响,这也对微型载荷提出了的更高的需求。针对这一需求,该文介绍了一种W波段UAV微型SAR系统,提出了基于锁相技术的线性调频源的设计方法,并对毫米波(MMW)介质集成波导天线、3维集成、运动补偿方法等关键问题进行研究,研制W波段无人机微型SAR系统原理样机,基于多旋翼无人机平台开展飞行成像应用试验。研究结果表明,原理样机在系统分辨率、体积、重量等方面具有处于业内领先水平,飞行试验获得了聚焦效果良好的高信噪比(SNR)图像。