障碍环境下基于生物捕食逃逸行为的多运动体边界防御博弈方法

基于微分对策的追逃博弈和疆土防御问题是多智能体对抗博弈控制的关键问题之一.本文研究了含障碍物的有界区域中多运动体边界防御博弈方法.首先通过对自然界中生物的捕食逃逸行为进行分析,对多运动体边界防御博弈系统进行了建模,得到不同情况下博弈终止条件和价值函数.其次,本文对含障碍环境下博弈双方的主导区域和界栅面进行了分析,并与无障碍情况进行了对比.最后,数值仿真验证了本文提出的多运动体边界防御方法满足微分对策中的鞍点策略条件和有效性.     

仿鹰群智能的无人机集群协同对抗飞行验证

自主能力强且低成本的无人机集群协同对抗,是无人机集群对抗中打击敌方攻击防御体系和拦截敌方入侵机群的一个重要手段.哈里斯鹰是一种集群狩猎的猛禽,集群狩猎对于哈里斯鹰获取维持生命活动所需的能量具有重要意义.从无人机集群协同对抗任务与哈里斯鹰协同狩猎行为相似性出发,本文提出一种仿鹰群智能的无人机集群协同对抗方法.首先通过分析鹰群的集群狩猎行为,建立鹰群智能行为机制,并将其映射到无人机集群协同对抗行为中;在该模型的基础上,利用李雅普诺夫导航向量场控制无人机的运动状态,使得我方无人机能够以恒定的速度收敛到预定的轨迹上,完成对敌方无人机的对抗打击;最后,搭建无人机集群验证平台,对所设计的仿鹰群无人机集群协同对抗模型进行外场飞行验证,试验结果验证了本文所设计的模型在无人机对抗环境中的可行性与有效性.     

基于公共物品博弈的无人机集群弹药分配方法

自主协同是无人机集群作战效能发挥的关键,针对无人机集群自主协同中的弹药分配问题,提出一种基于公共品演化博弈模型的弹药分配方法.首先提炼无人机集群弹药分配的自主性需求,结合多主体间资源分配的对立统一关系,建立面向无人机集群弹药分配的公共物品博弈模型;在此基础上,理论推导出模型的合作策略占优条件;然后,通过仿真实验,研究各参数对集群自主协同及弹药分配效能的影响;最后,依据理论推导及仿真结果,给出无人机群弹药分配的合理化建议.     

非对称博弈下多UUV基地防卫协同对抗策略

针对非对称博弈下的水下无人对抗问题,开展对基于基地防卫的多无人水下潜航器(unmanned underwater vehicles, UUVs)协同对抗策略研究。在双方能力和数量有差异的非对称博弈情况下,设计UUV基本行为,分别基于红、蓝方能力设计对抗策略选择方法;本文提出红方多UUV分层决策算法,并设计红方多UUV角色分配方法;在防卫任务中基于目标偏航角设计两种红方多UUV联合防卫方法;并相应给出设计蓝方UUV策略及决策方法。最后设计水下对抗仿真实验,从对抗过程的事件决策、UUV机动控制等方面验证了本文设计的对抗方法对水下非对称条件下的多UUV对抗问题具有有效性。     

基于MASAC的无人机集群对抗博弈方法

随着无人机智能化水平的提高和集群控制技术的发展,无人机集群对抗智能决策方法将成为未来无人机作战的关键技术.无人机集群对抗学习环境具有维度高、非线性、信息有缺失、动作空间连续等复杂特点.近年来,以深度学习和强化学习为代表的人工智能技术取得了很大突破,深度强化学习在解决复杂环境下智能决策问题方面展现出了不俗能力.本文受多智能体集中式训练–分布式执行框架和最大化策略熵思想的启发,提出一种基于非完全信息的多智能体柔性行动器–评判器(multi-agent soft actor-critic, MASAC)深度强化学习方法,建立基于多智能体深度强化学习的无人机集群对抗博弈模型,构建连续空间多无人机作战环境,对红蓝双方无人机集群的非对称性对抗进行仿真实验,实验结果表明MASAC优于现有流行的多智能体深度强化学习方法,能使博弈双方收敛到收益更高的博弈均衡点.进一步对MASAC的收敛情况进行实验和分析,结果显示MASAC具有良好的收敛性和稳定性,能够保证MASAC在无人机集群对抗智能决策方面的实用性.     

基于stackelberg多步博弈的无人机协同搜索路径规划

考虑到现有无人机搜索问题研究中无人机、移动目标仅有一方具有远距离探测能力的设定，已经无法体现出战场环境下双方的博弈关系。针对这一不足，基于stackelberg均衡策略，结合多步预测的思想，提出了stackelberg多步博弈策略，实现了无人机、目标都具有远距离探测能力的博弈搜索。通过建立无人机、目标各自的路径收益函数，使双方能够根据不同时刻的博弈状态选择相对应的函数，实现无人机的动态路径规划。仿真结果表明所提出策略完全适用于该博弈模型，比贪婪策略具有更高的搜索效率，大大提高了目标捕获率。     

无人机的追逃对抗仿真研究

代数图论方法较之微分对策建立的无人机追逃对抗模型更易仿真求解,利用梯度方法改变Laplacian矩阵的非零特征值给出了对抗双方的控制输入,仿真证明了该方法的可行性.利用边界权值函数考虑无人机通信或感知能力的变化.然后,针对仿真过程中遇到的问题提出根据实际情况构造不同的性能指标.仿真表明逃逸者为迷惑追击者不时交叉逃逸;而追击者也会更换追击目标:相对距离不断变化.     

规则耦合下的多异构子网络MADDPG博弈对抗算法

针对多无人机博弈对抗过程中无人机数量动态衰减问题和传统深度强化学习算法中的稀疏奖励问题及无效经验抽取频率过高问题,本文以攻防能力及通信范围受限条件下的多无人机博弈对抗任务为研究背景,构建了红、蓝两方无人机群的博弈对抗模型,在多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法的Actor-Critic框架下,根据博弈环境的特点对原始的MADDPG算法进行改进。为了进一步提升算法对有效经验的探索和利用,本文构建了规则耦合模块以在无人机的决策过程中对Actor网络进行辅助。仿真实验表明,本文设计的算法在收敛速度、学习效率和稳定性方面都取了一定的提升,异构子网络的引入使算法更适用于无人机数量动态衰减的博弈场景;奖励势函数和重要性权重耦合的优先经验回放方法提升了经验差异的细化程度及优势经验利用率;规则耦合模块的引入实现了无人机决策网络对先验知识的有效利用。     

基于纳什均衡博弈的多无人机对地攻击目标分配方法

研究一种新的多无人机对地攻击目标分配问题.该问题中攻击方试图通过无人机击毁防御方的高价值目标,防御方试图通过发射拦截导弹对无人机进行拦截,但攻防双方无法事先观察到对方实际采取的目标分配方案.通过分析防御方的拦截导弹目标分配方案对攻击方收益的影响,将问题构建为一个零和矩阵博弈模型,模型的策略空间随无人机、高价值目标、拦截导弹数量的增加呈爆炸式增长.鉴于此,现有算法难以在有效时间内对其进行求解,提出一种基于两阶段邻域搜索的改进Double Oracle (DO-TSNS)算法.实验结果表明,相较于DO、UWMA和DO-NS算法, DO-TSNS算法能够更有效地求解考虑防御方具有拦截行为的多无人机对地攻击目标分配问题.     

基于终端诱导强化学习的航天器轨道追逃博弈

针对脉冲推力航天器轨道追逃博弈问题,提出一种基于强化学习的决策方法,实现追踪星在指定时刻抵近至逃逸星的特定区域,其中两星都具备自主博弈能力.首先,充分考虑追踪星和逃逸星的燃料约束、推力约束、决策周期约束、运动范围约束等实际约束条件,建立锥形安全接近区及追逃博弈过程的数学模型;其次,为了提升航天器面对不确定博弈对抗场景的自主决策能力,以近端策略优化(Proximal policy optimization, PPO)算法框架为基础,采用左右互搏的方式同时训练追踪星和逃逸星,交替提升两星的决策能力;在此基础上,为了在指定时刻完成追逃任务,提出一种终端诱导的奖励函数设计方法,基于CW (Clohessy Wiltshire)方程预测两星在终端时刻的相对误差,并将该预测误差引入奖励函数中,有效引导追踪星在指定时刻进入逃逸星的安全接近区.与现有基于当前误差设计奖励函数的方法相比,所提方法能够有效提高追击成功率.最后,通过与其他学习方法仿真对比,验证提出的训练方法和奖励函数设计方法的有效性和优越性.     

基于不完全信息动态博弈的网络攻防态势感知

为反映网络攻防对峙形势并解决策略相依问题,提出不完全信息的动态攻防博弈模型。通过扩展对象Petri网的定义,使变迁及其输出弧上携带攻防策略及其效用信息,定义网络攻防对峙模型。在定义攻防行动顺序的基础上,提出利用攻防对峙模型构建博弈扩展形的方法,据此可得到攻防博弈均衡策略。     

多运动目标的多无人机协同搜索追踪策略

针对多无人机协同搜索追踪区域内多运动目标问题,考虑无人机的传感器与避撞等约束和目标随机运动等特征,提出了以垂线搜索为基础的多无人机协同搜索追踪策略.策略包含任务分配和航迹规划两部分.在任务分配部分,设计了航道均分垂线搜索算法,将搜索资源在区域内均匀分配,提高协同搜索效能.在航迹规划部分,设计了改进的人工势场算法,避免发...     

多无人机自适应编队协同航迹规划

针对多无人机(UAV)协同航迹规划中因编队队形约束而忽略部分较窄通道的问题,提出了一种基于自适应分布式模型预测控制的快速粒子群优化(ADMPC-FPSO)方法。该方法利用领航跟随法和虚拟结构法相结合的编队策略构造出虚拟编队引导点,以完成自适应编队协同控制任务。根据模型预测控制的思想,结合分布式控制方法,将协同航迹规划转化为滚动在线优化问题,且以最小距离等性能指标为代价函数。通过设计评价函数准则,使用变权重快速粒子群优化算法对问题进行求解。仿真结果表明,通过所提算法能够有效实现多无人机协同航迹规划,并可根据环境变化快速完成自适应编队变换,同时较传统编队策略代价更低。     

基于非零和随机博弈的APT攻击主动防御策略选取

为解决APT（高级持续性威胁）攻防对抗过程中的防御滞后性问题,并在有限资源下做出最优主动防御决策,针对APT攻击过程中攻防双方意图、可行策略集随攻击阶段推进而演变的特点进行了研究,基于非合作博弈理论构建了多阶段APT攻防随机博弈模型AO-ADSG（APT-oriented attack-defense stochastic game）。针对APT攻防对抗中双方效用不对等的现象引入非零和思想,设计符合APT攻击特征的全资产要素效用量化方法;在分析博弈均衡的基础上给出最优防御策略选取算法。最后,通过“夜龙攻击”模拟实验验证了提出方法的可行性及正确性。     

基于深度强化学习的资源受限条件下的DIDS任务调度优化方法

在节点性能有限的边缘计算环境下进行分布式入侵检测系统(distributed intrusion detection system, DIDS)的任务分配,是一种典型的资源受限任务调度问题.针对该问题,提出基于深度强化学习的DIDS低负载任务调度方案.该方案将任务调度过程描述为马尔科夫决策过程(Markov decision process, MDP)并建立模型的相关空间和价值函数,找到保持DIDS低负载状态的最优策略.针对状态和动作空间过大且高维连续的问题,提出通过深度循环神经网络进行函数拟合.实验表明,所提出方案可使DIDS在网络变化中动态调节调度策略,保持系统整体的低负载,而安全指标没有明显降低.     

多无人机协同直播场景下自适应任务卸载决策

针对多无人机协同执行任务过程中计算量大和能耗高的问题,基于计算卸载原理以及博弈理论,提出一种多无人机自适应任务卸载方案.在方案中首先对系统进行建模,构造出多节点相互制约的移动卸载模型;其次,根据卸载模型分别构建无人机执行任务时的时延与能耗计算方法,通过综合考虑延时和能耗两方面因素,生成系统全局代价函数;然后,设计出基于博弈理论和纳什均衡的自适应任务卸载算法,通过卸载算法与权重的分配实现最优计算节点的选取,实现整个直播系统的代价最小,从而平衡无人机计算时延与能量消耗;最后,与现有卸载模型相比,所提出的方案在任务执行过程中具有较强的移动性,能耗更低且时效性更高.仿真结果验证了所提出理论的有效性,具有现实意义.     

Multi-agent graphical games with input constraints: an online learning solution

This paper studies an online iterative algorithm for solving discrete-time multi-agent dynamic graphical games with input constraints. In order to obtain the optimal strategy of each agent, it is necessary to solve a set of coupled Hamilton-Jacobi-Bellman (HJB) equations. It is very difficult to solve HJB equations by the traditional method. The relevant game problem will become more complex if the control input of each agent in the dynamic graphical game is constrained. In this paper, an online iterative algorithm is proposed to find the online solution to dynamic graphical game without the need for drift dynamics of agents. Actually, this algorithm is to find the optimal solution of Bellman equations online. This solution employs a distributed policy iteration process, using only the local information available to each agent. It can be proved that under certain conditions, when each agent updates its own strategy simultaneously, the whole multi-agent system will reach Nash equilibrium. In the process of algorithm implementation, for each agent, two layers of neural networks are used to fit the value function and control strategy, respectively. Finally, a simulation example is given to show the effectiveness of our method.     

基于模型预测控制的无人机时空协同航迹规划

为了求解同时实现空间协同和时间协同的多无人机时空协同问题,提出了基于分布式模型预测控制的多无人机在线协同航迹规划的方法。建立了由MPC（Model Predictive Control,）控制器、空间协同模块和时间协同模块组成的多无人机分布式时空协同航迹规划框架结构。MPC将时空协同问题转化为滚动优化问题,优先级的方法实现了空间协同和时间协同的解耦,同时改进了碰撞冲突消解规则,并设计了时间冲突消解规则,解决了分布式时空协同问题的动作一致性问题。仿真实验表明,该方法可以有效地实现多无人时空协同航迹规划。     

基于混沌自适应萤火虫算法的UAVs分配策略

针对多无人机多类型作战任务分配问题,提出一种混沌自适应萤火虫优化算法.将全局历史最优值和自适应惯性权重引入位置公式,并采用自适应步长以加快收敛速度、提高精度.运用变尺度混沌方法改进光吸收强度系数防止其陷入局部最优解.将改进算法的应用效果与粒子群优化算法(PSO)和萤火虫算法(FA)对比,结果表明,该算法能够提升多无人机...