深度强化学习的无人作战飞机空战机动决策

无人作战飞机(unmanned combat aerial vehicle,UCAV)在进行空战自主机动决策时,面临大规模计算,易受敌方不确定性操纵的影响。针对这一问题,提出了一种基于深度强化学习算法的无人作战飞机空战自主机动决策模型。利用该算法,无人作战飞机可以在空战中自主地进行机动决策以获得优势地位。首先,基于飞机控制系统,利用MATLAB/Simulink仿真平台搭建了六自由度无人作战飞机模型,选取适当的空战动作作为机动输出。在此基础上,设计了无人作战飞机空战自主机动的决策模型,通过敌我双方的相对运动构建作战评估模型,分析了导弹攻击区的范围,将相应的优势函数作为深度强化学习的评判依据。之后,对无人作战飞机进行了由易到难的分阶段训练,并通过对深度Q网络的研究分析了最优机动控制指令。从而无人作战飞机可以在不同的态势情况下选择相应的机动动作,独立评估战场态势,做出战术决策,以达到提高作战效能的目的。仿真结果表明,该方法能使无人作战飞机在空战中自主的选择战术动作,快速达到优势地位,极大地提高了无人作战飞机的作战效率。     

深度确定性策略梯度和预测相结合的无人机空战决策研究

针对无人机自主空战机动决策过程中遇到的敌方不确定性操纵问题，提出了一种目标机动指令预测和深度确定性策略梯度算法相结合的无人机空战自主机动决策方法。对空战双方的态势数据进行有效的融合和处理，搭建无人机六自由度模型和机动动作库，在空战中目标通过深度Q网络算法生成相应机动动作库指令，同时我方无人机通过概率神经网络给出目标机动的预测结果。提出了一种同时考虑了两机态势信息和敌机预测结果的深度确定性策略梯度强化学习方法，使得无人机能够根据当前空战态势选择合适的机动决策。仿真结果表明，该算法可以有效利用空战态势信息和目标机动预测信息，在保证收敛性的前提下提高无人机自主空战决策强化学习算法的有效性。     

歼击机空战机动的仿真建模研究

建立了现代歼击机空战机动仿真模型。该模型能够反映现代空战中歼击机运动特点及歼击机运动与机载雷达工作状态和空空导弹瞄准发射的关系。该模型计算的驾驶员操作程序提示信息能够满足驾驶员进行远、近距空战模拟的要求。利用该模型,在空战模拟器上实现了驾驶员参与的一对一超视距和近距空战模拟。仿真结果验证了模型的合理性和可行性。     

基于SAGA的协同多目标攻击决策

以超视距协同空战为背景,在对每个目标分配一枚导弹攻击的模式下,研究了协同多目标攻击空战决策问题.首先,基于对空战威胁态势的分析,将协同多目标攻击决策问题转化为导弹目标攻击分配的优化问题并建立其攻击效能评估模型.然后,提出将模拟退火遗传算法(SAGA)用于该问题的寻优,算法中个体采用整数编码,并采用非常规的交叉与变异操作产生新的个体.在进化结束后,通过最佳导弹目标分配个体求得最终协同攻击决策方案.仿真结果表明所提出的算法对最优分配方案的搜索效率明显优于单纯的遗传算法.     

雷达支援下的距离波门拖引干扰反导研究

针对具有一定机动能力、装备有雷达和电子战系统的作战平台对抗雷达末制导导弹的问题,提出了在雷达的支援下运用距离波门拖引干扰对抗导弹的方法．即干扰机对导弹实施干扰时,根据雷达提供的导弹与平台间的距离信息,自行控制和调整干扰开启和停止的时机,使得导弹在临近目标时刚好由跟踪状态转入搜索状态,同时,作战平台利用导弹的搜索时间进行适当的机动规避,从而逃出导弹的攻击范围,摆脱导弹的攻击．仿真结果表明了该方法的有效性．     

基于作战过程的机动导弹武器系统生存能力评估建模

生存能力是机动导弹武器系统最重要的战技指标，生存能力评估对机动导弹武器系统研制以及作战运用都具有重要的意义。选取和分析了基于作战过程的机动导弹武器系统地面生存能力影响因素及评估方法。在合理的假设下，基于想定的打击模式，考虑主要的指标因素影响，建立了机动导弹武器系统在不同打击模式下生存能力的解析评估模型。     

战机自主作战机动双网络智能决策方法

在基于深度强化学习(Deep Reinforcement Learning,DRL)的战机自主作战机动决策研究中,战机向攻击区域的自主机动是战机对目标进行有效打击的前提条件.然而,战机活动空域大、各向探索能力不均匀,直接利用DRL获取机动策略面临着训练交互空间大、攻击区域样本分布设置困难,进而训练过程难以收敛.针对该问题,提出了一种基于深度Q网络(Deep Q-Network,DQN)的双网络智能决策方法.通过在战机正前方设置锥形空间,充分利用战机前向探索性能;建立角度捕获网络,利用DRL对战机偏离角调整策略进行拟合,实现偏离角自主调整,使攻击区域处于战机正前方的锥形空间内;建立距离捕获网络,在锥形空间内利用DRL对战机向攻击区域机动策略进行拟合,实现其向攻击区域的有效机动.实验结果表明,以战机活动空域作为交互空间直接引用DRL,不能有效解决战机向攻击区域机动的决策问题;采用基于DRL的双网络决策方法,在1 000次战机自主向攻击区域机动的测试中成功率达到了83.2%,有效解决了战机向己方攻击区域自主机动的决策问题.     

改进决策树的无人机空战态势估计

针对无人机空战态势估计中存在的多参数、非线性、实时性问题,提出了一种改进决策树思想的态势估计推理方法.首先,通过结合无人机与敌机的状态参量作为决策树模型的输入,确保态势估计的依据中包含交战双方的信息,为无人机态势估计的结果的合理性提供理论依据;然后,建立4类态势结果作为决策树模型的输出,以满足态势响应快速性的要求,根据影响空空导弹攻击区的状态参量,对比相同状态参量下,无人机与敌机的评价指标值的大小,构建对应的空战态势分类指标.建立了空战态势分类规则,作为决策树的推理规则,在决策树的节点对态势不断细化.最后,针对决策树中未开发分支引入反推理规则,在未知情形下提高学习能力.通过对不同的典型空战场景:一对一、一对二和二对二,进行仿真验证,并将结果与贝叶斯推理法进行全面比较,通过分析,所提方法用时5.39 s,准确度为80%,贝叶斯推理法用时11.63 s,准确度为60%.准确的实验结果表明所提方法比贝叶斯推理方法的评估速度更快,准确度更高.     

基于区间灰数-模拟退火遗传算法的协同空战决策

文摘针对不确定环境下超视距空战中多架先进四代机协同攻击多个空中敌对目标的问题进行了研究。首先,构建空战态势评估指标体系,并用区间层次分析法(IAHP)和模糊优选法确定指标的主客观权重。然后建立相应的不确定环境下的多目标优化攻击效能评估模型,将协同多目标攻击决策问题转化为导弹攻击配对优化问题。进一步提出一种基于区间灰数的模拟退火遗传算法(ISAGA)用于该决策问题的求解,针对性地设计了新的选择操作和相应的模拟退火机制,有效防止算法过早陷入局部最优并能在有限迭代次数内得到满意的解。最后根据寻优所得的解确定合理的攻击方案。仿真结果表明所提出的算法能有效解决不确定环境下协同多目标攻击决策问题。     

舰艇编队导弹攻击火力分配微分对策模型

为了解决舰艇编队导弹数量、打击要求及打击效果之间的矛盾，利用新的理论来研究导弹攻击的火力分配问题。水面舰艇对海上编队目标进行攻击，考虑双方实时的毁伤，以双方的作战实力差为目标函数，根据导弹对舰艇的毁伤规律引入约束条件，构建了导弹攻击火力分配微分对策模型，实时、准确、动态地描述了双方的对抗过程，探讨了相应的拉格朗日乘子法求解方法；得出了双方的最优策略，为指挥员提供决策支持和依据。     

机载红外诱饵运动特性仿真技术研究

飞机及其投射红外诱饵飞行轨迹模型是红外对抗评估数字仿真和半实物仿真的一个重要环节.文章分析了目标飞机及其投射红外诱饵的运动特性,建立了目标飞机运动模型及其各种典型机动方式的模型;并建立了红外诱饵的运动模型,所建红外诱饵模型综合考虑了红外诱饵在飞行过程中所受到的空气阻力和重力、诱饵的质量变化、诱饵投射的初速、诱饵投射的方位、投射诱饵时载机的位置与速度等因素.使用经典的四阶龙枷库塔方法对上述模型的运动方程进行求解,利用VC编制了栽机投射红外诱饵的运动仿真软件,该仿真软件能够实现目标飞机在各种机动方式下投射红外诱饵,投射时间、投射数量、投射方位、投射速度都可以由用户进行设定,最后给出了几组典型的仿真结果.     

双层规划模型的大规模UCAV编队队形优化

为解决复杂约束环境下大规模无人战斗机(UCAV)编队队形优化问题,提出基于双层规划模型的队形优化求解算法.以大规模UCAV编队空对地饱和打击作战场景为例,建立UCAV编队作战上层规划模型,通过采用离散粒子群-模拟退火(DPSO-SA)算法进行求解,得到执行每个任务的UCAV编号和最优队形;根据现有的编队作战队形库,建立编队中UCAV站位下层规划模型,通过采用遗传算法进行求解,得到UCAV在队形中的位置.仿真结果表明:在上层规划模型中引入改进模拟退火算法,可以解决离散粒子群算法易陷入局部极小值的问题;设计双层规划模型,可以解决DPSO-SA算法后期收敛速度慢的问题.相对于单层规划模型,双层规划模型求解大规模UCAV编队队形优化问题收敛速度更快,寻优效果更好.     

导弹非逃避包络研究

运用微分对策理论研究了导弹与飞机之间平面攻击问题。提出了导弹非逃避包络的概念及模型，采用强迫奇异摄动方法求得了统一的近似反馈制导控制律，通过仿真得到了导弹的非逃避包络。     

固定时间收敛的空空导弹直接力/气动力复合控制

针对带有直接力/气动力复合控制系统的空空导弹控制律设计问题,提出了一种基于固定时间收敛的滑模控制理论和动态控制分配技术的复合控制策略.首先,根据导弹纵向运动模型设计一种固定时间收敛的滑模控制器,获得建立导弹过载所需要的虚拟控制力矩,并实现过载跟踪误差在指定时间内收敛;其次采用动态控制分配技术将期望控制力矩分别映射到气动力和直接力装置;然后,通过李雅普诺夫理论证明了系统是固定时间收敛的,可以快速收敛到平衡点;最后通过数字仿真验证了所设计复合控制策略的有效性和可实现性.     

螺旋机动目标建模与跟踪滤波器设计

建立了一种描述弹道导弹作圆锥形螺旋机动的三维耦合运动数学模型.根据目标进行圆锥形螺旋机动的两种运动模式,得出了两种模式下具有相同形式的描述目标运动的状态方程,此运动状态方程是线性的且只与目标机动频率相关.进而给出了该状态方程的离散化形式,以及通过坐标转换关系,设计此类螺旋机动目标的跟踪滤波器的方法.最后通过导弹拦截实例仿真,验证了本文所提出的方法具有良好的目标跟踪效果.     

空空导弹发射包线灵敏度分析研究

提出了用导弹发射包线灵敏度系数来反映发射包线与操纵参数的关系，从而创造发射机会的原理．针对离轴发射导弹进行仿真研究，分析了导弹发射条件的改变对导弹发射包线的影响，并提出将灵敏度因子显示给飞行员，帮助飞行员判定发射包线的变化趋势，便于更好地抓住战机．     

飞机空战仿真中机动指令生成器设计

针对大规模空战体系对抗仿真研究过程中飞机运动仿真所需的3自由度质点动力学模型，分析了机动指令生成器设计原理，并以指挥自动化系统给出的航路导引指令为例，建立了航路飞行机动指令生成器数学模型。最后给出了1个飞机在航路导引指令要求下的飞行仿真算例。正确的仿真结果验证了指令生成器数学模型的合理性。机动指令生成器能够完成仿真任务，从而将在飞机飞行仿真中得到广泛应用。