基于深度强化学习的智能PID控制方法研究

针对复杂飞行器难以进行精确建模而导致的无法进行精确的过载跟随和抗干扰等难题,提出了基于深度强化学习技术的控制器设计方法,实现在飞行器模型不精确情况下的稳定控制。控制器采用PID控制结构,通过强化学习算法在线调整PID参数,研究飞行器的跟踪控制问题,实现了对典型指令信号的跟踪。对飞行器做定点仿真,仿真结果表明,当飞行器模型参数变化和外部干扰发生时,基于深度强化学习的智能PID控制器,可以实现对过载指令的精确跟踪。     

基于深度学习的光电系统智能目标识别

智能目标识别技术是光电系统多维立体侦察体系的重要支撑,是实现多角度、全方位目标定位、感知分析的基础。为满足复杂环境下光电系统中基于深度学习的目标识别需求,聚焦数据、算法和计算能力三大挑战,提出一种基于多源信息融合的智能化目标识别方法,对多个传感器融合得到的图像进行学习和训练,从而提高目标识别的能力。基于多维图像融合的目标识别技术,将多波段融合图像数据进行标注、训练学习,用来自动识别出图像中的多个目标。实验结果表明,所提算法能够实现对融合目标的精确识别与定位。     

基于深度强化学习的巡飞弹突防控制决策

巡飞弹突防控制决策（LMPCD）问题是“多域战”作战概念背景下的重要研究方向。针对该问题,建立基于马尔可夫决策过程的LMPCD模型。拟合LMPCD函数与飞行状态-动作值函数,构建基于演员-评论家方法的LMPCD框架,给出基于深度确定性策略梯度算法的深度强化学习模型求解方法,生成巡飞弹突防控制最优决策网络。通过1 000次巡飞弹突防仿真测试,结果表明,巡飞弹执行任务成功率为82.1%,平均决策时间为1.48 ms,验证了LMPCD模型及其求解过程的有效性。     

基于强化学习的无人机集群对抗策略推演仿真

无人机集群在军事战争、公共安全和商业领域的应用越来越广泛,但在复杂多变的对抗环境下,制定高效的策略仍然是一个挑战。为使无人机集群能够自主学习和适应对抗环境的变化,提高任务执行的效率和成功率,提出一种基于值分解的多智能体强化学习算法框架,在仿真平台模拟不同对抗场景下的无人机集群行为,通过强化学习算法,培养无人机集群在不同情境下做出决策的能力,以实现任务目标的最优化。讨论不同强化学习算法在无人机集群对抗策略中的应用和性能比较。实验结果表明,该算法在多种集群对抗环境下均表现出良好的效果,展现出其在军事无人机集群对抗中的有力支持。     

基于深度强化学习的三体对抗博弈策略研究

针对三体对抗场景中的攻防博弈问题,提出了基于深度强化学习的智能博弈策略,包括适用于进攻弹的攻击策略以及适用于目标/防御弹的主动防御策略。在经典三体对抗研究的基础上引入强化学习算法,提高了算法训练的目的性,同时在奖励函数设计中考虑了攻防对抗双方的奖惩条件。应用深度强化学习算法对攻防双方智能体进行训练,并得到收敛的博弈策略。仿真结果表明,通过训练获得的进攻弹的攻击策略能够根据战场态势合理规划机动行为,在避开防御弹攻击后仍能在短时间内成功命中目标;目标/防御弹的主动防御策略中的目标扮演诱饵角色,防御弹将进攻弹迅速锁定在拦截三角形上,从而使目标在战场上面临机动能力较强的进攻弹时,能够免于攻击。     

基于多缩微车的智能交通半实物仿真平台

为了更真实地模拟现实环境中的人、车、路等交通要素及相关的交通设施,解决交通安全与拥堵等问题,提出一种缩微尺度下智能交通半实物仿真平台。介绍了半实物仿真平台的硬件组成和软件架构,进行车载系统、道路及路侧系统设计,详细说明此平台在车辆自主驾驶与多车交互驾驶、三维构图与定位和基于事件驱动的车联网集群混成控制3个方面的应用,并进行仿真。仿真结果表明：该平台能够使缩微智能车实现完全模拟真车在真实道路环境下的驾驶行为,为交通系统仿真与智能交通系统的研究提供了有益借鉴。     

基于深度强化学习的导弹末端约束角制导律

拦截碰撞角约束制导可以增加空空导弹的毁伤能力,而传统的比例导引律无法对导弹的打击角度进行约束。为控制空空导弹的拦截碰撞角,提出了一种基于深度强化学习的偏置比例导引律,完成了以特定倾角拦截目标的任务。引入了导弹剩余飞行时间作为强化学习模型的部分状态量,提升了智能体的学习收敛速度。与传统的比例导引律和基于落角约束的最优导引律进行了仿真对比实验。仿真结果表明,所提出的制导律在保证精准拦截目标的同时,对导弹末端碰撞角的控制精度也大于其它约束角制导律。     

基于深度强化学习的机械臂动态目标抓取方法

针对现有机械臂动态目标抓取方法轨迹规划困难、实时性不足、难以实现六自由度抓取等问题,提出一 种基于深度强化学习(deep reinforcement learning,DRL)的机械臂动态目标抓取方法。进行马尔可夫决策过程(Markov decision process,MDP)建模,设计状态空间、动作空间以及奖励函数,实现机械臂对动态目标的六自由度抓取。基 于Pybullet 构建机械臂动态目标抓取仿真试验环境,对该方法进行训练,将训练得到的策略在新颖场景进行测试, 并与经典规划控制的动态目标抓取方法进行对比。仿真结果表明：该方法能实现机械臂对动态目标的六自由度抓取, 在抓取成功率和速度上具有优势。     

基于安全强化学习的多智能体覆盖路径规划

覆盖路径规划的目的是为智能体找到一条安全的轨迹,其不仅可以有效覆盖任务区域,而且可以避开障碍物与邻近智能体。在执行覆盖任务时,复杂的大面积任务区域总是不可避免的。如何在保证智能体安全的前提下加强智能体之间的协同合作,以改善集群任务效率低、能力不足的缺点是值得探索的问题。为此,利用栅格地图建立离散的覆盖路径规划数学模型,提出一种基于值分解网络的安全多智能体强化学习算法,并通过理论证明论证其合理性。该算法通过分解群体价值函数以避免智能体的虚假奖励,有助于加强智能体之间协同覆盖策略的学习,以提高算法的收敛速度。通过在训练过程中引入屏蔽器以修正智能体的出界和碰撞等行为,保证智能体在整个任务过程中的安全。仿真和半实物实验结果表明,新算法不仅可以保证智能体的覆盖效率,同时还能有效维护智能体的安全。     

一种基于强化学习的指挥智能体控制方法

针对无人水下航行器(unmanned underwater vehicle,UUV)如何进行任务分配、航路规划、指挥控制问题, 提出一种新的控制实现方法。搭建UUV 指挥智能体训练平台,设计学习训练所需的想定,进行状态设计、数据适配、 决策解析和规则库建立,选定近端策略优化(proximal policy optimization,PPO)强化学习算法进行训练,并进行应用 验证。结果表明：指挥智能体能有效对UUV 进行任务分配、航路规划、指挥控制;通过不断优化算法,可提高战胜 基于规则的传统控制方法的胜率。     

基于强化学习的多发导弹协同攻击智能制导律

为实现多发导弹对目标的协同攻击,提升打击效能,提出一种基于深度确定性策略梯度下降神经网络的强化学习协同制导律.修正了基于线性交战动力学的剩余飞行时间估计方程,不再受小角度假设的约束,进而提高剩余飞行时间估计精度.以各弹的剩余飞行时间误差为协调变量,与各弹的剩余飞行距离一同作为强化学习算法的观测量.利用脱靶量和剩余飞行时...     

国产化环境下基于强化学习的地空协同作战仿真

以未来战场无人地空协同作战为需求牵引,面对军事领域实战场景匮乏、训练数据不足的实际问题,聚焦仿真环境下的深度强化学习方法,实现地空协同作战仿真中多智能体决策模型。在飞腾CPU和昆仑K200硬件平台与麒麟V10操作系统环境下搭建虚拟仿真环境,设置仿真环境状态表征、各智能体动作空间及奖励机制,构建基于深度确定性策略梯度算法的多智能体模型(MADDPG),通过仿真实验验证采用MADDPG算法能够使奖励值在地空协同作战仿真场景中逐渐收敛,从而证明该模型应用于地空协同作战的决策有效性。     

基于CAN总线的综合电子仿真平台设计

CAN总线具有传输效率高、可靠性高、实时性好和价格低廉等特点,目前已应用于军用雷达及其他武器装备.综合电子仿真平台用4台PC机作为网络节点,使用CAN总线连接4个节点构成网络.对系统工作流程进行了分析,并利用虚拟仪表技术、多媒体技术、实时数据库技术和数据通信技术开发了基于CAN总线的综合电子仿真平台.该平台可以实现综合电子系统的功能仿真、故障测试和性能分析.     

基于高速局域网的MIF仿真平台总体框架设计

提出了基于高速局域网的MIF仿真平台的设计思想和总体框架.结合已有的图像融合算法,完成多源图像的预处理、图像配准、图像融合、融合图像与基准图的匹配及效果评估,构成一个多功能的基于高速局域网的MIF仿真平台总体框架,实现多源图像融合过程的实时化与可视化.此外,本文还对采用MIF仿真平台开展多源图像融合仿真研究的基本流程和4个重要环节进行了讨论.     

基于强化学习的集群多目标分配与智能决策方法

为提升高动态协同攻击条件下的攻防效能,研究基于强化学习的集群多目标智能分配与决策方法。建立综合攻击性能评估准则,包括基于相对运动信息的攻击优势度评估以及基于目标固有信息的威胁度评估。综合攻击性能、突防概率以及攻击消耗,设计攻防效费比性能指标。构建基于强化学习的多目标决策架构,设计以分配向量为基本元素的动作空间,以及基于量化性能指标的状态空间,利用Q-Learning方法对协同攻击方案,包括导弹选取以及分配形式进行智能决策。仿真结果表明,强化学习能够实现攻防效能最优的多目标在线决策,其计算效率相对于粒子群优化算法具有更明显的优势。     

基于多智能体的战术仿真系统体系结构设计方法

针对传统模拟方法已经无法适应现代战场环境的问题,提出一种基于多智能体的战术仿真系统体系结构设计方法。以完成单兵种战术模拟演习任务为牵引,给出体系结构中单个智能体的仿真模型及形式化描述,引入合作任务管理器实现多个智能体之间的协同通信。实验结果证明:该方法有效且具有一定的可行性,能够客观地反映军事演习的整个过程。     

基于强化学习的对空雷达抗干扰波形设计

被探测目标的电子战能力严重影响对空雷达的检测和识别性能。针对对空雷达抗干扰问题,提出基于强化学习的抗干扰波形设计方法。从博弈角度利用强化学习方法建立雷达和目标干扰间动态对抗模型,计算博弈各方状态、动作价值,利用策略迭代法生成最优策略,基于相位迭代法合成时域波形。仿真结果表明：使用新方法设计的雷达发射信号时,与线性调频信号、捷变频信号相比,信干噪比分别提高了6.39 dB和1.12 dB;信号总功率为11 W时,与捷变频信号相比,目标检测概率提升了5%,可在低功率实现抗干扰的同时提升雷达信号抗截获性能。     

基于计算机仿真平台的弹上天线研究与设计

介绍了利用计算机仿真平台设计弹上天线的新方法．简介了有限积分法．结合CST微波工作室电磁仿真软件设计天线的实例，对这种新的天线设计方法给予检验．     

基于协同仿真平台的系统仿真方法研究

研究在协同仿真平台环境下对复杂系统进行仿真的方法.协同仿真平台支持异地建模、分布仿真,支持不同仿真工具之间的互操作.通过对系统的可视化静态结构和动态结构建模,实现不同粒度层次的模型重用,结合运行支撑和运行管理器实现系统的仿真.最后介绍了一个应用实例.     

一种深度强化学习的雷达辐射源个体识别方法

针对传统依赖于人工经验提取辐射源个体特征的不足,提出一种基于深度强化学习的雷达辐射源个体识别方法。利用发射机非理想信道造成的辐射源信号包络在信号变化时呈现的不同瞬态信息,以信号包络前沿作为深度神经网络的输入状态,以辐射源类别作为当前输入状态的可选动作,通过卷积神经网络自动提取辐射源包络个体特征,并拟合当前状态动作对的Q值,进而以强化学习模型完成雷达辐射源个体识别任务。讨论了深度Q网络模型、深度双Q网络模型以及Dueling Network模型3种深度强化学习模型在辐射源识别任务中的应用。实测数据仿真实验表明：传统机器学习算法的识别率不足80%,而深度强化学习网络的识别率高达98.42%.