基于引导Minimax-DDQN的无人机空战机动决策 |
| |
作者姓名: | 王昱 任田君 范子琳 |
| |
作者单位: | 沈阳航空航天大学自动化学院 |
| |
基金项目: | 国家自然科学基金资助项目(61906125);;辽宁省教育厅科学研究经费资助项目(LJKZ0222)~~; |
| |
摘 要: | 针对无人机(UAV)空战环境信息复杂、对抗性强所导致的敌机机动策略难以预测,以及作战胜率不高的问题,设计了一种引导Minimax-DDQN(Minimax-Double Deep Q-Network)算法。首先,在Minimax决策方法的基础上提出了一种引导式策略探索机制;然后,结合引导Minimax策略,以提升Q网络更新效率为出发点设计了一种DDQN(Double Deep Q-Network)算法;最后,提出进阶式三阶段的网络训练方法,通过不同决策模型间的对抗训练,获取更为优化的决策模型。实验结果表明,相较于Minimax-DQN(Minimax-DQN)、Minimax-DDQN等算法,所提算法追击直线目标的成功率提升了14%~60%,并且与DDQN算法的对抗胜率不低于60%。可见,与DDQN、Minimax-DDQN等算法相比,所提算法在高对抗的作战环境中具有更强的决策能力,适应性更好。
|
关 键 词: | 无人机空战 自主决策 深度强化学习 双重深度Q网络 多阶段训练 |
|