基于Q学习的多无人机协同航迹规划方法

针对多无人机同时到达目标的航迹规划问题，建立战场环境模型和单无人机航迹规划的马尔可夫决策模型，基于Q学习算法解算航程最短的最优航迹，应用基于Q学习算法得到的经验矩阵快速解算各无人机的最短航迹并计算协同航程，通过调整绕行无人机的动作选择策略，得到各无人机满足时间协同的航迹组。考虑多无人机的避碰问题，通过设计后退参数确定局部重规划区域，基于深度Q学习理论，采用神经网络替代Q_table对局部多无人机航迹进行重规划，避免维度爆炸问题。对于先前未探明的障碍物，参考人工势场法思想设计障碍物Q矩阵，将其叠加至原Q矩阵，实现无人机的避碰。仿真结果表明：所提基于Q学习的多无人机协同航迹规划算法能够得到时间协同与碰撞避免的协同航迹，并对环境建模时所未探明的障碍物进行躲避；与A^*算法相比，针对在线应用问题，新算法具有更高的求解效率。