基于深度强化学习的无人机目标跟踪研究

基于目标跟踪任务,阐述运用深度学习为我方无人机训练跟踪策略,寻找最适于无人机对目标跟踪的深度学习算法,建立了目标跟踪模型,并运用四种算法进行训练,比较了在线训练的指标以及离线执行时的结果,从而在双决斗深度Q学习和近端策略优化中取得了最好的训练效果。     

基于物理规划的无人机多目标航迹规划

无人机航迹规划是典型的多目标优化问题, 传统的线性加权和法需反复迭代以确定一组满足工程特性需求的目标权重系数。物理规划方法通过构造偏好函数直接反映规划人员对航迹规划各目标的特性需求, 避免了因为反复迭代确定各目标权重系数所导致计算量大的缺陷, 因此,将物理规划方法与粒子群优化算法相结合用于无人机多目标航迹规划。仿真实验验证了该航迹规划方法能够获得各目标偏好结构下的折中解。     

基于深度学习的无人机航拍目标检测与跟踪方法综述

基于视觉的目标检测与跟踪方法是当前最火热的研究方向之一。近年来,随着无人机技术的快速发展,利用无人机航拍技术进行目标检测与跟踪也成了研究的热点。对于无人机目标检测,首先探讨了无人机航拍目标检测与跟踪任务的复杂性和难点,并着重介绍了以深度学习为基础的目标检测算法;针对无人机目标跟踪技术,深入探讨了以相关滤波为基础和以深度学习为基础的两种判别式目标跟踪算法;最后,总结并展望了在无人机领域目标检测与跟踪技术的应用前景。     

基于深度强化学习的无人机编队控制

针对无人机编队控制中无人机智能化程度不足、缺乏自主学习能力等问题,基于深度强化学习中DDQN算法设计无人机编队控制器,该控制器可同时控制速度与航向通道,使僚机能够自学习跟踪长机并保持编队,提高无人机智能化程度。为验证设计控制器的有效性,通过仿真将设计的DDQN控制器与传统PID控制器进行对比。对比结果表明,该控制器可有效形成无人机编队并满足编队要求,对无人机编队智能化控制进行了有效探索。     

基于迁移学习SAE的无人机目标识别算法研究

无人机在复杂战场环境下,因敌我双方无人机外形、颜色等特征较为相似,如何准确地对敌方无人机识别是实现其自主导航及作战任务执行的关键。由于受敌方无人机飞行速度、形状、尺寸、姿态等的改变及气象环境因素的影响,无法准确地对其进行识别与分类。针对这一问题,提出基于迁移学习卷积稀疏自动编码器（Sparse Auto-Encoder,SAE）实现对航拍多帧图像中敌方目标对象的识别与分类。算法首先借助SAE对源领域数据集中大量无标记样本进行无监督学习,获取其局部特征;然后,采用池化层卷积神经网络（CNN）算法提取目标图像全局特征;最后,送入Softmax回归模型实现目标对象的识别与分类。实验结果表明:与传统非迁移学习的SAE算法及基于底层视觉特征学习的识别算法相比,该算法具有更高的准确性。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

基于粒子群优化算法的多无人机多目标航迹路径规划

针对多无人机多目标航迹路径规划中容易陷入局部最优,机间碰撞以及时效低等问题.提出一种多无人机多目标下改进的粒子群算法（Multi UAV Multi-Objective Improved Particle Swarm Optimization, MUMOIPSO）.该方法将改进的粒子群算法与Dubins算法相结合.首先,通过目标置换以及粒子交叉等方法对粒子群算法中速度和位置更新方式进行改进;通过将自身速度引起位置变化的目标进行置换操作,将个体极值和全局极值影响自身位置变化的粒子进行交叉操作,使改进的粒子群算法适合多无人机多目标航迹路径规划.其次,应用反正切函数改进惯性因子,线性递减函数改进非负的加速度系数,在前期提高无人机全局搜索能力,在后期提高无人机局部搜索能力避免陷入局部最优.最后,采用Dubins算法结合Intersection Type方法规划出一条无碰撞的平滑路径.仿真结果表明,所提出的算法在保证良好稳定性的前提下,其搜索效果与路径规划方式更优,较对比其他算法在适应度函数和总航程方面分别提高16.3%和10.2%.     

基于多无人机协同网络的多运动目标监测

本文提出了一种基于动物群体感知的多无人机协同资源调度与任务分配方案,以及基于多数据源融合的运动小目标识别技术和定位跟踪模型,并在多无人机和传感器的监控下进行了多运动目标的识别与跟踪实验.     

多智能体强化学习飞行路径规划算法

为了减轻现代空战中大量信息处理给飞行员带来的负担,同时为了实现无人机航路自主规划,提出了一种基于多智能体强化学习理论的飞行路径规划算法.该算法采用多智能体强化学习的方法,采用两个功能不同的智能体,分别对应局部和全局路径规划.该算法对状态和动作空间进行划分和抽象,有效地减少了状态的数量,解决了强化学习维数灾难的问题.最后用Matlab对此算法进行了数字仿真,验证了算法的可行性,仿真实验结果显示该算法收敛速度快,能够解决飞行路径规划的任务.     

一种基于深度学习的公路巡检无人机实时目标跟踪算法

公路中心标线的实时跟踪是公路巡检无人机视觉飞行中关键的一环.针对目前主流目标跟踪算法实时性差的问题,提出一种基于改进YOLO(you only look once)v3和Deep-SORT(deep simple online real-time tracking)的目标跟踪模型用于公路巡检无人机自主视觉飞行.通过引入...     

无人机多目标测控系统研究

本文概述了无人机侦察的作用与地位及对无人机测控系统的要求,探讨了无人机多目标测控系统的实现原理,并介绍了国外无人机多目标测控系统的水平与现状及应用情况,对我国无人机测控系统的发展提出了一些建议。     

稀疏奖励下基于强化学习的异构多智能体对抗

文中在多智能体对抗问题研究过程中,采用强化学习为研究方法,以完全中心化训练架构为基础,选用基于策略的强化学习算法,针对领域研究中广泛存在的稀疏奖励问题,采用基于任务局部的奖励工程设定方法,以人为经验知识为导引,加速训练过程,提升训练结果.最后以对抗问题中典型的攻防对抗为场景进行了仿真实验,验证了方法的有效性.     

基于深度学习的多视窗SSD目标检测方法

提出了一种基于深度学习的多视窗SSD （Single Shot multibox Detector）目标检测方法。首先阐述了经典SSD方法的模型与工作原理,并根据卷积感受野的概念和模型特征层与原始图像的映射关系,分析了各层级卷积感受野大小和特征层上默认框在原始图像上的映射区域尺寸,揭示了经典SSD方法在小目标检测上不足的原因。基于此,提出了一种多视窗SSD模型,阐述了其模型结构与工作原理,并通过106张小目标图像数据集测试,评估和对比了多视窗SSD方法与经典SSD方法在小目标检测上的物体检索能力与物体检测精度。结果表明:在置信度阈值为0.4的条件下,多视窗SSD方法的AF （Average F-measure）为0.729,mAP （mean Average Precision）为0.644,相比于经典SSD方法分别提高了0.169和0.131,验证了所提出算法的有效性。     

基于深度学习的无人机空地信道估计方法

针对无人机下行数据链路容易受到复杂地面环境影响而产生信道估计精度不足的问题,提出了一种多神经网络结合使用的信道估计算法。在对无人机三种飞行阶段分析基础上,先采用三径模型进行信道建模,用OFDM系统对空地数据链建模生成样本数据;其次通过最小二乘算法对导频信息预处理,以DNN网络进行去噪处理,BiLSTM网络进行双向估计,再以DNN网络进行降维处理,实现对信道的估计。仿真结果表明,与传统算法和现有深度学习算法相比,所提出的算法在均方误差和误码率指标性能上均具有较大的提升。     

基于机载下视图像的深度学习目标检测系统

利用无人机进行巡航、侦查及预警等是当前信息化战争的主要手段之一,无人机图像中关键目标的快速检测及准确识别是后续任务的基础。由于无人机图像具有分辨率高、目标尺寸小等特点,实际应用中往往对检测的时效性具有一定的要求,现有算法无法实现检测准确率与速度的有效折中。因此,提出一种全局与局部联合检测的策略,将深度学习目标检测算法与模板匹配相结合,充分利用图像信息,并综合使用多进程及多线程机制加快处理速度,构建了一套可用于地面站的实时目标检测系统。实验结果表明,针对运动状态下的无人机视频图像,系统对焦距从1～10倍距变化情况下的目标均具有较高的检测准确率,同时实现了检测结果实时稳定地显示。     

基于深度强化学习的无人机间通信链路智能决策

由于无人机组网灵活、快速、低成本的特性,空中基站被视为在未来无线通信中有前景的技术。无人机集群可以通过相互协调和合作,完成的复杂任务,具有重大的研究和实用价值,而无人机间的高效通信是当下面临的重大挑战。为了在满足无人机间通信速率的前提下,尽可能节省发射功率,本文提出基于深度强化学习的集群方案和功率控制的智能决策算法。首先,本文设计了三种无人机集群方案,以对地面用户提供无缝的无线覆盖;然后,本文提出了基于深度Q网络（Deep Q-network）算法的集群方案和功率控制决策算法,用深度神经网络输出不同条件下联合决策的无人机集群方案和发射功率,并研究了重要性采样技术,提高训练效率。仿真结果表明,本文提出的深度强化学习算法能够正确决策无人机集群方案和发射功率,与不带强化学习的深度学习（Deep Learning Without Reinforcement Learning, DL-WO-RL）算法相比,用更低的发射功率满足无人机之间的通信速率要求,并且重要性采样技术能够缩短DQN算法的收敛时间。      

基于深度学习的无人机载平台多目标检测和跟踪算法研究

无人机技术和计算机视觉技术相结合,在民用和军用领域都有着广泛的需求,然而当前算法不能很好的适应无人机视角旋转、障碍物遮挡、目标尺度变化等特殊情况.根据实际的难点和挑战,提出了基于深度学习的无人机载平台多目标检测和跟踪算法.主要工作有:在检测方面,通过公开数据集和实际采集的大量数据,训练了基于Darknet53的检测网络...     

多示例深度学习目标跟踪

为解决多示例跟踪算法中外观模型和运动模型不足导致跟踪精度不高的问题,该文提出多示例深度学习目标跟踪算法。针对原始多示例跟踪算法中采用Haar-like特征不能有效表达图像信息的缺点,利用深度去噪自编码器提取示例图像的有效特征,实现图像信息的本质表达,易于分类器正确分类,提高跟踪精度。针对多示例学习跟踪算法中选取弱特征向量不能更换,难以反映目标自身和外界条件变化的缺点,在选择弱分类器过程中,实时替换判别力最弱的特征以适应目标外观的变化。针对原始多示例跟踪算法中运动模型中仅假设帧间物体运动不会超过某个范围,不能有效反映目标的运动状态的缺点,引入粒子滤波算法对目标进行预测,提高跟踪的准确性。在复杂环境下不同图片序列实验结果表明,与多示例跟踪算法及其他跟踪算法相比,该文算法具有更高跟踪精确度和更好的鲁棒性。     

基于深度强化学习的无人机可信地理位置路由协议

针对无人机(UAV)通信过程中存在的高移动性和节点异常问题,该文提出一种基于深度强化学习的无人机可信地理位置路由协议(DTGR)。引入可信第三方提供节点的信任度,使用理论与真实的时延偏差和丢包率作为信任度的评估因子,将路由选择建模为马尔可夫决策过程(MDP),基于节点信任度、地理位置和邻居拓扑信息构建状态空间,然后通过深度Q网络(DQN)输出路由决策。在奖励函数中结合信任度调整动作的价值,引导节点选择最优下一跳。仿真结果表明,在包含异常节点的无人机自组网(UANET)中,DTGR与现有方案相比具有更低的平均端到端时延和更高的包递交率。当异常节点数量或者比例变化时,DTGR能感知环境并高效智能地完成路由决策,保障网络性能。