基于深度学习的无人机单目标跟踪

无人机单目标跟踪,是指对无人机运动过程中拍摄的视频进行实时处理,进而准确、稳定地跟踪一个移动目标。无人机单目标跟踪受环境影响较大,存在光照变化、背景干扰、目标遮挡、相似目标干扰等问题,使得追踪准确性尚有待提高。针对上述问题,以SiamRPN++为基础,对其模型和损失函数进行创新性优化。主要研究贡献：在网络骨架(Backbone)方面,通过引入注意力机制网络结构SENet,与原有模型的ResNet50组成Se＿ResNet50,提升对单目标跟踪的准确性和有效性;在损失函数方面,使用Balanced L1 Loss提升关键的回归梯度,在分类、整体定位以及精确定位中实现更加平衡的训练;在SiamRPN++的结构基础上,对Backbone和Loss函数进行优化。实验使用ILSVRC2013和ILSVRC2014的DET数据集进行训练,以VOT2018和OTB100为测试数据集检验训练精度。最终追踪准确性在原基础上得到了一定的提高。     

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题,提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先,设计MS-ResNet以提取目标多尺度特征;然后,在具有正交特性的多通道响应图上设计像素二分类模块,从而进一步精确细化分类和回归分支的结果;同时,为了提高像素分类精度,使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征;最后,在像素分类基础上生成贴合目标实际大小的旋转跟踪框,从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比,成功率与准确率分别提升了5个百分点、2.7个百分点,同时速度为67.5 FPS,满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性,能有效应对UAV跟踪任务。     

一种基于无人机云台的视觉目标跟踪方法

鉴于无人机视觉目标跟踪时会遇到目标遮挡、目标尺度变化等问题,同时目标跟踪方法复杂度受到云台芯片算力的严格限制,提出了一种基于无人机云台的视觉目标跟踪方法。基于多个特征相关滤波器的自适应权重融合来提升目标位置预测的精度。引入长宽相互独立变化的尺度变化池策略,解决无人机目标跟踪过程中目标尺度估计问题。通过设置模板检测和轨迹预测模块来有效地对目标跟踪过程中的遮挡状态进行检测和处理。该方法可在无人机云台芯片中实现实时跟踪,且在公开无人机目标跟踪数据集和自采集数据集中取得了很好的跟踪效果,与基线方法相比,成功率提升了10.7个百分点,准确率提升了3个百分点。     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

级联特征点检测的锥套小目标快速检测定位算法

为提升无人机自主空中加油中锥套小目标的检测精度和实时性,提出了级联网络与特征点检测网络的锥套小目标高精度快速定位算法。该算法设计了锥套目标全局粗定位和局部精定位的两级检测神经网络结构,采用特征点的输出位置误差及特征点群拟合的椭圆参数误差设计网络的损失函数,利用特征点拟合的锥套目标尺寸位置信息修正跟踪算法,提升了跟踪算法的和目标定位的实时性。实验测试结果表明,该定位算法定位成功率在95%以上,定位的精度（预测区域与真实区域的重叠率）在80%以上,定位输出速率达到100 Hz,对于环境的变化有着较强的适应性。因此该算法可以快速准确地进行锥套目标的跟踪,对于无人机空中加油技术的发展具有重要的研究意义。     

基于改进DeepSORT算法的摩托车头盔佩戴检测

为了解决在实际道路场景中对摩托车驾乘者头盔佩戴情况的检测与跟踪问题,提出一种优化的DeepSORT多目标跟踪摩托车头盔检测算法。使用改进的YOLOv3算法作为目标检测器,该方法采用MobileNetv3-Large作为YOLOv3特征提取网络,以轻量化网络结构,借鉴CEM模块的思想,引入SoftPool池化层和SE模块,构建了深浅语义融合增强模块,加强网络对输入特征深浅语义的编码能力。为了实现摩托车头盔佩戴分类和DeepSORT算法中外观特征识别模型的优化,构建多任务学习框架,通过对比损失函数和改进的交叉损失函数对多任务网络进行迭代训练来提升相似度学习能力和实现最终头盔佩戴情况分类。实验结果表明：在目标检测方面,改进网络的摩托车检测精度相较原始算法提升了4.56个百分点,模型大小仅为YOLOv3的13.7%。结合DeepSORT算法,多目标跟踪准确率相较于YOLOv3-DeepSORT算法从51.6%提升到了67.5%,多目标跟踪精度从57.3%提升到75.6%,检测追踪速度由6 FPS提升到了20 FPS,最终的NPH模型检测分类精度为72.42%。实现了对实际道路中摩托车驾乘人员头...     

基于改进SSD的航拍城市道路车辆检测方法

为提升无人机(UAV)航拍视角下城市道路车辆检测性能,基于SSD深度学习网络框架,改进并搭建了一种航拍城市道路车辆检测网络。一方面充分挖掘无人机航拍视角下车辆多为小目标的先验知识,利用K-means++聚类算法获取适应航拍车辆目标的默认候选框参数信息;另一方面,为保证小尺度目标特征的有效传递和准确提取,对基准SSD网络结构进行改进,在其特征提取网络骨架中加入了具有抗混叠效应的可学习低通滤波层,并保留用于小尺度车辆目标检测回归的大尺寸特征图。实验表明:在满足实时性的情况下,所提方法与基准SSD网络相比,检测精度提升了4.3个百分点,能够明显改善小尺度车辆目标检测效果,提高了无人机航拍视角下城市道路车辆目标整体检测精度。     

改进YOLOv8的轻量化无人机目标检测算法

针对无人机目标检测算法计算复杂难以部署,且长尾分布的无人机数据导致检测精度较低的问题,提出了基于改进YOLOv8的轻量化无人机目标检测算法(PC-YOLOv8-n),可均衡网络检测精度与计算量,并对长尾分布数据有一定泛化能力。使用部分卷积层(PConv)替换YOLOv8中的3×3卷积层,对网络进行轻量化处理,解决网络冗余和计算量复杂的问题;融合双通道特征金字塔,增加自上而下的路径,将深层信息与浅层信息进行融合,同层引入轻量化注意力机制,提升网络的特征提取能力;采用均衡焦点损失(EFL)作为类别损失函数,通过均衡尾部类别在网络训练时的梯度权重,增加网络的类别检测能力。实验结果表明,PC-YOLOv8-n在VisDrone2019数据集中具有良好的表现,在mAP₅₀精度上比原始YOLOv8-n算法提高了1.6个百分点,同时模型的参数和计算量分别降低为2.6×10⁶和7.6 GFLOPs,检测速度达到77.2 FPS。     

基于改进yolov网络的外观检测研究

外观检测涉及对图像或视频中的物体进行准确和高效的识别和定位,为了解决物体表面小尺寸目标检测的问题,研究通过优化YOLOv3网络模型,引入多尺度检测和深度可分离卷积技术来提高检测精度和模型效率,以增强对小尺寸目标的识别能力,再采用深度可分离卷积技术来减少计算量,并提高模型的训练效果。实验结果表明,改进后的算法在物体表面小尺寸外观检测方面表现出明显的提升,平均精度达到71.52%,比原始模型提高11.37个百分点。同时,通过减少计算量和提高模型速度,实现了35.6帧/秒的检测速度。研究可以优化算法,提高小尺寸目标检测的准确性和鲁棒性,推动其在计算机视觉领域的广泛应用。     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

Detection Avoidance and Priority-Aware Target Tracking for UAV Group Reconnaissance Operations

In this paper, we present a novel approach for stationary target tracking in reconnaissance operations with a small UAV group. A reconnaissance mission has multiple competing requirements, such as short scan time and repetitive scanning of the entire area, target recognition, and target tracking. Especially in real-world military reconnaissance scenarios, different types of targets with hostile characteristics exist. The UAVs must scan and track the targets while avoiding detection by enemies. Although small UAVs are unlikely to be detected, they become prone to detection if their path is predictable. To meet these competitive requirements, we propose an attractive pheromone-based cooperative path planning method that makes path prediction almost impossible by ensuring a random path selection mechanism. To avoid detection during target tracking, we implement a new discrete-time tracking scheme with random time intervals and random path planning for multiple UAVs. The proposed model enables a UAV group to sporadically scan the entire area, quickly locate the targets, and simultaneously track the targets based on their priority. In addition, it offers a mechanism that permits the command and control center to balance between reconnaissance and target tracking operations to meet every mission requirement.     

基于ET-GM-PHD的机动多扩展目标跟踪算法

针对原始扩展目标高斯混合概率假设密度（Extended Target Gaussian Mixture Probability Hypothesis Density,ET-GM-PHD）滤波算法不能解决机动目标跟踪问题,在高斯混合概率假设密度（Gaussian Mixture Probability Hypothesis Density,GM-PHD）滤波框架下,引入修正的输入估计算法（Modified Input Estimation,MIE）,可以有效地处理多扩展目标的机动问题。此外,提出的算法虽然可以实现对未知数目的多机动扩展目标进行跟踪,但无法获得各个目标的航迹。针对此问题,进一步引入高斯分量标记方法,有效地将多机动扩展目标的航迹进行准确关联,获取各个目标的航迹。实验结果表明,提出的算法在弱机动扩展目标跟踪中具有较好的跟踪性能,同时能够有效地估计多扩展目标的航迹。     

Cooperative Tracking a Moving Target Using Multiple Fixed-wing UAVs

A cooperative tracking scheme is presented in this paper for multiple fixed-wing unmanned aerial vehicles (UAVs) to track an uncooperative, moving target. It is comprised of a target loitering algorithm and a formation flight algorithm. The loitering algorithm enables a constant speed UAV to circle around a moving target, whose speed is allowed to vary up to the UAV’s speed. The formation algorithm enables cooperative tracking using multiple UAVs by keeping them flying in a circular formation with equal inter-vehicle angular separation. Under this formation algorithm, the formation center can be controlled independently to perform target loitering, and the admissible range of the target’s speed would not be affected for given UAVs. The performance of the proposed tracking system is verified in numerical simulations.     

针对动态目标的多无人机协同组合差分进化搜索方法

针对多无人机动态目标协同搜索问题,提出一种组合差分进化无人机协同搜索航迹规划方法.建立动态目标协同搜索环境信息图模型及无人机运动模型.基于改进差分蝙蝠算法和自适应差分进化算法,设计基于种群数量自适应分配的组合框架,将差分进化算法中的变异、交叉和选择机制引入蝙蝠算法,构建组合差分进化算法的协同搜索算法,并对无人机动态目标协同搜索的航迹进行优化.针对待搜索目标轨迹随机多变且具有规避侦察特性的现实场景,建立可回访数字信息图和自适应目标搜索增益函数,从而提高无人机对动态目标的捕获能力.最后,通过仿真结果验证所提出的无人机动态目标协同搜索算法的有效性.     

基于多尺度感受野融合的小目标检测算法

针对通用目标检测算法在检测小目标时检测精度低的问题,提出一种基于多尺度感受野融合的小目标检测算法S-RetinaNet。该算法采用残差神经网络（residual neural network,ResNet）提取出图像的特征,利用递归特征金字塔网络（recursive feature pyramid network,RFPN）对特征进行融合,通过多尺度感受野融合模块（multiscale receptive field fusion,MRFF）分别处理RFPN的三个输出,提升对小目标的检测能力。实验表明,相比改进前的RetinaNet算法,S-RetinaNet算法在PASCAL VOC数据集上的均值平均精度（mean average precision,mAP）和MS COCO数据集上的平均精度（average precision,AP）分别提高了2.3和1.6个百分点,其中小目标检测精度（average precision small,APS）更为显著,提升了2.7个百分点。     

无人机多机动目标自主探测与跟踪

无人机机载相机图像中机动目标尺寸较小而且会发生显著变化,加上大量的背景噪声干扰,给目标探测和跟踪带来很大困难.针对这些问题,本文提出了一种在无人机机载相机图像序列中自主探测与跟踪多个机动目标的方法.首先,提取目标的图像数字特征并采用级联分类算法进行特征分类,得到目标的强分类器,对目标进行自主探测搜索.然后,基于全局最优关联算法对探测回波进行关联滤波,实现对多个机动目标的跟踪与识别,其中最优关联代价矩阵融合了距离和方向信息,提高了关联和跟踪的鲁棒性.将无人机航拍图像序列中的地面坦克作为目标进行实验,结果表明本文算法可以实现对多个机动目标的自主探测和跟踪,并具有较好的跟踪鲁棒性.     

无人机平台下的行人与车辆目标实时检测

在无人机图像中快速准确地检测行人和车辆是一项有意义但又极具挑战的任务,其广泛应用于军事侦察、交通管制以及偏远地区救援等任务中。然而,由于无人机属于小型移动设备,其内存和计算能力非常有限,使得如何保证其检测实时性一直是难题。针对SSD算法模型过大、运行内存占用量过高、很难在无人机设备上运行的问题,精心设计了轻量级的基准网络,通过削减原始网络的通道数目以及卷积数目来降低网络的参数量;针对无人机场景下目标小、场景复杂等问题,提出轻量级感受野模块来增强网络特征表示能力,并结合上下文信息来进一步提高小型目标的检测精度。实验结果表明,提出的方法在基于无人机的行人与车辆目标检测任务上有较高的准确性和实时性。     

改进YOLOv5s的无人机目标检测算法

无人机在情报、侦察和监视领域,目标自动检测可为侦察等任务提供准确的目标位置及类别,为地面指挥人员提供详尽的目标信息。针对无人机图像背景复杂、分辨率高、目标尺度差异大等特点,提出一种改进YOLOv5s目标检测算法。将压缩-激励模块引入到YOLOv5s算法中,提高网络的特征提取能力;引入双锥台特征融合（bifrustum feature fusion,BFF）结构,提高算法对较小目标的检测检测精度;将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高定位精度。实验结果表明,改进后的YOLOv5s取得了86.3%的平均均值精度（mAP）,比原算法YOLOv5s提高了16.8个百分点,在复杂背景下仍能显著提升无人机图像目标检测性能。     

基于多尺度建议框的目标跟踪误差修正方法

随着深度学习技术引入视觉目标跟踪领域,目标跟踪算法的精度和鲁棒性有了很大的提高。但在低空无人机跟踪目标的实际场景中,情况比较复杂,如相机的抖动、大量的遮挡、视角和焦距的改变等,使得跟踪算法的准确性受到极大挑战。目前的算法大多建立在目标外观变化缓慢的前提假设下,在跟踪的过程中不具备检测和修复漂移（跟踪误差）的能力。针对该问题,提出了一种基于多尺度建议框的目标跟踪误差修正方法。离线阶段,利用大量的已标注的目标样本训练基于多尺度建议框的目标跟踪修正模型,获取不同类别目标的先验知识。在线阶段在核相关滤波跟踪的基础上,依据相关响应置信度自适应评价的结果,通过目标跟踪修正模型不定期重新初始化目标的位置,避免了因为误差累积而导致跟踪失败。算法在无人机航拍数据集上进行了测试,结果表明,该跟踪算法在目标发生较大形变的情况下能较好的修正跟踪漂移问题。相比于其他几种算法,目标跟踪的成功率和精度分别提高了14.3%和3.1%。