基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能。针对无人机（UAV）指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+。首先,采用改进的深度残差网络ResNet-50作为特征提取器来提取特征;接着,使用通道注意力机制模块筛选残差网络提取出的不同通道特征图的语义属性,并重新为不同通道特征分配相应权值;然后,两个区域候选网络（RPN）进行分层融合,而RPN模块包括特征图的逐通道深度互相关、正负样本分类和边界框回归;最后框选出目标位置。在VOT2018平台上进行测试,所提算法的准确率和预期平均重叠率（EAO）分别为59.4%和39.5%;在OTB2015平台上采用一次通过评估模式进行实验,该算法的成功率和精度分别为68.7%和89.4%。实验结果表明所提算法的评估结果优于近年优秀的三种相关滤波跟踪算法和孪生网络跟踪算法,且该算法应用于UAV指定目标的跟踪上时具有良好的鲁棒性和实时处理速度。     

带旋转与尺度估计的全卷积孪生网络目标跟踪算法

针对目标跟踪任务中,全卷积孪生网络（SiamFC）跟踪算法存在因目标的旋转、尺度变化而造成跟踪错误或跟踪结果不准确的问题,提出一种带旋转与尺度估计的SiamFC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用SiamFC算法获得跟踪位置,并结合旋转与尺度信息对该位置进行调整;其次在旋转、尺度估计模块中,鉴于图像的旋转和尺度变化在对数极坐标系下变成了平移运动,将目标搜索区域从笛卡儿坐标系变换到对数极坐标系下,由此便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度;最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在对比实验中,该算法在OTB2015数据集上的成功率与准确率分别达到57.7%和81.4%;在包含目标旋转和尺度变化的POT数据集上的成功率与准确率分别达到51.8%和53.3%。与SiamFC算法相比,所提算法的成功率和准确率分别提高了13.5个百分点和13.4个百分点。实验结果表明,所提算法能有效应对目标旋转与尺度变化带来的跟踪挑战。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法

无人机（UAV）目标尺寸较小,多架无人机之间特征也不明显,且鸟类和飞虫的干扰给无人机目标的准确检测和稳定跟踪带来了巨大挑战。针对传统目标检测算法对小目标无人机检测性能差、跟踪不稳定的问题,提出一种基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法。首先,将压缩-激励模块融入PP-YOLO检测算法中,以实现对无人机目标的特征提取和检测;其次,在ResNet50-vd结构中引入Mish激活函数,以解决反向传播过程中的梯度消失问题,并进一步提升检测精度;然后,采用Deep-SORT算法来实时跟踪无人机目标,并将提取外观特征的主干网络更换为ResNet50,从而改善原有网络对微小外观感知能力弱的状况;最后,引入损失函数Margin Loss,既提高了类别可分性,又加强了类内紧度和类间差异。实验结果表明,所提算法的检测平均精度均值（mAP）相比原始PP-YOLO算法提升了2.27个百分点,跟踪准确性相对于原始Deep-SORT算法提升了4.5个百分点。所提算法的跟踪准确性可达91.6%,能够实时跟踪600 m以内多架无人机目标,有效解决了跟踪过程中的“丢帧”问题。     

通道稳定性加权补充学习的实时视觉跟踪算法

为解决补充学习（Staple）跟踪算法在平面内旋转、部分遮挡时存在的跟踪失败问题,提出了一种通过通道稳定性加权的补充学习（CSStaple）跟踪算法。首先,使用标准相关滤波分类器检测出每层通道的响应值;然后,计算获得每层通道的稳定性权重,并乘到每层权重上,获得相关滤波响应;最后,通过融合颜色补充学习器的响应,得到最终的响应结果,响应中的最大值的位置即为跟踪结果。将所提算法与层和空间可靠性判别相关滤波（CSR-DCF）跟踪、对冲深度跟踪（HDT）、核化相关滤波（KCF）跟踪和Staple等跟踪算法进行了对比实验。实验结果表明,所提算法在成功率上表现最优,在OTB50和OTB100上比Staple分别高出2.5个百分点和0.9个百分点,验证了所提算法对目标在平面内旋转和部分遮挡时的有效性。     

基于孪生区域建议网络的无人机目标跟踪算法

在无人机跟踪过程中,遮挡、光照变化、背景干扰等影响会导致跟踪目标丢失。基于SiamRPN算法提出一种无人机目标跟踪算法。通过在网络中加入空间条带池和全局上下文模块建立远程上下文关系,以适应不同的跟踪场景。同时利用改进交并比的计算方法提取目标特征,并回归精准的预测框。在UAV123数据集上的实验结果表明,相比SiamRPN、SiamFC、SAMF等算法,该算法的跟踪性能较优且具有较强的鲁棒性,尤其在背景干扰环境下,其精确率和成功率较SiamRPN算法分别提升了6.54%和11.63%。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。本文针对此问题，提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明，本文改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%，准确率提升了0.83%，鲁棒性提升了3.85%；在OTB100数据集上，本文算法精确率为91.4%，成功率为71.7%，与基础算法相比，精确率提升了3.28%，成功率提升了5.13%。     

复杂场景下一种改进的单目标跟踪算法研究

针对部分复杂场景下目标跟踪存在跟踪框漂移问题,基于孪生候选区域生成网络(SiamRPN),融合通道注意力模块和选择核心模块(SK Module),提出一种单目标跟踪算法CAKSiamRPN。特征提取部分引入高效通道注意模块(ECAM)和基于标准化的通道注意力模块(NCAM),在不降低通道维度的情况下,摒弃相似信息,突出显著特征,关注并提取特定信息;在候选区域生成网络(RPN)嵌入SK Module,增强全局信息嵌入,减少填充操作的影响。将改进算法与SiamRPN及其它经典单目标跟踪算法在OTB100和UAV123数据集上进行实验对比。实验结果表明：跟踪精度和成功率明显提高,能更好地适应复杂场景,具有更强的鲁棒性。     

改进YOLOv5s的无人机目标检测算法

无人机在情报、侦察和监视领域,目标自动检测可为侦察等任务提供准确的目标位置及类别,为地面指挥人员提供详尽的目标信息。针对无人机图像背景复杂、分辨率高、目标尺度差异大等特点,提出一种改进YOLOv5s目标检测算法。将压缩-激励模块引入到YOLOv5s算法中,提高网络的特征提取能力;引入双锥台特征融合（bifrustum feature fusion,BFF）结构,提高算法对较小目标的检测检测精度;将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高定位精度。实验结果表明,改进后的YOLOv5s取得了86.3%的平均均值精度（mAP）,比原算法YOLOv5s提高了16.8个百分点,在复杂背景下仍能显著提升无人机图像目标检测性能。     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

改进YOLOv3的遥感影像小目标检测方法

针对当前目标检测任务中对小目标检测识别率低,漏检率高的问题,提出一种基于门控通道注意力机制（EGCA）和自适应上采样模块的改进YOLOv3算法。该算法采用DarkNet-53作为主干网络进行图片基础特征提取;引入自适应上采样模块对低分辨率卷积特征图进行扩张,有效增强了不同尺度卷积特征图的融合效果;在三个尺度通道输出预测结果之前分别加入EGCA注意力机制以提高网络对小目标的特征表达和检测能力。将改进的算法在公开数据集RSOD（remote sensing object detection）上进行实验,小目标检测精度提升了8.2个百分点,最为显著,平均精度AP值达到56.3%,较原算法提升了7.9个百分点。实验结果表明,改进的算法相比于传统YOLOv3算法和其他算法拥有更好的小目标检测能力。     

改进的RetinaNet目标检测算法

针对经典一阶段目标检测算法RetinaNet难以充分提取不同阶段特征、边界框回归不够准确等问题,提出一个面向目标检测的改进型RetinaNet算法。在特征提取模块中加入多光谱通道注意力,将输入特征中的频率分量合并到注意力处理中,从而捕获特征原有的丰富信息。将多尺度特征融合模块添加到特征提取模块,多尺度特征融合模块包括1个路径聚合模块和1个特征融合操作,路径聚合模块通过搭建自底向上的路径,利用较浅特征层上精确的定位信号增强整个特征金字塔的信息流,特征融合操作通过融合来自每个阶段的特征信息优化多阶段特征的融合效果。此外,在边界框回归过程中引入完全交并比损失函数,从边界框的重叠面积、中心点距离和长宽比这3个重要的几何因素出发,提升回归过程的收敛速度与准确性。在MS COCO数据集和PASCAL VOC数据集上的实验结果表明,与RetinaNet算法相比,改进型RetinaNet算法在2个数据集上的平均精度分别提高了2.1、1.1个百分点,尤其对于MS COCO数据集中较大目标的检测,检测精度的提升效果更加显著。