融合多模板注意力深度网的自适应目标框跟踪算法

现有深度网络跟踪算法应对相似物体干扰、尺度变化、形变模糊、遮挡等问题存在挑战,为此提出一种融合多模板注意力机制的鲁棒深度网络算法.在SiamFc深度网络分支中构建通道和空间多模板注意力机制,以加强网络对目标特征的提取能力;融合浅层和深层卷积特征实现跟踪目标的精确聚焦,以克服相似物干扰问题;采用自适应回归网络学习目标采样点与目标边界之间的距离,实现目标区域的动态预测,有效应对目标尺度变化问题.另外,通过计算分类特征的APCE均值和最大值建立模板在线更新策略,实现网络自适应目标形变模糊与遮挡等问题.对OTB 100和VOT 2016等公开数据集的测试结果表明,与目前先进的SiamFc及改进方法相比,所提出算法在动态目标跟踪的准确率和成功率上均得到有效提升,具有强鲁棒性能.     

基于互注意力指导的孪生跟踪算法

针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷.首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动.然后...     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

孪生导向锚框RPN网络实时目标跟踪

目的 区域推荐网络（region proposal network,RPN）与孪生网络（Siamese）相结合进行视频目标跟踪,显示了较高的准确性。然而,孪生RPN网络（Siamese region proposal network, SiamRPN）目标跟踪器依赖于密集的锚框策略,会产生大量冗余的锚框并影响跟踪的精度和速度。为了解决该问题,本文提出了孪生导向锚框RPN网络（Siamese-guided anchor RPN,Siamese GA-RPN）。方法 Siamese GA-RPN的主要思想是利用语义特征来指导锚框生成。其中导向锚框网络包括位置预测模块和形状预测模块,这两个模块分别利用孪生网络中CNN（convolutional neural network）产生的语义特征预测锚框的位置和长宽尺寸,减少了冗余锚框的产生。然后,进一步设计了特征自适应模块,利用每个锚框的形状信息,通过可变卷积层来修正跟踪目标的原始特征图,降低目标特征与锚框信息的不一致性,提高了目标跟踪的准确性。结果 在3个具有挑战性的视频跟踪基准数据集VOT（video object tracking）2015、VOT2016和VOT2017上进行了跟踪实验,测试了算法在目标快速移动、遮挡和光照等复杂场景下的跟踪性能,并与多种优秀算法在准确性和鲁棒性两个评价指标上进行定量比较。在VOT2015数据集上,本文算法与孪生RPN网络相比,准确性提高了1.72%,鲁棒性提高了5.17%;在VOT2016数据集上,本文算法与孪生RPN网络相比,准确性提高了3.6%,鲁棒性提高了6.6%;在VOT2017数据集上进行实时实验,本文算法表现出了较好的实时跟踪效果。结论 通过孪生导向锚框RPN网络提高了锚框生成的有效性,确保了特征与锚框的一致性,实现了对目标的精确定位,较好地解决了锚框尺寸对目标跟踪精度的影响。在目标尺度发生变化、遮挡、光照条件变化和目标快速运动等复杂场景下仍然表现出了较强的鲁棒性和适应性。     

基于孪生网络的鲁棒红外目标跟踪算法

针对红外目标跟踪获得的目标特征鲁棒性差以及模型漂移易导致跟踪失败等问题,提出基于孪生网络的鲁棒红外目标跟踪算法,即利用预训练孪生网络提取红外目标多卷积层特征,以获取红外对象的空间及语义信息.通过相对熵滤波网络进行响应图融合,并以融合后的响应图为基础设计自适应模板的更新策略.在具有挑战性的红外跟踪数据集VOT-TIR20...     

核相关滤波与孪生网络相结合的目标跟踪算法

针对核相关滤波目标跟踪算法中对局部上下文区域图像提取的HOG特征图在复杂环境下不能保证目标跟踪的精度问题,提出了一种核相关滤波与孪生网络相结合的目标跟踪算法.首先在首帧输入图像中提取HOG特征图并建立相关滤波器模板,同时提取经过孪生网络的目标区域图像特征图;然后若后续帧输入图像帧数不为5的倍数则提取仿射变换HOG特征图,否则提取经过孪生网络的搜索区域图像特征图;最后根据遮挡处理的结果自适应获取目标位置并更新模型和最终相关滤波器模板.仿真实验结果表明本文算法在保证目标跟踪精度的前提下具有满足实时跟踪要求的跟踪速率.     

基于双分支孪生网络的目标跟踪

基于孪生网络的目标跟踪算法将跟踪问题建模为目标特征和搜索区特征之间的匹配问题。匹配程度通常是根据二者特征之间的相关响应来衡量。目前该衡量方式仍存在以下局限：一方面,对目标的不同区域使用的是相同的特征提取器,没有考虑到目标内部和轮廓处的区别;另一方面,在特征之间相关性的求解过程中,模板空间结构是固定的,无法很好地应对目标形变时的情况,鲁棒性较差。为解决上述问题,提出了一种双分支孪生网络目标跟踪算法SiamDAH（Double Adjust Head Siamese Network for Object Tracking）,其中双分支结构旨在考虑目标内部区域和轮廓处的表征需求差异。此外,提出了一种改进的逐像素相关模块,有效降低了传统相关操作时模板结构固定带来的问题。在GOT-10k数据集上的实验结果表明,提出的算法在AO、SR0.5、SR0.75指标上较基准算法分别实现了3.4%、7.0%、2.3%的提升。在NVIDIA RTX 2080Ti上速度可达90 frame/s。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

基于时空注意力机制的目标跟踪算法

目标跟踪技术在智能监控、人机交互、无人驾驶等诸多领域得到了广泛的应用。近年来,学者们提出了许多高效的算法。然而,随着跟踪环境越来越复杂,目标跟踪算法在遮挡、光照变化、背景干扰等复杂环境下仍然面临着巨大的挑战,从而导致目标跟踪失败。针对上述问题,提出了一种基于时空注意力机制的目标跟踪算法。首先,采用孪生网络架构来提高对特征的判别能力;然后,引入改进的通道注意力机制和空间注意力机制,对不同通道和空间位置的特征施加不同的权重,并着重关注空间位置和通道位置上对目标跟踪有利的特征。此外,还提出了一种高效的目标模板在线更新机制,将第一帧图像特征与后续跟踪图像帧中置信度较高的图像特征进行融合,以降低发生目标漂移的风险。最后,在OTB2013和OTB2015数据集上对所提跟踪算法进行了测试。实验结果表明,所提算法的性能相比当前主流的跟踪算法提高了6.3%。     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

基于孪生检测网络的实时视频追踪算法

目前,在视频追踪领域中,大部分基于孪生网络的追踪算法只能对物体的中心点进行定位,而在定位快速形变的物体时会出现定位不准确的问题。为此,提出基于孪生检测网络的实时视频追踪算法——SiamRFC。SiamRFC算法可直接预测被追踪物体位置,来应对快速形变的问题。首先,通过判断相似性来得到被追踪物体的中心点位置;然后,运用目标检测的思路,通过选取一系列的预选框来回归最优的位置。实验结果表明,所提SiamRFC算法在VOT2015|16|17的测试集上均有很好的表现。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

注意力增强和目标模型更新的红外目标跟踪算法

目的 多数以深度学习为基础的红外目标跟踪方法在对比度弱、噪声多的红外场景下,缺少对目标细节信息的利用,而且当跟踪场景中有相似目标且背景杂乱时,大部分跟踪器无法对跟踪的目标进行有效的更新,导致长期跟踪时鲁棒性较差。为解决这些问题,提出一种基于注意力和目标模型自适应更新的红外目标跟踪算法。方法 首先以无锚框算法为基础,加入针对红外跟踪场景设计的快速注意力增强模块以并行处理红外图像,在不损失原信息的前提下提高红外目标与背景的差异性并增强目标的细节信息,然后将提取的特征融合到主干网络的中间层,最后利用目标模型自适应更新网络,学习红外目标的特征变化趋势,同时对目标的中高层特征进行动态更新。结果 本文方法在 4 个红外目标跟踪评估基准上与其他先进算法进行了比较,在 LSOTB-TIR(large-scale thermalinfrared object tracking benchmark)数据集上的精度为 79.0%,归一化精度为 71.5%,成功率为 66.2%,较第 2 名在精度和成功率上分别高出 4.0%和 4.6%;在 PTB-TIR(thermal infrared pedestrian tracking benchmark)数据集上的精度为85.1%,成功率为 66.9%,较第 2 名分别高出 1.3% 和 3.6%;在 VOT-TIR2015(thermal infrared visual object tracking)和VOT-TIR2017 数据集上的期望平均重叠与精确度分别为 0.344、0.73 和 0.276、0.71,本文算法在前 3 个数据集的测评结果均达到最优。同时,在 LSOTB-TIR 数据集上的消融实验结果显示,本文方法对基线跟踪器有着明显的增益作用。结论 本文算法提高了对红外目标特征的捕捉能力,解决了红外目标跟踪易受干扰的问题,能够提升红外目标长期跟踪的精度和成功率。