特征增强的孪生网络高速跟踪算法

近年来,实时的目标跟踪技术在许多复杂视觉系统中都发挥了重要的作用,跟踪算法作为其中的一个关键环节,不仅需要具备高精度还需要满足实时性。SiamFC算法在提出时由于可以较好地平衡精度与速度,受到了广泛的关注。但是SiamFC算法使用较浅的骨干网络,提取到的特征难以应对复杂多变的跟踪环境,容易导致跟踪漂移。为了同时提高算法的跟踪精度与速度,提出了一种特征增强的轻量级孪生网络高速跟踪算法。首先,使用改进后的轻量级网络ShuffleNetV2作为骨干网络提取特征,在减少模型参数量与计算量的同时大幅提升跟踪速度;其次,在孪生网络的模板分支末端嵌入通道与空间双重注意力来调整不同通道和空间位置的响应权重,突出对跟踪有益的特征;最后,采用分层特征融合策略,同时利用网络提取的深层语义特征与浅层结构特征,从多角度表征目标。在OTB100和VOT2018两个数据集上与当前一些优秀的跟踪算法进行对比实验,结果表明,所提算法在跟踪精度上有较大的优势,在困难场景下展现了较强的鲁棒性,同时算法在NVIDIA GTX1070下的速度可达110 FPS,相比SiamFC算法能够更好地兼顾跟踪精度与速度。     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型...     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移,导致跟踪失败的问题,设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam）,分别去增强高层和浅层的特征表示能力,从而提升算法的鲁棒性。首先,对于浅层特征,利用一个轻量并且有效的特征融合策略,通过一种数据增强技术模拟一些在复杂场景中的变化,例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性;其次,对于高层特征,提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力;最后,在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明,所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点,并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上,所提算法的平均期望重叠率指标超过2018年的冠军,即高性能的候选区域孪生视觉跟踪器（SiamRPN）,验证了所提算法的有效性。     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移，导致跟踪失败的问题，设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam），分别去增强高层和浅层的特征表示能力，从而提升算法的鲁棒性。首先，对于浅层特征，利用一个轻量并且有效的特征融合策略，通过一种数据增强技术模拟一些在复杂场景中的变化，例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性；其次，对于高层特征，提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力；最后，在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明，所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点，并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上，所提算法的平均期望重叠率指标超过2018年的冠军，即高性能的候选区域孪生视觉跟踪器（SiamRPN），验证了所提算法的有效性。     

无锚双注意力孪生网络的视觉跟踪

针对跟踪过程中因光照变化、快速运动及尺度变化等造成的角点定位精准度下降问题,受SiamCAR的跟踪框架启发提出一种无锚双注意力孪生网络的视觉跟踪算法.首先,算法的主干网络采用ResNet-50并结合增强多层融合特征图进行特征提取,充分利用网络浅层特征的定位信息和深层次的语义信息,提高算法对目标特征的语义理解能力;然后,构建混合注意力模块缓解无锚跟踪器角点定位不准确问题,提高算法的跟踪准确性和定位精度;最后,在GOT10K、UAV123、LaSOT等数据集上进行广泛实验,并与当前的先进跟踪器进行比较,该算法可以较好地抵抗光照变化、快速运动及尺度变化等多种复杂因素带来的影响,同时,在多项评测指标上获得了良好的跟踪性能.     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114FPS.     

多通道特征和择优并行更新的核相关滤波跟踪

针对传统核跟踪算法单一特征的局限性、目标模板和特征外观模板更新的不足,提出了一种多通道特征和择优并行更新的核相关滤波跟踪算法。采用多通道特征提取方式：上支路采用卷积神经网络提取深度特征,下支路则将HOG特征和CN特征相结合用于训练与跟踪。采用新的目标模板和特征外观模板更新方式：择优并行更新,取不同支路当前帧的最大响应值作为最佳目标位置,下一帧中两个支路的模板更新采用前一帧最优位置的参数同时进行更新,直到跟踪结束,多支路的择优并行更新弥补了单一支路更新的不足。实验表明该算法能在不同挑战因子下实现更加鲁棒的跟踪过程。     

基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。