基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

多模型融合验证的视觉跟踪算法

为提升孪生网络和学习判别模型跟踪算法的精度和鲁棒性,提出了一种多模型融合验证的视觉跟踪方法.首先用置信反馈调节评估目标搜索区域特征与分类器之间的相似性响应图,反映目标定位的可靠度,然后结合孪生网络生成一系列候选对象并估计其相似性得分,最后验证网络评估候选框,并输出最佳候选框.在VOT2018、VOT2019、OTB10...     

特征融合与训练加速的高效目标跟踪

基于孪生网络的目标跟踪,存在特征信息欠丰富,跟踪效率有待提高,大型数据集上训练时间长等问题。针对上述问题,提出特征融合与训练加速的高效目标跟踪。增加主干网络参考特征层级,减小下采样,融合多层级参考特征图,提取目标更深度、丰富的语义信息。深度互相关操作得到候选窗口响应（Response of Candidate Windows,RoWs）,在其中构建区域建议网络（Region Proposal Network,RPN）,通过权衡正负锚点的数量比,使孪生网络性能更加高效、稳定。大型数据集训练孪生网络时,使用均匀滑动漂移采样,代替随机漂移采样算法,在抑制中心偏置现象的同时,显著加快了孪生网络的训练速度。跟踪基准VOT2018上的评估实验结果表明,与所有参考的主流目标跟踪算法相比,所提算法具有最佳的跟踪性能。     

核相关滤波与孪生网络相结合的目标跟踪算法

针对核相关滤波目标跟踪算法中对局部上下文区域图像提取的HOG特征图在复杂环境下不能保证目标跟踪的精度问题,提出了一种核相关滤波与孪生网络相结合的目标跟踪算法.首先在首帧输入图像中提取HOG特征图并建立相关滤波器模板,同时提取经过孪生网络的目标区域图像特征图;然后若后续帧输入图像帧数不为5的倍数则提取仿射变换HOG特征图...     

基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

基于孪生网络的串联互相关目标跟踪

针对现有孪生网络目标跟踪技术只对模板特征和搜索特征进行一次融合操作, 使得融合特征图上的目标特征相对粗糙, 不利于跟踪器精确跟踪定位的问题, 本文设计了一个串联互相关模块, 旨在利用现有的互相关方法, 对模板特征和搜索特征做多次的互相关操作增强融合特征图上的目标特征, 提升后续分类和回归结果的准确性, 以更少的参数实现速度和精度之间的平衡. 实验结果表明, 所提出的方法在4个主流跟踪数据集上都取得了很好的结果.     

融合HOG特征和注意力模型的孪生目标跟踪算法

为了提高跟踪算法在目标发生形变和被遮挡时的准确性,提出一种融合HOG(histogram of oriented gradient)特征和注意力模型的孪生目标跟踪算法.首先,采用对ResNet残差模型改进后的CIR(cropping inside residual)模型塑造孪生目标跟踪网络的骨干网络,充分利用不同层次的特征图,同时加深网络;其次,融入HOG特征,增强网络对图形几何变化的鲁棒性;再次,加入CBAM(convolutional block attention module)注意力模型,使网络能够在结合上下文信息的同时调节HOG特征在特征图中所占比例,增强特征图中的有效特征,弱化无效特征,使网络中各特征图发挥出最好的效果;最后,定义算法的损失函数.实验结果表明,所提算法在GOT-10k数据集上进行训练后,能够在OTB100上获得较好的跟踪效果,在该数据集中精确率和成功率分别达到81.9%和60.6%.在目标物体发生形变和被遮挡的情况下,所提算法仍能取得较好的跟踪效果.     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

基于孪生网络结构的目标跟踪算法综述

近年来相关滤波和深度学习理论快速发展,在目标跟踪中得到广泛应用,但在精度或者速度方面存在问题,基于孪生网络结构的方法能够在精度和速度之间取得平衡,逐渐成为了目标跟踪的主流方法。介绍了目标跟踪技术的基本概念,分析相关滤波等传统方法的发展及其存在的不足。着重阐述孪生网络的结构和基于孪生网络结构的跟踪算法的设计原理及其最新进展,并对比相关方法的性能。针对现有基于孪生网络结构的跟踪方法的不足,展望未来的发展趋势。     

基于中心点搜索的无锚框全卷积孪生跟踪器

为解决孪生网络跟踪器鲁棒性差的问题, 重新设计了孪生网络跟踪器的分类与回归分支, 提出一种基于像素上直接预测方式的高鲁棒性跟踪算法—无锚框全卷积孪生跟踪器(Anchor-free fully convolutional siamese tracker, AFST). 目前高性能的跟踪算法, 如SiamRPN、SiamRPN++、CRPN都是基于预定义的锚框进行分类和目标框回归. 与之相反, 提出的AFST则是直接在每个像素上进行分类和预测目标框. 通过去掉锚框, 大大简化了分类任务和回归任务的复杂程度, 并消除了锚框和目标误匹配问题. 在训练中, 还进一步添加了同类不同实例的图像对, 从而引入了相似语义干扰物, 使得网络的训练更加充分. 在VOT2016、GOT-10k、OTB2015三个公开的基准数据集上的实验表明, 与现有的跟踪算法对比, AFST达到了先进的性能.     

基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。     

动态的加权孪生网络跟踪算法

为提升快速在线目标跟踪与分割算法的跟踪精度,提出了一种动态的加权孪生网络跟踪算法。首先,对初始帧提取的模板特征与每帧提取的模板特征进行学习融合,提高跟踪器的泛化能力;其次,在掩膜分支产生目标掩膜的过程中用加权的方式融合特征,减少冗余特征带来的干扰,提高跟踪的精度。在数据集VOT2016和VOT2018上进行测试,所提算法的预期平均重叠率分别为0.450和0.390,精确性分别为0.649和0.618,鲁棒性分别为0.205和0.267,均高于基准算法,跟踪速度为34帧/s,达到了实时跟踪的要求。所提算法有效地提高了跟踪的准确性,能在复杂的跟踪环境下较好地完成跟踪任务。     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

基于异步相关判别性学习的孪生网络目标跟踪算法

现有基于孪生网络的单目标跟踪算法能够实现很高的跟踪精度, 但是这些跟踪器不具备在线更新的能力, 而且其在跟踪时很依赖目标的语义信息, 这导致基于孪生网络的单目标跟踪算法在面对具有相似语义信息的干扰物时会跟踪失败. 为了解决这个问题, 提出了一种异步相关响应的计算模型, 并提出一种高效利用不同帧间目标语义信息的方法. 在此基础上, 提出了一种新的具有判别性的跟踪算法. 同时为了解决判别模型使用一阶优化算法收敛慢的问题, 使用近似二阶优化的方法更新判别模型. 为验证所提算法的有效性, 分别在Got-10k、TC128、OTB和VOT2018 数据集上做了对比实验, 实验结果表明, 该方法可以明显地改进基准算法的性能.     

注意力增强和目标模型更新的红外目标跟踪算法

目的 多数以深度学习为基础的红外目标跟踪方法在对比度弱、噪声多的红外场景下,缺少对目标细节信息的利用,而且当跟踪场景中有相似目标且背景杂乱时,大部分跟踪器无法对跟踪的目标进行有效的更新,导致长期跟踪时鲁棒性较差。为解决这些问题,提出一种基于注意力和目标模型自适应更新的红外目标跟踪算法。方法 首先以无锚框算法为基础,加入针对红外跟踪场景设计的快速注意力增强模块以并行处理红外图像,在不损失原信息的前提下提高红外目标与背景的差异性并增强目标的细节信息,然后将提取的特征融合到主干网络的中间层,最后利用目标模型自适应更新网络,学习红外目标的特征变化趋势,同时对目标的中高层特征进行动态更新。结果 本文方法在 4 个红外目标跟踪评估基准上与其他先进算法进行了比较,在 LSOTB-TIR(large-scale thermalinfrared object tracking benchmark)数据集上的精度为 79.0%,归一化精度为 71.5%,成功率为 66.2%,较第 2 名在精度和成功率上分别高出 4.0%和 4.6%;在 PTB-TIR(thermal infrared pedestrian tracking benchmark)数据集上的精度为85.1%,成功率为 66.9%,较第 2 名分别高出 1.3% 和 3.6%;在 VOT-TIR2015(thermal infrared visual object tracking)和VOT-TIR2017 数据集上的期望平均重叠与精确度分别为 0.344、0.73 和 0.276、0.71,本文算法在前 3 个数据集的测评结果均达到最优。同时,在 LSOTB-TIR 数据集上的消融实验结果显示,本文方法对基线跟踪器有着明显的增益作用。结论 本文算法提高了对红外目标特征的捕捉能力,解决了红外目标跟踪易受干扰的问题,能够提升红外目标长期跟踪的精度和成功率。