基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移,导致跟踪失败的问题,设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam）,分别去增强高层和浅层的特征表示能力,从而提升算法的鲁棒性。首先,对于浅层特征,利用一个轻量并且有效的特征融合策略,通过一种数据增强技术模拟一些在复杂场景中的变化,例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性;其次,对于高层特征,提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力;最后,在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明,所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点,并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上,所提算法的平均期望重叠率指标超过2018年的冠军,即高性能的候选区域孪生视觉跟踪器（SiamRPN）,验证了所提算法的有效性。     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移，导致跟踪失败的问题，设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam），分别去增强高层和浅层的特征表示能力，从而提升算法的鲁棒性。首先，对于浅层特征，利用一个轻量并且有效的特征融合策略，通过一种数据增强技术模拟一些在复杂场景中的变化，例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性；其次，对于高层特征，提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力；最后，在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明，所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点，并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上，所提算法的平均期望重叠率指标超过2018年的冠军，即高性能的候选区域孪生视觉跟踪器（SiamRPN），验证了所提算法的有效性。     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型的泛化能力;最后设计并提出一种基于相关性响应值的权重掩码,在离线训练时提高相似语义目标损失值的权重,使模型在端到端的离线学习中增强对相似语义目标的辨别力.在标准跟踪数据集OTB,TempleColor128,VOT2016和VOT2018上与主流跟踪算法进行对比实验,结果表明,该算法在跟踪精度和成功率上都展现了极强的竞争力,具有优越的实时性和可靠性.     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失。由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类。充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法。对ResNet-50网络进行改进,在减少模型参数和计算量的同时提高跟踪速度;采用级联特征融合策略将ResNet-50最后一阶段的3层特征进行逐级级联融合,进行目标深层语义信息和浅层空间信息的有效提取,实现目标的多特征准确表示。针对目标跟踪过程中大多数算法仅利用第一帧作为目标模板导致跟踪过程中目标模板退化问题,引入模板更新机制,利用相似度阈值法进行模板的实时更新。在OBT2015、VOT2016和VOT2018标准数据集上进行对比实验,实验结果表明,该算法的跟踪精度较高,复杂场景下鲁棒性较强,相对于其他算法有较强的竞争优势。     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此，设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础，包括特征提取网络部分和相似度计量部分。在特征提取网络部分，引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量；在相似度计量部分，基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息，加强了算法的跟踪准确性和定位精度。实验结果表明，所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%，跟踪精度提升了8.4%，且跟踪速度每秒74帧，在提升成功率的同时满足了实时性的要求。     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

无锚双注意力孪生网络的视觉跟踪

针对跟踪过程中因光照变化、快速运动及尺度变化等造成的角点定位精准度下降问题,受SiamCAR的跟踪框架启发提出一种无锚双注意力孪生网络的视觉跟踪算法.首先,算法的主干网络采用ResNet-50并结合增强多层融合特征图进行特征提取,充分利用网络浅层特征的定位信息和深层次的语义信息,提高算法对目标特征的语义理解能力;然后,构建混合注意力模块缓解无锚跟踪器角点定位不准确问题,提高算法的跟踪准确性和定位精度;最后,在GOT10K、UAV123、LaSOT等数据集上进行广泛实验,并与当前的先进跟踪器进行比较,该算法可以较好地抵抗光照变化、快速运动及尺度变化等多种复杂因素带来的影响,同时,在多项评测指标上获得了良好的跟踪性能.     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于异步相关判别性学习的孪生网络目标跟踪算法

现有基于孪生网络的单目标跟踪算法能够实现很高的跟踪精度,但是这些跟踪器不具备在线更新的能力,而且其在跟踪时很依赖目标的语义信息,这导致基于孪生网络的单目标跟踪算法在面对具有相似语义信息的干扰物时会跟踪失败.为了解决这个问题,提出了一种异步相关响应的计算模型,并提出一种高效利用不同帧间目标语义信息的方法.在此基础上,提出了一种新的具有判别性的跟踪算法.同时为了解决判别模型使用一阶优化算法收敛慢的问题,使用近似二阶优化的方法更新判别模型.为验证所提算法的有效性,分别在Got-10k、TC128、OTB和VOT2018数据集上做了对比实验,实验结果表明,该方法可以明显地改进基准算法的性能.     

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114FPS.     

特征融合与训练加速的高效目标跟踪

基于孪生网络的目标跟踪,存在特征信息欠丰富,跟踪效率有待提高,大型数据集上训练时间长等问题。针对上述问题,提出特征融合与训练加速的高效目标跟踪。增加主干网络参考特征层级,减小下采样,融合多层级参考特征图,提取目标更深度、丰富的语义信息。深度互相关操作得到候选窗口响应（Response of Candidate Windows,RoWs）,在其中构建区域建议网络（Region Proposal Network,RPN）,通过权衡正负锚点的数量比,使孪生网络性能更加高效、稳定。大型数据集训练孪生网络时,使用均匀滑动漂移采样,代替随机漂移采样算法,在抑制中心偏置现象的同时,显著加快了孪生网络的训练速度。跟踪基准VOT2018上的评估实验结果表明,与所有参考的主流目标跟踪算法相比,所提算法具有最佳的跟踪性能。     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降。因此,提出了一种基于孪生网络融合多模板的目标跟踪算法。该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度。OTB2015和VOT2016数据集上的测试结果表明,在运动目标外观发生变化的复杂环境下,所提算法不但具有较快的跟踪速度,而且相比现有的其他算法能取得更为优异的跟踪性能。     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能。针对无人机（UAV）指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+。首先,采用改进的深度残差网络ResNet-50作为特征提取器来提取特征;接着,使用通道注意力机制模块筛选残差网络提取出的不同通道特征图的语义属性,并重新为不同通道特征分配相应权值;然后,两个区域候选网络（RPN）进行分层融合,而RPN模块包括特征图的逐通道深度互相关、正负样本分类和边界框回归;最后框选出目标位置。在VOT2018平台上进行测试,所提算法的准确率和预期平均重叠率（EAO）分别为59.4%和39.5%;在OTB2015平台上采用一次通过评估模式进行实验,该算法的成功率和精度分别为68.7%和89.4%。实验结果表明所提算法的评估结果优于近年优秀的三种相关滤波跟踪算法和孪生网络跟踪算法,且该算法应用于UAV指定目标的跟踪上时具有良好的鲁棒性和实时处理速度。     

基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。