融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。本文针对此问题，提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明，本文改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%，准确率提升了0.83%，鲁棒性提升了3.85%；在OTB100数据集上，本文算法精确率为91.4%，成功率为71.7%，与基础算法相比，精确率提升了3.28%，成功率提升了5.13%。     

融合坐标信息与模板更新的孪生网络目标跟踪

应对孪生网络单目标跟踪算法在跟踪中遇到背景杂乱、相似物影响、遮挡等复杂场景的问题导致跟踪系统精度和成功率下降的问题,提出一种融合坐标注意力机制和模板更新的跟踪算法MCUSiamRPN (MobileNet coordinate attention and updating of template SiamRPN).在SiamRPN算法基础上,采用改进的MobileNetV3为特征提取网络,多层特征信息分别送入坐标注意力模块,进行特征融合,丰富语义信息;设计了一种自适应模板更新模块,结合初始模板和当前帧的模板用于估计下一帧的最佳模板更新模板信息.在OTB100和UAV123两个数据集上进行测试,结果显示:相比于基准算法Siam RPN,精度分别提升了5.3%和3.7%;成功率分别提升了3.7%和5.2%,验证了该算法的有效性.     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此，设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础，包括特征提取网络部分和相似度计量部分。在特征提取网络部分，引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量；在相似度计量部分，基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息，加强了算法的跟踪准确性和定位精度。实验结果表明，所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%，跟踪精度提升了8.4%，且跟踪速度每秒74帧，在提升成功率的同时满足了实时性的要求。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

引入短时记忆的Siamese网络目标跟踪算法

为提升目标跟踪算法在复杂场景下的鲁棒性,使算法适应长时跟踪场景,提出结合多层特征融合和短时记忆机制的跟踪方法,提升目标跟踪的鲁棒性。融合卷积神经网络多层特征,提升网络的特征提取能力。在跟踪阶段,引入了短时记忆模块,搜索区域特征分别与初始的基准模板特征和短时记忆的动态特征进行匹配,对得到的响应图进行融合,提升目标跟踪的鲁棒性,通过视频局部信息增强算法对跟踪目标的判别性。在OTB2015和GOT-10K目标跟踪标准数据集上进行了实验,在OTB2015上的精确度和成功率分别达到了0.808和0.593。实验结果表明,所提算法的测试效果与几种主流跟踪算法相比有了显著的提升,并且达到了27 帧/s的实时跟踪速度,证明了所提方法的有效性。     

基于多支路的孪生网络目标跟踪

为有效解决目标跟踪在面对大尺度形变、完全遮挡、背景干扰等复杂场景时出现漂移或者跟踪丢失的问题, 本文提出了一种基于多支路的孪生网络目标跟踪算法(SiamMB). 首先, 通过增加邻近帧支路的网络鲁棒性增强方法以提高对搜索帧中目标特征的判别能力, 增强模型的鲁棒性. 其次, 融合空间注意力网络, 对不同空间位置的特征施加不同的权重, 并着重关注空间位置上对目标跟踪有利的特征, 提升模型的辨别力. 最后, 在OTB2015和VOT2018数据集上的进行评估, SiamMB跟踪精度和成功率分别达到了91.8%和71.8%, 相比当前主流的跟踪算法取得了良好的竞争力.     

基于孪生网络的鲁棒红外目标跟踪算法

针对红外目标跟踪获得的目标特征鲁棒性差以及模型漂移易导致跟踪失败等问题,提出基于孪生网络的鲁棒红外目标跟踪算法,即利用预训练孪生网络提取红外目标多卷积层特征,以获取红外对象的空间及语义信息.通过相对熵滤波网络进行响应图融合,并以融合后的响应图为基础设计自适应模板的更新策略.在具有挑战性的红外跟踪数据集VOT-TIR20...     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

基于孪生网络和Transformer的小目标跟踪算法SiamTrans

针对现有小目标跟踪算法的鲁棒性差、精度及成功率低的问题，提出一种基于孪生网络和Transformer的小目标跟踪算法SiamTrans。首先，基于Transformer机制设计一种相似度响应图计算模块。该模块叠加若干层特征编码-解码结构，并利用多头自注意力机制和多头跨注意力机制在不同层次的搜索区域特征图中查询模板特征图信息，从而避免陷入局部最优解，并获得一个高质量的相似度响应图；其次，在预测子网中设计一个基于Transformer机制的预测模块（PM），并利用自注意力机制处理预测分支特征图中的冗余特征信息，以提高不同预测分支的预测精度。在Small90数据集上，相较于TransT(Transformer Tracking)算法，所提算法的跟踪精度和跟踪成功率分别高8.0和9.5个百分点。可见，所提出的算法具有更优异的小目标跟踪性能。     

引入轻量注意力的孪生神经网络目标跟踪算法

针对目标跟踪算法在各种场景下很难做到准确率和实时性平衡的问题,提出了一种引入轻量注意力的孪生神经网络（siamese neural network）目标跟踪算法,称为SiamNL。SiamNL算法使用基于深度级卷积（depth-wise convolution）的交叉相关运算,降低了网络的参数量和运算量,提升了算法的实时性。同时,SiamNL使用Non-Local注意力网络编码模板图特征和搜索图特征,对特征进行了自注意力和互注意力的运算,有效提升了算法的准确率。在VOT2016、VOT2018、OTB100等公开数据集上的测试结果表明,SiamNL算法优于主流的目标跟踪算法,更有效地平衡了准确率和实时性。     

动态的加权孪生网络跟踪算法

为提升快速在线目标跟踪与分割算法的跟踪精度,提出了一种动态的加权孪生网络跟踪算法。首先,对初始帧提取的模板特征与每帧提取的模板特征进行学习融合,提高跟踪器的泛化能力;其次,在掩膜分支产生目标掩膜的过程中用加权的方式融合特征,减少冗余特征带来的干扰,提高跟踪的精度。在数据集VOT2016和VOT2018上进行测试,所提算法的预期平均重叠率分别为0.450和0.390,精确性分别为0.649和0.618,鲁棒性分别为0.205和0.267,均高于基准算法,跟踪速度为34帧/s,达到了实时跟踪的要求。所提算法有效地提高了跟踪的准确性,能在复杂的跟踪环境下较好地完成跟踪任务。     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

复杂场景下一种改进的单目标跟踪算法研究

针对部分复杂场景下目标跟踪存在跟踪框漂移问题,基于孪生候选区域生成网络(SiamRPN),融合通道注意力模块和选择核心模块(SK Module),提出一种单目标跟踪算法CAKSiamRPN。特征提取部分引入高效通道注意模块(ECAM)和基于标准化的通道注意力模块(NCAM),在不降低通道维度的情况下,摒弃相似信息,突出显著特征,关注并提取特定信息;在候选区域生成网络(RPN)嵌入SK Module,增强全局信息嵌入,减少填充操作的影响。将改进算法与SiamRPN及其它经典单目标跟踪算法在OTB100和UAV123数据集上进行实验对比。实验结果表明：跟踪精度和成功率明显提高,能更好地适应复杂场景,具有更强的鲁棒性。     

高质量模板在线更新的孪生网络目标跟踪算法

为降低孪生网络跟踪器中预定义锚框对模板更新和跟踪精度的影响，提出一种采用高质量模板在线更新的孪生网络目标跟踪算法。在孪生网络跟踪框架的基础上引入一个基于区域建议网络的重检测模块，获得质量更高的回归边界框，利用初始帧、累计帧和当前帧的特征模板训练一个更新网络实现更高质量的模板更新。在OTB100和GOT-10k数据集上的对比实验结果表明，提出算法具有更好的成功率和精度，在具有各种复杂属性的场景中表现出更优秀的性能。