融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法(SiamFC)的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法.在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适...     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

融合HOG特征和注意力模型的孪生目标跟踪算法

为了提高跟踪算法在目标发生形变和被遮挡时的准确性,提出一种融合HOG(histogram of oriented gradient)特征和注意力模型的孪生目标跟踪算法.首先,采用对ResNet残差模型改进后的CIR(cropping inside residual)模型塑造孪生目标跟踪网络的骨干网络,充分利用不同层次的特征图,同时加深网络;其次,融入HOG特征,增强网络对图形几何变化的鲁棒性;再次,加入CBAM(convolutional block attention module)注意力模型,使网络能够在结合上下文信息的同时调节HOG特征在特征图中所占比例,增强特征图中的有效特征,弱化无效特征,使网络中各特征图发挥出最好的效果;最后,定义算法的损失函数.实验结果表明,所提算法在GOT-10k数据集上进行训练后,能够在OTB100上获得较好的跟踪效果,在该数据集中精确率和成功率分别达到81.9%和60.6%.在目标物体发生形变和被遮挡的情况下,所提算法仍能取得较好的跟踪效果.     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

基于孪生网络和Transformer的小目标跟踪算法SiamTrans

针对现有小目标跟踪算法的鲁棒性差、精度及成功率低的问题,提出一种基于孪生网络和Transformer的小目标跟踪算法SiamTrans。首先,基于Transformer机制设计一种相似度响应图计算模块。该模块叠加若干层特征编码-解码结构,并利用多头自注意力机制和多头跨注意力机制在不同层次的搜索区域特征图中查询模板特征图信息,从而避免陷入局部最优解,并获得一个高质量的相似度响应图;其次,在预测子网中设计一个基于Transformer机制的预测模块（PM）,并利用自注意力机制处理预测分支特征图中的冗余特征信息,以提高不同预测分支的预测精度。在Small90数据集上,相较于TransT(Transformer Tracking)算法,所提算法的跟踪精度和跟踪成功率分别高8.0和9.5个百分点。可见,所提出的算法具有更优异的小目标跟踪性能。     

多层特征融合和并行自注意力的孪生网络目标跟踪算法

目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化、形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(multi-layer feature fusion module, MLFF)将ResNet后三层特征进行融合;其次,引入并行自注意力模块(parallel self-attention module, PSA),该模块由通道自注意力和空间自注意力组成,通道自注意力可以选择性地强调对跟踪有益的通道特征,空间自注意力能学习目标丰富的空间信息;最后,采用区域提议网络(regional proposal network, RPN)来完成分类和回归操作,从而确定目标的位置和形状。实验显示,提出的MPSiamRPN在OTB100、VOT2018两个测试数据集上取得了具有可竞争性的结果。     

基于Anchor-free的孪生网络目标跟踪算法

基于anchor-free的目标预测方法相较于anchor-based方法速度更快,故设计一种基于anchor-free的孪生网络目标跟踪算法(AFSN)。通过对特征图、预测结果进行双重融合来提升跟踪效果,由深至浅对特征图进行堆叠融合,利用多层特征图进行目标预测,融合多个预测结果来稳定跟踪效果。采用anchor-free的目标预测方法,直接在像素点上进行目标类别的预测和边界框回归,避免了需设计大量锚点包围盒的问题。在GOT-10K数据集上,该算法的平均重叠率(AO)和成功率(SR_0.75)相较于SiamRPN++算法提高了4.9和9.9百分点,算法处理速度可达每秒37帧。     

孪生网络目标跟踪算法

在计算机视觉领域中,卷积神经网络发挥着越来越重要的作用.在海量数据的驱动下,深度学习表现出了比传统方法更为优越的特征表达能力.基于孪生网络的目标跟踪算法由于准确性和实时性等优点,相关研究受到越来越多的重视.本文首先阐述了计算机视觉的研究意义,着重介绍了几种基于孪生网络的目标跟踪算法,最后总结了这些算法的优点以及未来的研...     

基于孪生网络的跟踪算法综述

目标跟踪算法共分为两大类,一类是基于相关滤波的跟踪算法,另一类是基于深度学习的跟踪算法。基于相关滤波的跟踪算法的特点是跟踪速度快,跟踪的精度较低。基于深度学习的跟踪算法的特点是精度较高,但跟踪速度较低。随着研究的深入,深度学习中基于孪生网络的跟踪算法很好地平衡了跟踪速度和精度,既保持了基于深度学习的跟踪算法的优点,又大幅度提高了跟踪速度。首先介绍了基于孪生网络的跟踪算法的工作原理,然后根据基于孪生网络的跟踪算法的发展顺序,分别阐述了不同孪生网路跟踪算法的方法,最后对基于孪生网络的跟踪算法做了总结与展望。     

融合注意力机制的双路径孪生视觉跟踪方法

传统基于孪生网络的视觉跟踪方法在训练时是通过从大量视频中提取成对帧并且在线下独立进行训练而成,缺乏对模型特征的更新,并且会忽略背景信息,在背景驳杂等复杂环境下跟踪精度较低。针对上述问题,提出了一种融合注意力机制的双路径孪生网络视觉跟踪算法。该算法主要包括特征提取器部分和特征融合部分。特征提取器部分对残差网络进行改进,设计了一种双路径网络模型;通过结合残差网络对前层特征的复用性和密集连接网络对新特征的提取,将2种网络拼接后用于特征提取;同时采用膨胀卷积代替传统卷积方式,在保持一定感受视野的情况下提高了分辨率。这种双路径特征提取方式可以隐式地更新模型特征,获得更准确的图像特征信息。特征融合部分引入注意力机制,对特征图不同部分分配权重。通道域上筛选出有价值的目标图像信息,增强通道间的相互依赖;空间域上则更加关注局部重要信息,学习更丰富的上下文联系,有效地提高了目标跟踪的精度。为证明该方法的有效性,在OTB100和VOT2016数据集上进行验证,分别使用精确率(Precision)、成功率(Success rate)和平均重叠期望(Expect average overlaprate,EAO)...     

基于孪生区域建议网络的无人机目标跟踪算法

在无人机跟踪过程中,遮挡、光照变化、背景干扰等影响会导致跟踪目标丢失。基于SiamRPN算法提出一种无人机目标跟踪算法。通过在网络中加入空间条带池和全局上下文模块建立远程上下文关系,以适应不同的跟踪场景。同时利用改进交并比的计算方法提取目标特征,并回归精准的预测框。在UAV123数据集上的实验结果表明,相比SiamRPN、SiamFC、SAMF等算法,该算法的跟踪性能较优且具有较强的鲁棒性,尤其在背景干扰环境下,其精确率和成功率较SiamRPN算法分别提升了6.54%和11.63%。     

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。本文针对此问题,提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明,本文改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%,准确率提升了0.83%,鲁棒性提升了3.85%;在OTB100数据集上,本文算法精确率为91.4%,成功率为71.7%,与基础算法相比,精确率提升了3.28%,成功率提升了5.13%。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

基于孪生区域候选网络的目标跟踪模型

为了解决被跟踪目标因尺度、形状变化导致的跟踪效果变差的问题,本文提出一种基于孪生区域候选网络的目标跟踪模型,对孪生区域候选网络(SiamRPN)优化,升级特征提取基准网络,采取多层特征融合模式,引入注意力机制模块增强位置特性和通道特性,并应用检测领域提出的GA-RPN替换原有的RPN(区域候选网络).OTB2015和VOT2018数据集的实验结果显示,本文模型对OTB2015数据集成功率为0.678,准确率为0.882,与SiamRPN相比分别提高了3.7%,6.2%;对VOT2018数据集检测帧率为31FPS,平均重叠期望为0.402,与SiamRPN相比提高了4.9%,测试结果表明本文模型具备较高的跟踪精度和较强的抗干扰性,满足实时性需求.     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

旋转区域提议网络的孪生神经网络跟踪算法

孪生区域提议网络跟踪算法是一种高效的目标跟踪算法,通过锚框规避了图像金字塔对跟踪性能带来的影响,但这种跟踪方法受制于区域提议网络本身的局限性,在目标旋转时,跟踪精度将受到较大损失。而其他对旋转鲁棒性较高的方法则因为使用了复杂的旋转结构,导致算法的跟踪速度大幅下降。为了解决旋转目标对区域提议网络跟踪精度的影响,提出了旋转区域提议网络的孪生神经网络跟踪算法,通过AO-RPN（arbitrary-oriented region proposal network）结构将旋转与区域提议网络相统一,引入角度预测分支,在目标跟踪的过程中,直接对旋转的目标进行搜索,并得到最小外接矩形。该方法在保持较高跟踪速度的同时,精度超过了对目标进行旋转采样或使用局部特征进行跟踪的算法。通过在数据集OTB2015、VOT2016和VOT2018上进行的大量实验。结果表明,该算法在遮挡、形变、光照等多种复杂情况下表现出了较强的鲁棒性和适应性。     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...