基于孪生网络的单目标跟踪算法综述

单目标跟踪是计算机视觉领域的一个重要研究方向,在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法,尽管已有大量总结研究,但大多基于相关滤波或深度学习。近年来,基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注,然而目前对该类型算法的总结分析相对较少,并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法,对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用,并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法;然后列举单目标跟踪领域常用的数据集和评价指标,对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析,并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度;最后对基于孪生网络的目标跟踪算法的研究进行总结,并对未来的发展方向进行展望。     

高质量模板在线更新的孪生网络目标跟踪算法

为降低孪生网络跟踪器中预定义锚框对模板更新和跟踪精度的影响,提出一种采用高质量模板在线更新的孪生网络目标跟踪算法。在孪生网络跟踪框架的基础上引入一个基于区域建议网络的重检测模块,获得质量更高的回归边界框,利用初始帧、累计帧和当前帧的特征模板训练一个更新网络实现更高质量的模板更新。在OTB100和GOT-10k数据集上的对比实验结果表明,提出算法具有更好的成功率和精度,在具有各种复杂属性的场景中表现出更优秀的性能。     

结合特征金字塔和区域候选网络的视觉目标跟踪

基于区域候选网络(RPN)与孪生网络的框架可以快速的回归位置、形状信息,展现出了良好的跟踪速度和准确性.然而,采用的单阶段SiamRPN跟踪器不能有效地处理相似性干扰和大尺度变化等复杂情况.针对上述问题,本文提出了一个基于特征金字塔(FPN)的级联RPN网络(简记为CF-RPN)的多阶段的跟踪框架.该框架的基础网络由一对孪生的FPN构成,其深高层到浅低层特征分别输送到级联的RPN模块中.相对于传统RPN网络,级联RPN网络具有多个锚点框,其锚点受前一级RPN的影响.与现有的算法相比,其一,多尺度特征的提取使得目标的高层语义信息以及底层空间信息都能充分利用;其二,级联RPN网络能够对难负样本(hard negative samples)进行采样,保证训练样本更加均衡;其三,级联的RPN可实现锚点框逐级更新,从而细化每一个RPN中目标的位置和形状,提高定位的准确性,使得跟踪更加精确.通过测试,本文提出的CF-RPN算法在OTB50,OTB100上能达到62.36%和66.18%的准确率,相对于SiamMask算法,其精度分别提高了2.14%和1.9%;在VOT2016,VOT2018,VO...     

基于信息熵的级联Siamese网络目标跟踪

目标跟踪是计算机视觉领域的一个重要研究方向,针对目前算法对于目标外观变化的鲁棒性较差等问题,提出了一种基于信息熵的级联Siamese网络目标跟踪方法。首先利用孪生神经网络(Siamese network)对第一帧目标模板和当前帧待检测区域提取深度卷积特征,并通过相关性计算响应图;然后根据定义的信息熵和平均峰值系数评价响应图质量,针对质量差的响应图对卷积特征进行模型因子更新;最后利用最终的响应图确定目标位置并计算最佳尺度。在VOT2016,VOT2017数据集上进行实验,结果证明在保证实时运行的基础上所提算法的精度优于其他算法。     

引入短时记忆的Siamese网络目标跟踪算法

为提升目标跟踪算法在复杂场景下的鲁棒性,使算法适应长时跟踪场景,提出结合多层特征融合和短时记忆机制的跟踪方法,提升目标跟踪的鲁棒性。融合卷积神经网络多层特征,提升网络的特征提取能力。在跟踪阶段,引入了短时记忆模块,搜索区域特征分别与初始的基准模板特征和短时记忆的动态特征进行匹配,对得到的响应图进行融合,提升目标跟踪的鲁棒性,通过视频局部信息增强算法对跟踪目标的判别性。在OTB2015和GOT-10K目标跟踪标准数据集上进行了实验,在OTB2015上的精确度和成功率分别达到了0.808和0.593。实验结果表明,所提算法的测试效果与几种主流跟踪算法相比有了显著的提升,并且达到了27 帧/s的实时跟踪速度,证明了所提方法的有效性。     

一种用于单目标跟踪的锚框掩码孪生RPN模型

针对孪生区域候选网络(RPN)易受干扰且目标丢失后无法跟踪的问题,引入锚框掩码网络机制,设计一种新型孪生RPN模型。设置多尺度模板图片,并将其与目标图片进行卷积操作,实现全图检测以避免目标丢失。通过对前三帧图片的IOU热度图进行学习,预测连续帧目标锚框掩码,简化计算并排除其他目标干扰。在VOT2016和OTB100数据集中的实验结果显示,该模型对VOT2016数据集检测帧率达到24.6 frame/s,预期平均覆盖率为0.344 5,对OTB100数据集的检测准确率和成功率分别为0.862和0.642。基于摄像头采集数据的目标丢失及干扰测试表明,该模型具有良好的抗干扰性与实时性。     

孪生网络目标跟踪算法

在计算机视觉领域中,卷积神经网络发挥着越来越重要的作用.在海量数据的驱动下,深度学习表现出了比传统方法更为优越的特征表达能力.基于孪生网络的目标跟踪算法由于准确性和实时性等优点,相关研究受到越来越多的重视.本文首先阐述了计算机视觉的研究意义,着重介绍了几种基于孪生网络的目标跟踪算法,最后总结了这些算法的优点以及未来的研...     

孪生导向锚框RPN网络实时目标跟踪

目的 区域推荐网络（region proposal network,RPN）与孪生网络（Siamese）相结合进行视频目标跟踪,显示了较高的准确性。然而,孪生RPN网络（Siamese region proposal network, SiamRPN）目标跟踪器依赖于密集的锚框策略,会产生大量冗余的锚框并影响跟踪的精度和速度。为了解决该问题,本文提出了孪生导向锚框RPN网络（Siamese-guided anchor RPN,Siamese GA-RPN）。方法 Siamese GA-RPN的主要思想是利用语义特征来指导锚框生成。其中导向锚框网络包括位置预测模块和形状预测模块,这两个模块分别利用孪生网络中CNN（convolutional neural network）产生的语义特征预测锚框的位置和长宽尺寸,减少了冗余锚框的产生。然后,进一步设计了特征自适应模块,利用每个锚框的形状信息,通过可变卷积层来修正跟踪目标的原始特征图,降低目标特征与锚框信息的不一致性,提高了目标跟踪的准确性。结果 在3个具有挑战性的视频跟踪基准数据集VOT（video object tracking）2015、VOT2016和VOT2017上进行了跟踪实验,测试了算法在目标快速移动、遮挡和光照等复杂场景下的跟踪性能,并与多种优秀算法在准确性和鲁棒性两个评价指标上进行定量比较。在VOT2015数据集上,本文算法与孪生RPN网络相比,准确性提高了1.72%,鲁棒性提高了5.17%;在VOT2016数据集上,本文算法与孪生RPN网络相比,准确性提高了3.6%,鲁棒性提高了6.6%;在VOT2017数据集上进行实时实验,本文算法表现出了较好的实时跟踪效果。结论 通过孪生导向锚框RPN网络提高了锚框生成的有效性,确保了特征与锚框的一致性,实现了对目标的精确定位,较好地解决了锚框尺寸对目标跟踪精度的影响。在目标尺度发生变化、遮挡、光照条件变化和目标快速运动等复杂场景下仍然表现出了较强的鲁棒性和适应性。     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型...     

基于孪生网络的串联互相关目标跟踪

针对现有孪生网络目标跟踪技术只对模板特征和搜索特征进行一次融合操作, 使得融合特征图上的目标特征相对粗糙, 不利于跟踪器精确跟踪定位的问题, 本文设计了一个串联互相关模块, 旨在利用现有的互相关方法, 对模板特征和搜索特征做多次的互相关操作增强融合特征图上的目标特征, 提升后续分类和回归结果的准确性, 以更少的参数实现速度和精度之间的平衡. 实验结果表明, 所提出的方法在4个主流跟踪数据集上都取得了很好的结果.     

基于双分支孪生网络的目标跟踪

基于孪生网络的目标跟踪算法将跟踪问题建模为目标特征和搜索区特征之间的匹配问题。匹配程度通常是根据二者特征之间的相关响应来衡量。目前该衡量方式仍存在以下局限：一方面,对目标的不同区域使用的是相同的特征提取器,没有考虑到目标内部和轮廓处的区别;另一方面,在特征之间相关性的求解过程中,模板空间结构是固定的,无法很好地应对目标形变时的情况,鲁棒性较差。为解决上述问题,提出了一种双分支孪生网络目标跟踪算法SiamDAH（Double Adjust Head Siamese Network for Object Tracking）,其中双分支结构旨在考虑目标内部区域和轮廓处的表征需求差异。此外,提出了一种改进的逐像素相关模块,有效降低了传统相关操作时模板结构固定带来的问题。在GOT-10k数据集上的实验结果表明,提出的算法在AO、SR0.5、SR0.75指标上较基准算法分别实现了3.4%、7.0%、2.3%的提升。在NVIDIA RTX 2080Ti上速度可达90 frame/s。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法(SiamFC)的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法.在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适...     

基于互注意力指导的孪生跟踪算法

针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷.首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动.然后...     

融合注意力机制的双路径孪生视觉跟踪方法

传统基于孪生网络的视觉跟踪方法在训练时是通过从大量视频中提取成对帧并且在线下独立进行训练而成,缺乏对模型特征的更新,并且会忽略背景信息,在背景驳杂等复杂环境下跟踪精度较低。针对上述问题,提出了一种融合注意力机制的双路径孪生网络视觉跟踪算法。该算法主要包括特征提取器部分和特征融合部分。特征提取器部分对残差网络进行改进,设计了一种双路径网络模型;通过结合残差网络对前层特征的复用性和密集连接网络对新特征的提取,将2种网络拼接后用于特征提取;同时采用膨胀卷积代替传统卷积方式,在保持一定感受视野的情况下提高了分辨率。这种双路径特征提取方式可以隐式地更新模型特征,获得更准确的图像特征信息。特征融合部分引入注意力机制,对特征图不同部分分配权重。通道域上筛选出有价值的目标图像信息,增强通道间的相互依赖;空间域上则更加关注局部重要信息,学习更丰富的上下文联系,有效地提高了目标跟踪的精度。为证明该方法的有效性,在OTB100和VOT2016数据集上进行验证,分别使用精确率(Precision)、成功率(Success rate)和平均重叠期望(Expect average overlaprate,EAO)...     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

基于多支路的孪生网络目标跟踪

为有效解决目标跟踪在面对大尺度形变、完全遮挡、背景干扰等复杂场景时出现漂移或者跟踪丢失的问题, 本文提出了一种基于多支路的孪生网络目标跟踪算法(SiamMB). 首先, 通过增加邻近帧支路的网络鲁棒性增强方法以提高对搜索帧中目标特征的判别能力, 增强模型的鲁棒性. 其次, 融合空间注意力网络, 对不同空间位置的特征施加不同的权重, 并着重关注空间位置上对目标跟踪有利的特征, 提升模型的辨别力. 最后, 在OTB2015和VOT2018数据集上的进行评估, SiamMB跟踪精度和成功率分别达到了91.8%和71.8%, 相比当前主流的跟踪算法取得了良好的竞争力.     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...