基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

SiamCross:孪生交叉的目标跟踪对象感知网络

近来,基于孪生架构的方法因其能在保持良好速度的同时取得较显著的性能,引起了视觉跟踪领域的广泛关注.然而,孪生网络分支通常是独立的,缺乏信息交互,这限制了模型性能的进一步提升.为了增强孪生网络分支的协作能力,本文提出基于孪生架构的交叉感知网络模型——SiamCross(Siamese Cross Object-Aware Network).孪生网络双分支特征提取是提升模型性能的首要核心操作,区分目标和语义背景在很大程度上依赖模型挖掘的特征鲁棒性.在SiamCross中,我们首先基于孪生网络分支的互监督,设计了全新的孪生交叉感知子网络(Siamese Cross-Aware Net work,SCAN)用来提取鲁棒特征.SCAN允许孪生分支彼此全方位高效协同工作,使模板分支可充分利用特征丰富的上下文语义信息,对目标产生更具有区分性的表示;搜索分支结合模板特征,也主动学习到了目标的本质信息.另一方面,无锚框算法将跟踪任务直接映射为对每个像素的分类和回归,网络分支特征可各自聚焦于目标的局部与全局空间信息.以上两种特征具有很好的潜在局部-全局互补性.具体而言,回归特征学习到了更多的目标全局尺寸信...     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

一种多分辨率在线选择分支的单目标跟踪方法

单目标跟踪作为计算机视觉领域中最基本的问题之一,可在第一帧视频给定标记目标后,在随后的帧中定位目标,而这其中有目标运动、视角变化、光照变化等干扰因素,针对此类由于目标发生剧烈外观变化而跟踪失败的问题,提出一种多分辨率在线选择分支的单目标跟踪方法.该方法基于孪生网络框架,结合Resnet-50深层网络,加入在线分支选择机...     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

基于注意力机制和不对称卷积的目标跟踪算法

一般孪生网络跟踪算法中目标模板不会更新，模板分支与搜索分支在计算时相互独立，无法进行鲁棒跟踪，使用深度互相关来融合两分支的特征有着容易被干扰物欺骗、激活通道数少、对目标边界的分辨能力较弱，且不能充分受益于大规模的离线训练，为此提出一种基于注意力机制和不对称卷积的目标跟踪算法。设计增强注意力网络增强和传递分支信息。采用不对称卷积来代替深度互相关，使用有效的参数学习如何更好地互相关。所提算法在OTB100、LaSOT、VOT2019上做了对比实验，实验结果表明，所提算法表现较好，性能优于现有的多个先进跟踪器。     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架，因其将回归问题转换为相似度匹配问题，备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展，目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法，成为目标跟踪的主流算法。首先，介绍了目标跟踪任务面对的挑战和传统方法；然后，介绍了孪生网络的基础结构及其发展，汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理；另外，介绍多个用于目标跟踪测试的主流数据集，并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能；最后，提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

梯度导向的通道选择目标跟踪算法

通常在目标跟踪任务中需要跟踪的目标物体具有任意性,同时目标周围可能有相似的干扰物体,这常常导致预训练网络提取的目标特征并不完全适用于当前需要跟踪的目标物体.针对以上问题,在Siamese孪生网络目标跟踪框架下,提出一种新型的基于梯度导向的通道选择目标跟踪算法.首先从预训练网络提取待跟踪目标特征,利用提出的开关-惩罚损失...     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型...     

近年目标跟踪算法短评——相关滤波与深度学习

目的 目标跟踪是计算机视觉领域的重要组成部分。近年来,基于相关滤波和深度学习的目标跟踪算法层出不穷,本文拟对经典的若干目标跟踪算法进行阐述与分析。方法 首先,对基于相关滤波跟踪算法的基础理论进行介绍,针对相关滤波算法在特征改进类、尺度改进类、消除边界效应类、图像分块类与目标响应自适应类方面进行总结;接下来,从3个方面对基于深度学习的目标跟踪算法进行阐述与分析：目标分类、结构化回归、孪生网络,并对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。结果 通过列举跟踪算法在相关滤波阶段、深度学习阶段针对不同的改进机制的改进算法,总结各阶段算法的优缺点。对目标跟踪算法的最新进展进行阐述,最终对目标跟踪算法的未来发展方向进行总结。结论 基于相关滤波的目标算法在实时性方面表现优秀,但对于复杂背景干扰、相似物遮挡等情况仍然需要优化。深层的卷积特征对于目标有强大的表示力,通过使相关滤波算法与深度学习结合,大幅度提升了算法表现力。基于深度学习的跟踪算法则更侧重于跟踪的性能,大多无法满足实时性。孪生神经网络的使用对于基于深度学习类目标跟踪算法产生了很大的推动,兼顾了算法的性能和实时性。     

基于时空注意力机制的目标跟踪算法

目标跟踪技术在智能监控、人机交互、无人驾驶等诸多领域得到了广泛的应用。近年来,学者们提出了许多高效的算法。然而,随着跟踪环境越来越复杂,目标跟踪算法在遮挡、光照变化、背景干扰等复杂环境下仍然面临着巨大的挑战,从而导致目标跟踪失败。针对上述问题,提出了一种基于时空注意力机制的目标跟踪算法。首先,采用孪生网络架构来提高对特征的判别能力;然后,引入改进的通道注意力机制和空间注意力机制,对不同通道和空间位置的特征施加不同的权重,并着重关注空间位置和通道位置上对目标跟踪有利的特征。此外,还提出了一种高效的目标模板在线更新机制,将第一帧图像特征与后续跟踪图像帧中置信度较高的图像特征进行融合,以降低发生目标漂移的风险。最后,在OTB2013和OTB2015数据集上对所提跟踪算法进行了测试。实验结果表明,所提算法的性能相比当前主流的跟踪算法提高了6.3%。     

自适应卷积特征选择的实时跟踪算法

目的 针对深度卷积特征相关滤波跟踪算法因特征维度多造成的跟踪速度慢及其在目标发生形变、遮挡等情况时存在跟踪失败的问题,提出了一种自适应卷积特征选择的实时跟踪算法。方法 该算法先分析结合深度卷积特征的相关滤波跟踪算法定位目标的特性,然后提出使用目标区域和搜索区域的特征均值比来评估卷积操作,选取满足均值比大于阈值的特征通道数最多的卷积层,减少卷积特征的层数及维度,并提取该卷积层的有效卷积特征来训练相关滤波分类器,最后采用稀疏的模型更新策略提高跟踪速度。结果 在OTB-100标准数据集上进行算法测试,本文算法的平均距离精度值达86.4%,平均跟踪速度达29.9帧/s,比分层卷积相关滤波跟踪算法平均距离精度值提高了2.7个百分点,速度快将近3倍。实验结果表明,本文自适应特征选择的方式在保证跟踪精度的同时有效地提升了跟踪的速度,且优于当前使用主成分分析降维的方式;与现有前沿跟踪算法对比,本文算法的整体性能优于实验中对比的9种算法。结论 该算法采用自适应卷积通道和卷积层选择的方式有效地减少了卷积层数和特征维度,降低了模型的复杂度,提升了跟踪速度,利用稀疏模型更新策略进一步提升了跟踪的速度,减少了模型漂移现象,当目标发生快速运动、遇到遮挡、光照变化等复杂场景时,仍可实时跟踪到目标,具有较强的鲁棒性和适应性。     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

足球视频球员感知跟踪算法

目的 足球比赛视频中的球员跟踪算法为足球赛事分析提供基础的数据支持。但足球比赛中球员跟踪存在极大的挑战：球员进攻、防守和争夺球权时,目标球员可能产生快速移动、严重遮挡和周围出现若干名干扰球员的情况,目前仍没有一种能够完美解决足球比赛中球员跟踪问题的算法。因此如何解决足球场景中的困难,提升球员跟踪的准确度,成为当前研究的热点问题。方法 本文在分析足球比赛视频中球员目标特点的基础上,通过融合干扰项感知的颜色模型和目标感知的深度模型,提出并设计了一种球员感知的跟踪算法。干扰项感知的颜色模型分别提取目标、背景和干扰项的颜色直方图,利用贝叶斯公式得到搜索区域中每个像素点属于目标的似然概率。目标感知的深度模型利用孪生网络计算搜索区域与目标的相似度。针对跟踪漂移问题,使用全局跟踪器和局部跟踪器分别跟踪目标整体和目标上半身,并且在两个跟踪器的跟踪结果出现较大差异的时候分析跟踪器有效性并进行定位修正。结果 在公共的足球数据集上将本文算法与10个其他跟踪算法进行对比实验,同时对于文本算法进行了局部跟踪器的消融实验。实验结果表明,球员感知跟踪算法的平均有效重叠率达到了0.560 3,在存在同队球员和异队球员干扰的情况下,本文算法比排名第2的算法的有效重叠率分别高出3.7%和6.6%,明显优于其他算法,但是由于引入了干扰项感知的颜色模型、目标感知的深度模型以及局部跟踪器等模块增加了算法的时间复杂度,导致本文算法跟踪速度较慢。结论 本文总结了跟踪算法的整体流程并分析了实验结果,认为干扰项感知、目标感知和局部跟踪这3个策略在足球场景中的球员跟踪问题中起到了重要的作用,为未来在足球球员跟踪领域研究的继续深入提供了参考依据。     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。