基于孪生区域候选网络的目标跟踪模型

为了解决被跟踪目标因尺度、形状变化导致的跟踪效果变差的问题,本文提出一种基于孪生区域候选网络的目标跟踪模型,对孪生区域候选网络(SiamRPN)优化,升级特征提取基准网络,采取多层特征融合模式,引入注意力机制模块增强位置特性和通道特性,并应用检测领域提出的GA-RPN替换原有的RPN(区域候选网络).OTB2015和VOT2018数据集的实验结果显示,本文模型对OTB2015数据集成功率为0.678,准确率为0.882,与SiamRPN相比分别提高了3.7%,6.2%;对VOT2018数据集检测帧率为31FPS,平均重叠期望为0.402,与SiamRPN相比提高了4.9%,测试结果表明本文模型具备较高的跟踪精度和较强的抗干扰性,满足实时性需求.     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能.针对无人机(UAV)指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+.首先...     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

孪生网络目标跟踪算法

在计算机视觉领域中,卷积神经网络发挥着越来越重要的作用.在海量数据的驱动下,深度学习表现出了比传统方法更为优越的特征表达能力.基于孪生网络的目标跟踪算法由于准确性和实时性等优点,相关研究受到越来越多的重视.本文首先阐述了计算机视觉的研究意义,着重介绍了几种基于孪生网络的目标跟踪算法,最后总结了这些算法的优点以及未来的研...     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

SiamBM:实现更佳匹配的Siamese目标跟踪网络

基于孪生网络的目标跟踪算法通常采用简单的互相关匹配方式，然而这种简单的匹配方式会引入大量无关信息，弱化目标区域的响应。基于无锚框的孪生跟踪网络虽然避免了锚框参数的调整，但由于失去了先验性信息，并不能很好地适应目标物的尺度变化。因此，针对上述所存在的问题，本文提出了一种基于孪生网络的目标跟踪匹配增强算法SiamBM。通过将目标的边界框坐标信息进行编码，为跟踪模型提供有效的指导信息；采用深度可分离互相关级联像素匹配互相关的方式，进一步提高跟踪模型的判别能力；采用多尺度互相关的方式，增强跟踪模型的尺度适应能力。在OTB100数据集上，SiamBM的成功率和精确率分别达到了0.684和0.906，相比基准模型分别提高了5.2%和4.2%。实验结果表明，与目前主流的跟踪器相比，SiamBM取得了相当有竞争力的结果，在各项数据集指标上取得了优越的性能。     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

基于孪生区域建议网络的无人机目标跟踪算法

在无人机跟踪过程中,遮挡、光照变化、背景干扰等影响会导致跟踪目标丢失。基于SiamRPN算法提出一种无人机目标跟踪算法。通过在网络中加入空间条带池和全局上下文模块建立远程上下文关系,以适应不同的跟踪场景。同时利用改进交并比的计算方法提取目标特征,并回归精准的预测框。在UAV123数据集上的实验结果表明,相比SiamRPN、SiamFC、SAMF等算法,该算法的跟踪性能较优且具有较强的鲁棒性,尤其在背景干扰环境下,其精确率和成功率较SiamRPN算法分别提升了6.54%和11.63%。     

基于Anchor-free的孪生网络目标跟踪算法

基于anchor-free的目标预测方法相较于anchor-based方法速度更快，故设计一种基于anchor-free的孪生网络目标跟踪算法(AFSN)。通过对特征图、预测结果进行双重融合来提升跟踪效果，由深至浅对特征图进行堆叠融合，利用多层特征图进行目标预测，融合多个预测结果来稳定跟踪效果。采用anchor-free的目标预测方法，直接在像素点上进行目标类别的预测和边界框回归，避免了需设计大量锚点包围盒的问题。在GOT-10K数据集上，该算法的平均重叠率(AO)和成功率(SR_0.75)相较于SiamRPN++算法提高了4.9和9.9百分点，算法处理速度可达每秒37帧。     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型...     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.     

金字塔频率特征融合目标检测网络

针对深度学习网络在特征提取过程中运用上采样操作而致使细节纹理等高频特征缺失的问题,提出一种金字塔频率特征融合目标检测网络.网络由3个深度学习金字塔网络构成,输入图像经初级金字塔提取深度特征后,分别通过高频、低频增强金字塔形成不同的频率特征,利用特征融合来凸显深度学习网络在信息逐层传递过程中对细节信息的保护能力,提高目标...     

增强特征金字塔结构的显著目标检测算法

显著目标检测是计算机视觉的研究热点。显著目标检测算法存在一些问题,如：算法常采用单一损失函数,缺乏对多维特征损失的考虑,可能带来局限性;最高层特征图来源单一;特征图融合常使用对应像素相加,不能有效突出图像中感兴趣区域。针对上述问题,结合结构性相似、交并比和交叉熵三种损失函数来捕捉图像细节,采用对应像素相乘操作融合特征图,令模型对显著区域更加敏感;通过残差特征图增强模块逆向构建更高层特征图强化其语义信息;采用特征金字塔结构融合不同尺度信息,完成编码解码模块。在5个数据集的对比实验表明该方法性能超过主流算法,能实现有效的显著目标检测。     

特征融合与训练加速的高效目标跟踪

基于孪生网络的目标跟踪,存在特征信息欠丰富,跟踪效率有待提高,大型数据集上训练时间长等问题。针对上述问题,提出特征融合与训练加速的高效目标跟踪。增加主干网络参考特征层级,减小下采样,融合多层级参考特征图,提取目标更深度、丰富的语义信息。深度互相关操作得到候选窗口响应（Response of Candidate Windows,RoWs）,在其中构建区域建议网络（Region Proposal Network,RPN）,通过权衡正负锚点的数量比,使孪生网络性能更加高效、稳定。大型数据集训练孪生网络时,使用均匀滑动漂移采样,代替随机漂移采样算法,在抑制中心偏置现象的同时,显著加快了孪生网络的训练速度。跟踪基准VOT2018上的评估实验结果表明,与所有参考的主流目标跟踪算法相比,所提算法具有最佳的跟踪性能。     

基于特征在线选择的目标压缩跟踪算法

基于压缩感知理论的压缩跟踪算法能够有效地实现对目标的跟踪, 具有良好的实时性, 但该算法对目标特征没有进行在线选择导致跟踪鲁棒性不高. 本文提出一种基于特征在线选择的目标压缩跟踪算法. 首先, 在目标附近采样得到正负样本集合, 计算样本的多尺度矩形特征, 采用压缩感知中的随机投影矩阵对高维特征投影得到低维压缩域特征, 对压缩域特征进行在线选择提取最优特征, 剔除被污染的样本特征, 使用简单高效的朴素贝叶斯分类模型进行样本判断, 实现对目标的跟踪, 同时对跟踪中目标在摄像头中的尺度变化进行建模, 给出目标尺度变化的定量描述, 实现了适应目标尺度变化的多尺度跟踪. 实验结果表明本文算法具有更好的鲁棒性与更高的跟踪精度, 对目标跟踪中的遮挡、光线突变、尺度变化和非刚性形变等因素具有较好的抗干扰能力, 同时算法复杂度低, 可以满足实时性要求.     

视频目标跟踪中的提升分类算法

针对目标跟踪过程中各类图像特征分离背景和目标能力的动态变化,提出一种基于协同训练框架的在线提升分类特征选择算法.该算法采用两组特征描述目标与背景区域各像素,并分别训练一在线提升分类器对特征组进行选择,然后综合分类结果,得到最优似然图像,基于该似然图像,采用粒子滤波对目标进行琅踪并通过图像处理方法获得最佳前景分割图.该方法的主要优点是仅需对首帧图像进行训练,并在跟踪过程中通过协同训练在线更新提升分类器.同时,实验表明该算法运算速度快,并能适应环境光照变化、遮挡等恶劣条件.