视觉跟踪技术中孪生网络的研究进展

在计算机视觉领域中,基于孪生网络的跟踪算法相比于传统算法提高了精度和速度,但是仍会受到目标遮挡、变形、环境变化等影响,导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法,本文对现有基于孪生网络目标跟踪算法进行了总结和分析,主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法,对这3种方法的目标跟踪算法进行了综述,详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比,获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结,并对未来的发展方向进行了展望。     

融合检测技术的孪生网络跟踪算法综述

近年来,基于孪生网络的方法在视觉目标跟踪中取得了巨大的进步,但是这类方法在处理跟踪中的目标状态估计以及复杂场景干扰中仍存在较大的提升空间。随着深度学习在目标检测领域取得的成功,越来越多的研究将其成果用于指导目标跟踪技术的发展。对融合检测技术的孪生目标跟踪算法进行了综述。首先介绍检测和跟踪的联系与区别,同时分析检测技术对改进基于孪生网络的跟踪算法的可行性;然后阐述在不同检测框架指导下的孪生目标跟踪算法,以及使用OTB100、VOT2018、GOT-10k和LaSOT公开数据集对各类算法进行对比和分析;最后对全文进行总结,并对目标跟踪的未来发展方向进行展望。     

基于主干增强和特征重排的反无人机目标跟踪

视频图像中面向无人机的目标跟踪是反无人机任务中的重要一环。无人机低空飞行背景复杂,同时在视频图像中目标像素占比较小,都给目标跟踪增加了难度。针对以上问题,以SiamRPN++为基础,提出了一种引入改进的主干网络和特征重排的孪生神经网络目标跟踪算法（SiamAU）。首先,在主干网络中加入ECA-Net注意力机制网络,同时对激活函数进行改进,以提升复杂背景下的特征表征能力;然后,对主干网络输出的浅层特征进行浅层降维并与后三层深层特征进行融合,得到更适合无人机等小目标跟踪的改进深度融合特征。在DUT Anti-UAV数据集上,SiamAU算法的成功率和精确率达到了60.5%和88.1%,相比基准算法提升了5.6%和8.1%。在两个公开数据集上的测试结果表明,在反无人机场景中SiamAU算法的跟踪表现优于目前主流的算法。     

结合全局光流的孪生区域提名网络目标跟踪算法

基于孪生网络的跟踪器受限于孪生网络跟踪框架固有的跟踪机制和搜索区域选择机制,当目标处在被遮挡、快速运动和出视野等困难场景下时,如何稳定、鲁棒地进行目标跟踪始终是孪生网络跟踪器亟需解决的问题。为此,文章提出一种结合光流的孪生区域提名网络目标跟踪算法(GOF-SiamRPN)。通过全局光流对目标的运动趋势信息进行补充,该方法可以有效地解决在这些困难场景下的跟踪问题。在VOT2019和UAV123上的实验结果表明,相比基准方法,该算法分别取得了2.0%和1.8%的性能提升。与其他先进的跟踪器相比,该算法也取得了有竞争力的跟踪效果。     

基于多注意力图的孪生网络视觉目标跟踪

在视觉跟踪应用中,目标外观通常由包含目标的矩形区域来建模,这种矩形化边框的描述方式不可避免地引入了背景干扰,并随着场景变化导致跟踪关注点的模糊及歧义,进而产生跟踪漂移。针对以上问题,提出了一种基于多注意力图的孪生网络视觉目标跟踪算法。首先,建立了一种关注于前景目标区域特征表达的孪生网络。该网络通过构建梯度注意力图损失函数项来引导网络训练,提升网络区分目标和干扰背景的能力。此外,嵌入通道注意力和空间注意力进一步强化目标的特征表达,自动发掘有区分的特征表示。在多个公共数据集上的实验验证了提出算法的有效性,以及算法可完成实时的视觉目标跟踪。      

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的。针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法。该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度。在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的.针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法.该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度.在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求.     

基于孪生网络与注意力机制的目标跟踪方法

为了解决在目标跟踪过程中对目标跟踪不准确,导致目标跟踪丢失或漂移等情况。本文在此基础上提出基于孪生网络与注意力机制相结合的目标跟踪方法。将网络架构有原有的AlexNet网络更改为经过修改的ResNet50网络,并在网络结构中加入卷积模块注意力。该注意力机制从通道和空间两个维度计算特征图和注意力图。最后,在OTB100上对算法进行了评估,准确率比原算法有所提高。     

多模型融合的孪生网络视觉跟踪

为提升孪生网络视觉跟踪算法的准确性,提出一种融合多任务差异化同质型模型的孪生网络视觉跟踪算法。首先在决策层对孪生网络视觉跟踪模型与目标分割模型进行融合,然后结合多尺度搜索区域、目标上下文特征、多学习率模型更新策略进行跟踪。在标准数据集VOT、OTB、LaSOT、UAV123上进行算法评估。实验结果表明,所提算法在遮挡、快速运动、光照变化等干扰下可以稳定跟踪目标。     

基于孪生神经网络的两阶段目标跟踪方法

深度学习技术使目标跟踪的精度和鲁棒性得到了很大提高,基于孪生网络的跟踪方法通过在大规模数据集上进行训练,使模型能应对目标的各种形变,缺点是无法排除相似目标的干扰。为此,提出了一种基于孪生网络的两阶段目标跟踪方法。首先,采用修改后的残差网络提取性能更优的深度特征。区域建议网络通过相关滤波调制自适应更新模板,结合时域信息过滤掉易区分的负样本;然后,通过感兴趣池化层提取候选区域固定尺度的特征,并馈送到验证网络进行更精细的分类与回归。为了提升网络对高难度样本的区分能力,采用正负样本对联合训练的方式提高特征匹配的性能。在OTB100、VOT标准测试集和UAV123无人机航拍数据集上进行了评测,实验结果表明:所提方法能明显改进基准算法的性能。     

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于STF滤波的神经网络算法

为了解决"基于卡尔曼滤波的神经网络算法"由于目标模型不确定性而出现的预测信息不准确,甚至发散的问题以及由于传感器误差而造成的估计误差偏大导致跟踪失效的问题,提出将强跟踪滤波(STF)应用于人工神经网络算法中,以神经网络中各层连接权值构成STF滤波的状态向量,引入时变渐消因子,强迫残差具有正交性或近似正交性,以克服上述问题.实验仿真证明,改进后的算法提高了网络训练速度、滤波精度、数值稳定性以及对目标的跟踪性能.     

基于增强RPN的孪生网络目标跟踪算法

目前孪生网络跟踪器已经具有比较良好的表现,但是对于卷积神经网络所提取的特征仍没有较好地利用其特点,同时孪生网络通过相似性学习进行跟踪的特性使跟踪器的准确性和鲁棒性存在不足。提出了一种金字塔式特征融合的方法,根据骨干网络特征提取层不同深度具有不同侧重的特点提高网络对目标的表征能力,然后使用注意力机制对区域推荐网络（Region Proposal Network,RPN）进行增强,最终实现更精准更鲁棒的跟踪。在OTB100数据集的实验中,新提出的SiamERPN(Siamese Enhanced RPN)算法分别得到了0.668的成功率和0.876的精度,测试结果好于基线算法和其他对比算法。     

无线传感器网络中基于网格的目标跟踪算法

提出了一种适用于无线传感器网络中基于网格的目标跟踪算法，以解决在目标跟踪过程中信任度（belief）更新和传感器节点信息贡献量估计问题。该算法对信任度进行非参数化表示，用基于网格的算法对序列贝叶斯滤波过程进行实现。并且利用目标位置预测和基于网格的算法在不预先获知传感器节点测量数据的情况下，对节点的信息贡献量进行估算。在资源受限的无线传感器网络中，该算法在降低计算复杂度、提高算法适用范围方面都有显著改进。最后在仿真环境中验证了基于网格的目标跟踪算法的有效性。     

基于Elman神经网络的多目标跟踪技术的研究

首先叙述了Elman神经网络的结构、原理和学习方法.针对Elman网络的学习率对网络收敛速度及稳定性影响很大,提出了一种可以自适应调整学习速率的改进的Elman网络学习算法;并基于Elman神经网络,采用模糊推理进行数据关联的方法,结合扩展卡尔曼滤波,提出一种新的多目标跟踪方法.最后应用此方法采用两个传感器对两个运动目标进行跟踪实验,并与BP神经网络对比得出仿真结果,实验结果表明,所提出的方法是一种可行的多目标跟踪方法.     

基于柔性阈值的孪生网络的多源图像融合跟踪

在跟踪精确打击目标过程中,传统的跟踪模式存在在图像变化剧烈和典型目标受干扰时易出现目标丢失等问题,对此,提出一种基于柔性阈值共享的孪生网络目标融合模式,首先采用典型特征完成对典型目标的跟踪;其次,根据可见光和红外图像目标跟踪结果,对孪生网络共享的阈值进行动态柔性计算,提升目标正确跟踪的比重;最后,采用典型目标跟踪模式完成结果融合,有效提升跟踪精度.实验表明,提出的算法在目标遮挡和目标变形等情况下具有较好的效果.     

拟合修正Kalman滤波在弱小目标跟踪中的应用

文章在目标精确跟踪阶段，引入曲线拟合的方法进行跟踪，根据实际情况提出了拟合权系数的定义和计算公式，可以很好地预测运动方向和抑制抖动。引入Kalman滤波系统思想，提出了适合图像跟踪的目标机动性参数，应用在拟合跟踪中，实现了自适应的跟踪算法。将改进的拟合跟踪和Kalman跟踪做了比较，在分析各自优缺点基础上，把改进的拟合跟踪中和Kalman跟踪结合起来，提出了Kalman修正的拟合跟踪算法，可以较好的解决多目标跟踪中记忆跟踪、交叉跟踪、成像抖动的问题。     

基于非对称卷积的孪生网络视觉跟踪算法

针对孪生网络对旋转变化目标特征表达能力不足的问题,该文提出了基于非对称卷积的孪生网络跟踪算法。首先利用卷积核的可加性构建非对称卷积核组,可以将其应用于任意卷积核大小的已有网络结构。接着在孪生网络跟踪框架下,对AlexNet的卷积模块进行替换,并在训练和跟踪阶段对网络进行分别设计。最后在网络的末端并联地添加3个非对称卷积核,分别经过相关运算后得到3个响应图,进行加权融合后选取最大值即为目标的位置。实验结果表明,相比于SiamFC,在OTB2015数据集上精度提高了8.7%,成功率提高了4.5%。     

基于粒子滤波的红外目标跟踪新算法

粒子滤波是一种在非线性和非高斯情形下进行状态估计的有效方法。提出一种基于粒子滤波的红外目标跟踪的新算法。阐述了粒子滤波算法的原理,将粒子滤波引入到红外目标跟踪中。考虑到传统的粒子滤波跟踪算法存在计算量大,误码多的缺点,对传统算法进行了改进。对采样粒子进行优化选择,改进了重采样环节。实验结果表明,改进算法较传统粒子滤波算法能更准确,更有效的跟踪红外目标。     

网络视频监控中运动目标跟踪方法改进

针对传统的基于Kalman滤波的MeanShift跟踪算法目标运动速度突然改变时跟踪丢失的问题,在Kalman滤波器中引入加速度项使跟踪保持稳定;为了提高Camshift跟踪算法的实时性,使用简化的Camshift算法自适应调整跟踪窗口尺寸。实验结果表明2种改进分别提高了速度突变时跟踪准确性和目标跟踪的实时性,适合网络视频监控场景。