近年目标跟踪算法短评——相关滤波与深度学习

目的 目标跟踪是计算机视觉领域的重要组成部分。近年来,基于相关滤波和深度学习的目标跟踪算法层出不穷,本文拟对经典的若干目标跟踪算法进行阐述与分析。方法 首先,对基于相关滤波跟踪算法的基础理论进行介绍,针对相关滤波算法在特征改进类、尺度改进类、消除边界效应类、图像分块类与目标响应自适应类方面进行总结;接下来,从3个方面对基于深度学习的目标跟踪算法进行阐述与分析：目标分类、结构化回归、孪生网络,并对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。结果 通过列举跟踪算法在相关滤波阶段、深度学习阶段针对不同的改进机制的改进算法,总结各阶段算法的优缺点。对目标跟踪算法的最新进展进行阐述,最终对目标跟踪算法的未来发展方向进行总结。结论 基于相关滤波的目标算法在实时性方面表现优秀,但对于复杂背景干扰、相似物遮挡等情况仍然需要优化。深层的卷积特征对于目标有强大的表示力,通过使相关滤波算法与深度学习结合,大幅度提升了算法表现力。基于深度学习的跟踪算法则更侧重于跟踪的性能,大多无法满足实时性。孪生神经网络的使用对于基于深度学习类目标跟踪算法产生了很大的推动,兼顾了算法的性能和实时性。     

基于深度估计和特征融合的尺度自适应目标跟踪算法

针对核相关滤波目标跟踪算法(KCF)使用单特征来描述所跟踪的目标,在复杂环境下,目标尺 度发生较大变化时,无法准确跟踪目标的问题,提出基于深度估计和特征融合的尺度自适应目标跟踪算法。首 先利用深度神经网络估计视频序列中目标的深度,建立并训练深度-尺度估计模型;在跟踪过程中,融合目标 方向梯度直方图(HOG)特征和 CN (Color Name)特征训练相关滤波器,利用深度估计网络得到目标深度值,并 利用深度-尺度估计模型得到目标的尺度值,从而在目标尺度发生变化时,能够调整目标框大小,实现尺度自 适应的目标跟踪算法。实验结果表明,与经典的 KCF 算法相比,可获得更高的精度,与尺度自适应的判别型 尺度空间跟踪(DSST)算法相比,在尺度变化较大时,跟踪速度更快;在环境复杂、目标被遮挡时,鲁棒性更好。     

基于深度学习的视觉跟踪算法研究综述

视觉跟踪是计算机视觉的重要研究领域之一。传统的视觉跟踪算法难以很好地解决复杂背景中的跟踪问题,如光线变化、目标发生较大的尺寸和姿态变化或目标被遮挡等。而深度学习的引入为视觉跟踪研究开辟了新的途径。但目前国内外基于深度学习的视觉跟踪研究文献相对较少,为 吸引更多视觉跟踪领域研究者对深度学习进行探索和讨论,并推动视觉跟踪算法的研究,简要介绍了视觉跟踪和深度学习的研究现状,重点分析了基于深度学习的视觉跟踪算法的相关文献,讨论了各算法的优缺点,最后提出了进一步研究的方向以及对基于深度学习的视觉跟踪算法的展望。     

目标跟踪算法综述

目标跟踪一直以来都是计算机视觉领域的关键问题,最近随着人工智能技术的飞速发展,运动目标跟踪问题得到了越来越多的关注.本文对主流目标跟踪算法进行了综述,首先,介绍了目标跟踪中常见的问题,并由时间顺序对目标跟踪算法进行了分类:早期的经典跟踪算法、基于核相关滤波的跟踪算法以及基于深度学习的跟踪算法.接下来,对每一类中经典的跟踪算法的原始版本和各种改进版本做了介绍、分析以及比较.最后,使用OTB-2013数据集对目标跟踪算法进行测试,并对结果进行分析,得出了以下结论:1）相比于光流法、Kalman、Meanshift等传统算法,相关滤波类算法跟踪速度更快,深度学习类方法精度高.2）具有多特征融合以及深度特征的追踪器在跟踪精度方面的效果更好.3）使用强大的分类器是实现良好跟踪的基础.4）尺度的自适应以及模型的更新机制也影响着跟踪的精度.     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

结合学习速率调整的尺度自适应核相关滤波跟踪算法

提出一种结合学习速率调整的尺度自适应核相关滤波目标跟踪算法。通过使用核相关滤波器获得目标的初步位置,使用低复杂度的尺度估计来提高算法对目标发生尺度变化的适应能力,同时也保证了跟踪速度;采用相邻两帧图像之间的平均差分析图像变化,并按平均差的大小来分段调整目标模型的学习速率,解决了目标发生严重遮挡时的跟踪失败问题。通过和5种经典的目标跟踪算法进行实验对比,结果表明:所提算法能够很好地适应目标发生尺度变化、严重遮挡、背景干扰等复杂环境,同时具有231帧/s的实时跟踪速度。     

一种基于SVM的核相关跟踪算法

基于相关滤波器的跟踪方法在准确度和鲁棒性上取得了突出优势,但仍需要提高整体的跟踪性能.针对传统单目标的核相关滤波器跟踪算法在目标尺度变化和产生遮挡的跟踪中存在的问题,提出了一种结合支持向量机(SVM)检测器的多尺度相关滤波器算法.通过在核矩阵中引入尺度因子来提高相关滤波器处理尺度变换的性能,训练了一个在线SVM检测器,当目标发生遮挡时,能够重新获取目标,同时自适应调整模型学习率.通过与其他5种优秀跟踪算法进行实验比较,结果表明:方法能够广泛应用于目标跟踪领域,对目标进行准确地估计并有效处理目标的遮挡问题.     

融入深度特征的多模板相关滤波跟踪算法

针对现实场景中跟踪算法因背景杂乱、遮挡、尺度变化、目标形变等情况易导致跟踪失败的问题,提出融入深度特征的多模板相关滤波跟踪算法.首先对图像或图像区域分别提取深度特征和Color Name特征,经过核相关滤波器学习得到不同的模板;然后采用核相关滤波跟踪算法获得2个特征下的响应集合,并对所得到的集合进行加权融合得到最终的目标位置;最后使用贝叶斯统计通过最大化后验的方式估计最佳目标尺度,同时更新核相关滤波器参数,以实现自适应尺度的目标跟踪.在OTB2013和OTB2015这2个基准数据库上进行实验,并与当前6种优秀的算法进行比较,结果表明该算法性能最优,在2个数据集上的成功率OP(AUE)较KCF算法分别提升10.7%和12.4%.     

尺度补偿的相关核滤波器跟踪

相关核滤波器跟踪是工程实际中非常实用的跟踪算法,它的算法简单,只需要在下一帧进行一个样本的密集采样就能对目标进行跟踪,但是对于有尺度变化的目标跟踪的适用性不足。采用了尺度补偿的相关核滤波器跟踪算法,对相关核滤波器跟踪进行了改进。首先使用了点跟踪补偿机制对相关核滤波器尺度和位移进行补偿;其次采用了压缩感知提取的特征建立模板对目标进行建模,在关键帧进行目标的重检测来防止尺度估计带来的跟踪误差。通过实验对提出的算法进行了标准视频库的测试,并在中心点误差和实际跟踪覆盖率两个指标上与原算法进行了对比分析。实验结果表明,提出的具有尺度补偿的跟踪算法提高了相关核滤波器跟踪在有尺度属性变化视频序列中的准确率和实用性。     

融合相关粒子滤波目标跟踪算法

相关滤波算法因其优越的高效性和鲁棒性被广泛应用于目标跟踪领域,但是该算法无法很好地处理目标遮挡和尺度变化等问题。针对该现象,提出了一种融合相关粒子滤波目标跟踪算法,该算法采用多个相关滤波器,学习到更多目标信息和背景信息,提高了目标与背景辨识度,并且引进了粒子滤波随机采样策略,在目标离开遮挡物时能够快速捕捉到目标。在尺度估计中引入了多尺度因子,对定位到的目标进行多尺度缩放,选用与滤波器响应值最大区域对应的尺度因子作为缩放比例,从而对目标进行尺度更新;粒子滤波算法随着粒子数目的增加,其计算量也随着增加,针对该问题,提出了基于粒子繁衍的重采样算法,在跟踪效率上做了提升。对提出的算法进行了三部分对比实验,实验结果验证了提出算法在处理目标遮挡和尺度变化问题上的有效性。     

一种自适应尺度与学习速率调整的背景感知相关滤波跟踪算法

针对跟踪过程中遮挡因素以及目标尺度变化因素导致的目标跟踪漂移问题,文中提出了一种自适应尺度与学习速率调整的背景感知相关滤波跟踪算法。该算法首先通过背景感知相关滤波器获得目标的初步位置信息;其次在背景感知相关滤波器的基础框架下训练尺度相关滤波器,以有效估计目标尺度变化,从而准确调整搜索区域的大小;然后根据响应图波动情况进行遮挡判定,利用平均峰值能量指标与最大响应值判定目标遮挡情况,自适应调整模型学习速率大小;最后,设计相应的模型更新策略,来提高模型性能。在OTB100 Benchmark数据集上进行测试,实验结果表明,该算法与背景感知相关滤波器相比,其成功率提高了6.2%,精度提高了10.1%,因此该算法能有效地处理遮挡、尺度变化等问题,提高了跟踪模型的成功率与准确率,同时具有实时的跟踪速度。     

具有尺度和旋转适应性的长时间目标跟踪

目标发生尺度和旋转变化会给长时间目标跟踪带来很大的挑战,针对该问题,本文提出了具有尺度和旋转适应性的鲁棒目标跟踪算法.首先针对跟踪过程中目标存在的尺度变化和旋转运动,提出一种基于傅里叶-梅林变换和核相关滤波的目标尺度和旋转参数估计方法.该方法能够实现连续空间的目标尺度和旋转参数估计,采用核相关滤波提高了估计的鲁棒性和准确性.然后针对长时间目标跟踪过程中,有时不可避免地会出现跟踪失败的情况（例如由于长时间半遮挡或全遮挡等）,提出一种基于直方图和方差加权的目标搜索方法.当目标丢失时,通过提出的搜索方法能够快速从图像中确定目标可能存在的区域,使得跟踪算法具有从失败中恢复的能力.本文还训练了两个核相关滤波器用于估计跟踪结果的置信度和目标平移,通过专门的核相关滤波器能够使得估计的跟踪结果置信度更加准确和鲁棒,置信度的估计结果可用于激活基于直方图和方差加权的目标搜索模块,并判断搜索窗口中是否包含目标.本文在目标跟踪标准数据集（Online object tracking benchmark,OTB）上对提出的算法和目前主流的目标跟踪算法进行对比实验,验证了本文提出算法的有效性和优越性.     

结合尺度估计MST和粒子滤波的视频目标跟踪

在视频序列的实时目标跟踪中,针对经典均值漂移跟踪（MST）方法不能应对遮挡、尺度变化等问题,提出一种结合MST、自学习尺度探测器和粒子滤波的跟踪方法。采用MST算法在视频帧中跟踪目标,当目标收敛到局部最小值时重新初始化目标。提出一种基于在线学习的探测器,用来自适应更新MST的目标模型,使其能够自动调整目标尺度。另外,当出现完全遮挡时,启动粒子滤波器,通过概率计算来估计目标位置,使MST能够在目标离开遮挡时恢复跟踪。在通用数据集PETS视频序列上的实验结果表明,相比其他几种较新的MST方法,提出的方法具有更高的跟踪准确性,可以应用于实时检测和目标跟踪等应用中。     

DCNN深度特征与交替方向乘子的相关滤波跟踪

针对采用相关滤波的判别式目标跟踪遇到的瓶颈问题：由于目标快速移动引起边界效应，使得相关滤波器在学习与更新过程中可能会引入错误，最终错误的累积将导致跟踪失败。在采集深度学习特征与样本相似性度量的基础上，提出一种引入交替方向乘子方法的改进相关滤波目标跟踪算法，选择DCNN深度特征有效地表征待跟踪目标的初始状态，通过在线分类过程中样本相似性比对与半监督学习，辅助解决相关滤波器在学习过程中存在的自学习问题。所提目标跟踪算法特别适合训练样本为持续获得的、同时存储空间较小的机器学习过程，提高目标在快速运动与部分遮挡等复杂情况下的跟踪成功率，针对VOT2016标准测试视频的实验表明：当目标面临快速运动时，对比CN、SAMF、STC算法，所提DA-CFT跟踪算法将跟踪成功率分别由60.4%～73.4%、67.2%～82.9%、80.9%～88.1%提升至85.6%～91.0%。     

Incremental Tensor Subspace Learning and Its Applications to Foreground Segmentation and Tracking

Appearance modeling is very important for background modeling and object tracking. Subspace learning-based algorithms have been used to model the appearances of objects or scenes. Current vector subspace-based algorithms cannot effectively represent spatial correlations between pixel values. Current tensor subspace-based algorithms construct an offline representation of image ensembles, and current online tensor subspace learning algorithms cannot be applied to background modeling and object tracking. In this paper, we propose an online tensor subspace learning algorithm which models appearance changes by incrementally learning a tensor subspace representation through adaptively updating the sample mean and an eigenbasis for each unfolding matrix of the tensor. The proposed incremental tensor subspace learning algorithm is applied to foreground segmentation and object tracking for grayscale and color image sequences. The new background models capture the intrinsic spatiotemporal characteristics of scenes. The new tracking algorithm captures the appearance characteristics of an object during tracking and uses a particle filter to estimate the optimal object state. Experimental evaluations against state-of-the-art algorithms demonstrate the promise and effectiveness of the proposed incremental tensor subspace learning algorithm, and its applications to foreground segmentation and object tracking.     

多帧监督的相关滤波无人机目标跟踪

目标跟踪是无人机的关键技术之一。无人机目标跟踪容易因相机运动、尺度变化等场景的影响,导致跟踪漂移或丢失。提出一种多帧监督的相关滤波无人机目标跟踪算法,加入多帧信息,根据视图的像差监督响应图变化率,有效地提高跟踪器的识别能力。采用裁剪矩阵引入真实负样本,并加入多个历史帧信息提高滤波器的鲁棒性。采用欧几里德范数定义响应图的像差,通过监督像差的变化防止跟踪漂移,得到目标的准确位置。根据相似度进行目标模型更新。在UAV123和VisDrone2019数据集上与其他算法对比实验。结果显示该算法在相机运动、尺度变化等场景具有良好的跟踪鲁棒性和精度。     

一种抗遮挡的自适应尺度目标跟踪算法

在处理尺度变化和目标遮挡方面,利用相关滤波器的不同特征进行目标跟踪仍然存在问题。提出了一种基于随机蕨丛检测器的多尺度核相关滤波器算法。该算法将跟踪任务分解为目标尺度估计和位移估计,同时将CN颜色特征和HOG特征进行响应融合,进一步提高了整体跟踪性能。此外,文中训练了一个在线随机蕨分类器,在目标丢失后其能重新获取目标。与KCF,DSST,TLD,MIL,CT共5种算法相比,所提算法不仅能够准确地估计目标状态,而且可以有效处理目标的遮挡问题。     

基于背景感知与快速尺寸判别的相关滤波跟踪算法

背景感知相关滤波(Background-aware correlation filters, BACF)算法有效地解决了相关滤波类跟踪算法中的边界效应问题,提升了训练样本集的质量和数量,能够精确估计目标的位置变化,从而提高了跟踪器的性能。然而为了检测尺度变化,BACF算法通过多次重复计算不同尺度的目标区域,严重影响了跟踪速度。本文在BACF算法的基础上,采用平移加尺度滤波的思想,设计独立的一维尺度滤波器,与BACF算法无缝结合。只需预测一次目标的位置变化,再利用尺度滤波器预测目标尺度变化。因为两个滤波器单独训练、局部优化,尺度滤波器计算量远小于BACF算法,所以本文算法在保证精准预测目标尺度变化的同时极大提升目标的跟踪速度。实验结果表明：与BACF算法相比,本文算法在不损失跟踪精度的基础上提高约75%的跟踪速度。