深度长时目标跟踪算法综述

在视觉目标跟踪领域,长时跟踪因存在更为复杂的遮挡、相似物干扰和目标消失等具有现实意义的挑战场景,而越来越被研究者所重视。传统长时跟踪算法存在精度低和效率低等问题,已经无法满足如视频监控和自动驾驶等领域对跟踪器性能的应用需求。目前,大量的研究工作通过引入深度神经网络快速推动了长时跟踪技术的发展。为了深入分析深度长时跟踪算法的现状与未来发展,通过对比长短时跟踪数据集及评价指标,初步界定了长时跟踪任务范畴,归纳了长时跟踪任务的需求和难点,并介绍了长时跟踪数据集及评价体系的发展。基于深度长时目标跟踪算法的设计框架,详细描述了框架各组成部分的设计思路。以长时跟踪策略为切入点深入分析了现有研究工作,归纳了不同模型的优缺点及特性。依据对现有研究工作的整理和总结,讨论了该领域面临的挑战,并对未来的发展方向进行了展望。     

基于全局搜索的实时分布场目标跟踪方法

提出了一种基于分布场的全局匹配搜索的实时目标跟踪算法,克服了原始分布场的局部搜索和实时性差的局限.采用相关系数代替原始算法的L1范数度量目标分布场与候选区域分布场的距离,有利于运用傅里叶变换,将相关系数从计算复杂度高的时域转换到计算复杂度低的频域来实现,并且能一次算出目标分布场和检测区域所有候选分布场的相似度,从而保证算法的实时性和全局搜索能力,克服稀疏采样方法的随机性和局部结果最优性.实验结果表明,与最近代表性的跟踪算法相比,提出的方法在多个具有挑战性的视频序列中,在平均误差、跟踪速度和成功率上获得了最佳的性能.     

适合长时跟踪的自适应相关滤波算法

针对在长时跟踪中,快速运动、遮挡等复杂情况很容易引起模板漂移,导致跟踪失败的问题,提出一种适合长时跟踪的自适应相关滤波算法.首先融合HOG特征、CN特征和灰度特征,在增强特征判别力的同时,结合EdgeBoxes生成检测建议并找到最优建议,实现跟踪器尺度与纵横比的自适应;然后利用高置信度跟踪结果来避免模板被破坏,将目标移动速度与边缘组数结合起来形成一种新的自适应更新率,并对每一帧目标框的尺度进行校正;最后在跟踪失败的情况下,应用增量学习检测器以滑动窗口的方式恢复目标位置.在标准测试集上与基于相关滤波的7种算法进行对比,实验表明,该算法在精确度和成功率上均取得较优效果.     

基于相关滤波器的长时舰船目标跟踪方法

在海上复杂环境下对目标进行跟踪时,会出现目标遮挡、尺度变化等问题。针对这些问题,引入长时间相关滤波算法,将跟踪任务分解为对目标平移和尺度的估计,其中目标平移通过时空上下文进行估计,而目标尺度通过搜寻外观金字塔进行估计。另外,使用在线随机蕨分类器对跟踪失败的目标再检测,从而实现长时间跟踪。将该算法首次应用于海上舰船跟踪中,通过与其他几种长时间跟踪算法进行仿真实验对比,结果表明:该算法跟踪精度和成功率均有较大提高。在目标发生遮挡和尺度变化等情况下,该方法均具有较高的精确度。     

基于目标多区域分割的抗干扰跟踪算法研究

针对视频序列中运动目标跟踪过程中可能出现的目标旋转、遮挡、形变等原因造成的跟踪失败问题,提出了一种基于目标多区域分割的跟踪方法。主要通过将目标划分为多个部分相互重叠的区域,然后选择跟踪过程中相对稳定的多个区域进行定位,进而对跟踪的目标采用不同目标区域权重更新不同的模板更新策略,这样选择主要可以增加算法的抗遮挡、抗旋转能力。实验结果表明,该方法对目标遮挡、旋转等具有一定的适应能力。     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移，导致跟踪失败的问题，设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam），分别去增强高层和浅层的特征表示能力，从而提升算法的鲁棒性。首先，对于浅层特征，利用一个轻量并且有效的特征融合策略，通过一种数据增强技术模拟一些在复杂场景中的变化，例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性；其次，对于高层特征，提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力；最后，在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明，所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点，并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上，所提算法的平均期望重叠率指标超过2018年的冠军，即高性能的候选区域孪生视觉跟踪器（SiamRPN），验证了所提算法的有效性。     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移,导致跟踪失败的问题,设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam）,分别去增强高层和浅层的特征表示能力,从而提升算法的鲁棒性。首先,对于浅层特征,利用一个轻量并且有效的特征融合策略,通过一种数据增强技术模拟一些在复杂场景中的变化,例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性;其次,对于高层特征,提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力;最后,在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明,所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点,并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上,所提算法的平均期望重叠率指标超过2018年的冠军,即高性能的候选区域孪生视觉跟踪器（SiamRPN）,验证了所提算法的有效性。     

旋转自适应的多特征融合多模板学习视觉跟踪算法

目标发生旋转及遇到外界干扰时会给目标跟踪带来巨大挑战,针对该问题,文中提出旋转自适应的多特征融合多模板学习跟踪算法.首先,构建具有互补特性的多模板学习模型,全局滤波器模板用于跟踪目标,当判定滤波器模板确定全局滤波器模板被污染时,使用修正滤波器模板对全局滤波器模板进行修正.然后,将颜色直方图作为视觉补充信息和VGGNet-19特征图进行自适应融合,提升全局滤波器模板对目标外观的判别能力.最后,提出旋转自适应策略,采用改进的跟踪置信度,估计跟踪框最佳旋转角度,减轻目标旋转带来的全局滤波器模板性能衰退.在OTB-2013、OTB-2015数据集上的实验表明,文中算法的成功率和精确率较高.     

基于相关滤波器的长时视觉目标跟踪方法

为解决相关滤波器（CF）在跟踪快速运动目标时存在跟踪失败的问题,提出一种结合了核相关滤波（KCF）跟踪器和基于光流法的检测器的长时核相关滤波（LKCF）跟踪算法。首先,使用跟踪器跟踪目标,并计算所得跟踪目标的峰值响应强度（PSR）;然后,通过比较峰值响应强度（PSR）与经验阈值大小判断目标是否跟踪丢失,当目标跟踪丢失时,在上一帧所得目标附近运用光流法检测运动目标,得到目标在当前帧中的粗略位置;最后,在此粗略位置处再次运用跟踪器得到精确位置。与核相关滤波（KCF）、跟踪-学习-检测（TLD）、压缩跟踪（CT）、时空上下文（STC）等4种跟踪算法进行对比实验,实验结果表明,所提算法在距离精确度和成功率上都表现最优,且分别比核相关滤波（KCF）跟踪算法高6.2个百分点和5.1个百分点,表明所提算法对跟踪快速运动目标有很强的适应能力。     

一种基于改进型PN学习的在线长时目标跟踪算法

文中主要讨论针对未知目标的长时跟踪问题。在一帧图像中,目标是由其位置和外观表征的;在连续的视频帧中,需要确定出每一帧中目标的位置和外观特征或者在某一帧中标识出目标是不可见的。因此对PN半监督机器学习算法进行改进,并在此基础上整合模板匹配技术、背景抽离技术和主成分分析技术,提出一种基于检测的在线长时目标跟踪算法。针对该跟踪算法详细阐述了其跟踪架构和算法执行流程,并精心筛选出5个测试视频流。实验结果表明,该跟踪算法具有较强的适应能力和跟踪能力。     

基于孪生网络融合多模板的目标跟踪算法

基于全卷积孪生网络的视频目标跟踪算法由于在跟踪过程中使用单一模板,在运动目标外观发生变化时容易出现跟踪漂移并导致精度下降.因此,提出了一种基于孪生网络融合多模板的目标跟踪算法.该算法可在特征级上建立模板库,并使用平均峰值相关能量和模板相似度来保证模板库中各个模板的有效性,从而对多个响应图进行融合以获得更高的跟踪精度.O...     

具备重检测机制的融合特征视觉跟踪算法

结合图像梯度特征和颜色特征,在相关滤波器跟踪框架基础上,提出一种改进的 视觉跟踪算法。对颜色特征进行统计建模,结合由稠密目标后验概率积分得到的目标置信积分 和梯度特征相关滤波输出作目标跟踪。同时,还对目标跟踪的结果作质量评估,在跟踪质量非 可靠时启动目标重检测过程,采用基于稠密目标后验概率的置信积分来确定备选目标。对跟踪 质量不可靠且未重检测到可靠目标的视频帧,不进行跟踪模型的在线更新。实验表明,该算法 可以有效避免因遮掩等原因而引起的跟踪不可靠和模型漂移的问题,跟踪性能和几个主流的相 关滤波类跟踪器相比有明显改善。     

引入短时记忆的Siamese网络目标跟踪算法

为提升目标跟踪算法在复杂场景下的鲁棒性,使算法适应长时跟踪场景,提出结合多层特征融合和短时记忆机制的跟踪方法,提升目标跟踪的鲁棒性。融合卷积神经网络多层特征,提升网络的特征提取能力。在跟踪阶段,引入了短时记忆模块,搜索区域特征分别与初始的基准模板特征和短时记忆的动态特征进行匹配,对得到的响应图进行融合,提升目标跟踪的鲁棒性,通过视频局部信息增强算法对跟踪目标的判别性。在OTB2015和GOT-10K目标跟踪标准数据集上进行了实验,在OTB2015上的精确度和成功率分别达到了0.808和0.593。实验结果表明,所提算法的测试效果与几种主流跟踪算法相比有了显著的提升,并且达到了27 帧/s的实时跟踪速度,证明了所提方法的有效性。     

基于在线拓扑模板更新的目标跟踪

目标跟踪是人工智能的研究热点之一。传统方法中,基于颜色直方图的目标跟踪易受背景相似颜色的影响。利用边缘方向直方图（EOH）方法对运动物体进行跟踪时,在复杂背景下其效果也会受到影响。文章对传统跟踪方法进行了改进,提出了一种利用拓扑模板进行跟踪的方法,对目标特征表示、参考模板更新部分做了相应改进。分块拓扑在保留传统跟踪方法对物体微小形变鲁棒性的同时,对被遮挡物体和形变物体有了更好的分辨能力。     

基于多特征自适应融合的核跟踪方法

提出了一种基于多特征自适应融合的核跟踪框架. 利用目标特征的子模型集合构造了目标的多特征描述, 通过线性加权方法将目标的多个特征集成在核跟踪方法中. 根据各个特征子模型与当前目标及背景的相似性, 提出了一种基于 Fisher 可分性度量的权值自适应更新机制; 同时为了克服模型更新过程中的漂移, 基于子模型的可分性提出了一种选择性更新策略, 实现了在变化场景下的鲁棒跟踪. 基于本文所提多特征跟踪框架, 利用目标的颜色特征与 LBP (Local binary pattern) 纹理特征具体实现了多特征自适应融合的核跟踪方法, 实验验证了本文方法的有效性.     

基于特征匹配滤波的自适应模板跟踪算法

针对头部目标跟踪的应用背景,在Mean Shift的框架下提出一种基于特征匹配滤波的自适应模板更新策略。该方法根据被跟踪目标在不同状态下所呈现出颜色的统计特征信息,采用颜色空间核密度估计匹配滤波的方法,对模板中局部区域像素的更新作出决策。实验结果表明,该算法有效解决了因头部旋转以及物体遮挡而导致模板不匹配的问题,实现了头部的连续跟踪,取得了很好的跟踪效果,提高了跟踪算法的整体稳定性和鲁棒性。     

基于稀疏表达的多示例学习目标追踪算法

追踪目标在经历较大姿势变化时,会导致追踪目标偏移甚至丢失。为此,提出一种基于稀疏表达的多示例学习目标追踪算法。联合多示例学习与稀疏表达方法,将目标物体的局部稀疏编码作为多示例学习的训练数据,通过学习正负样本的局部稀疏编码获得一个多示例学习的分类器,分类的结果与粒子滤波框架相结合,估计目标在整个视频序列中的运动状态。实验结果表明,该算法稳定性较好,与增量学习追踪算法、范式学习追踪算法和多示例学习追踪算法相比,其中心位置误差率减少30%以上。     

基于相关滤波融合多特征的运动目标跟踪方法

针对复杂环境下仅使用单一图像特征跟踪精度和鲁棒性差的问题,提出一种多特征融合的相关滤波目标跟踪算法。该算法首先从目标和背景区域分别提取方向梯度直方图(Histogram of oriented gradient,HOG)特征、颜色直方图特征和卷积特征,采用固定权重方法融合HOG特征和颜色直方图特征的特征响应图,然后将该层融合结果与卷积特征响应图采用自适应权重融合策略进行融合,基于融合后的响应图估计出目标位置,并采用尺度估计方法解决目标尺度变化问题,最后采用稀疏模型更新策略进行模型更新。在OTB-2013公开标准测试集中验证本文算法性能,并与主流的目标跟踪算法进行了对比分析。实验结果表明,与其中最优算法相比,本文算法的平均距离精度值和平均重叠精度值都有所提高。本文算法由于有效地利用了HOG特征、颜色直方图特征和卷积特征,在复杂场景下目标跟踪的准确性和鲁棒性都优于其他算法。     

结合帧差法的尺度自适应核相关滤波跟踪

为处理复杂应用场景下核相关滤波器跟踪效果不理想的问题,提出了一种结合帧差法的尺度自适应核相关滤波跟踪算法.在训练得到相关滤波器后,借助帧差法来处理下一帧图像,获得目标的预测位置,扩充算法的检测区域;然后通过尺度池构建多尺度待检测图像块集,通过相关滤波器来求得最大响应,估计出目标的最佳位置和最佳尺度;最后利用平均峰值相关...