近年目标跟踪算法短评——相关滤波与深度学习

目的 目标跟踪是计算机视觉领域的重要组成部分。近年来,基于相关滤波和深度学习的目标跟踪算法层出不穷,本文拟对经典的若干目标跟踪算法进行阐述与分析。方法 首先,对基于相关滤波跟踪算法的基础理论进行介绍,针对相关滤波算法在特征改进类、尺度改进类、消除边界效应类、图像分块类与目标响应自适应类方面进行总结;接下来,从3个方面对基于深度学习的目标跟踪算法进行阐述与分析：目标分类、结构化回归、孪生网络,并对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。结果 通过列举跟踪算法在相关滤波阶段、深度学习阶段针对不同的改进机制的改进算法,总结各阶段算法的优缺点。对目标跟踪算法的最新进展进行阐述,最终对目标跟踪算法的未来发展方向进行总结。结论 基于相关滤波的目标算法在实时性方面表现优秀,但对于复杂背景干扰、相似物遮挡等情况仍然需要优化。深层的卷积特征对于目标有强大的表示力,通过使相关滤波算法与深度学习结合,大幅度提升了算法表现力。基于深度学习的跟踪算法则更侧重于跟踪的性能,大多无法满足实时性。孪生神经网络的使用对于基于深度学习类目标跟踪算法产生了很大的推动,兼顾了算法的性能和实时性。     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

基于深度学习的单目标跟踪算法综述

单目标跟踪是计算机视觉领域中的研究热点.传统算法如相关滤波的跟踪速度较快,但由于提取到的颜色、灰度等手工特征较为粗糙,跟踪精度往往不高.近年来随着深度学习理论的发展,使用深度特征的跟踪方法能够在跟踪的精度和速度方面达到很好的平衡.本文首先介绍单目标跟踪的相关背景,接着从相关滤波单目标跟踪、深度学习单目标跟踪两个阶段对单...     

快速尺度估计的增强型多核相关滤波算法

针对核相关滤波（KCF）跟踪算法在复杂环境下其定位性能和稳定性差的问题,提出了一种快速尺度估计的增强型多核相关滤波跟踪算法。该算法针对核相关滤波算法无法适应跟踪过程中目标尺度变化,将快速判别式尺度估计移植至核相关滤波跟踪框架,解决了跟踪过程的目标尺度问题。对于单个特征的单核相关滤波器在复杂环境中跟踪适应性差的问题,提出了一种多特征互补的多核相关滤波器。该滤波器利用KCF多通道特性以及不同特征可以描述不同信息,采用多个相同内核的线性组合,每个内核对应一个特征,并结合快速尺度估计,在保证算法实时性的同时进一步提高跟踪性能。通过在OTB2013目标跟踪数据集上进行实验,该算法与近年来性能优异的算法进行对比,结果表明,与传统的使用HOG特征的KCF算法相比精度上提高了10.9%,成功率提高了16.2%;与使用CN特征的CN2算法相比,精度上提高了20.6%,成功率提高了19.6%。实验结果表明,所提算法在目标尺度变化以及复杂环境下的跟踪效果均优于其余相关滤波算法,证明了该算法的有效性以及鲁棒性。     

基于特征融合及自适应模型更新的相关滤波目标跟踪算法

针对单一特征目标跟踪算法因背景干扰、目标遮挡造成的跟踪失败问题,以及跟踪过程中每帧进行模型更新容易造成错误更新和实时性差的问题,提出了一种基于特征融合及自适应模型更新策略的相关滤波目标跟踪算法-多特征自适应相关滤波目标跟踪算法。该算法在特征提取阶段将边缘特征及HOG特征加权融合作为目标特征,加强对边缘特征的学习;在模型更新阶段通过计算预测区域与真实区域的奇异值特征向量相似度,并结合设定的阈值判断是否需要进行模型更新,通过自适应更新的方式减少模型的更新次数。在标准测试视频集下验证所提算法,并与两种经典相关滤波算法进行比较,结果表明该算法能够较好地适应背景干扰及目标遮挡问题,跟踪目标的平均中心误差减少了9.05像素,平均距离精度提高12.2%,平均重叠率提高4.53%。     

多特征分层融合的相关滤波鲁棒跟踪

目的 为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的多特征融合问题,提出了一种多特征分层融合的相关滤波鲁棒跟踪算法。方法 采用多通道相关滤波跟踪算法进行目标跟踪时,从目标和周围背景区域分别提取HOG（histogram of oriented gradient）、CN（color names）和颜色直方图3种特征。提出的分层融合算法首先采用自适应加权融合策略进行HOG和CN特征的特征响应图融合,通过计算特征响应图的平滑约束性和峰值旁瓣比两个指标得到融合权重。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第2层融合时,采用固定系数融合策略进行特征响应图的融合。最后基于融合后的响应图估计目标的位置,并采用尺度估计算法估计得到目标更准确的包围盒。结果 采用OTB-2013（object tracking benchmark 2013）和VOT-2014（visual object tracking 2014）公开测试集验证所提跟踪算法的性能,在对多特征分层融合参数进行分析的基础上,与5种主流基于相关滤波的目标跟踪算法进行了对比分析。实验结果表明,本文算法的目标跟踪精度有所提高,其跟踪精度典型值比Staple算法提高了5.9%（0.840 vs 0.781）,同时由于有效地融合了3种特征,在多种场景下目标跟踪的鲁棒性优于其他算法。结论 提出的多特征分层融合跟踪算法在保证跟踪准确率的前提下,跟踪鲁棒性优于其他算法。当相关滤波跟踪算法采用了多个不同类型特征时,本文提出的分层融合策略具有一定的借鉴性。     

基于深度估计和特征融合的尺度自适应目标跟踪算法

针对核相关滤波目标跟踪算法(KCF)使用单特征来描述所跟踪的目标,在复杂环境下,目标尺 度发生较大变化时,无法准确跟踪目标的问题,提出基于深度估计和特征融合的尺度自适应目标跟踪算法。首 先利用深度神经网络估计视频序列中目标的深度,建立并训练深度-尺度估计模型;在跟踪过程中,融合目标 方向梯度直方图(HOG)特征和 CN (Color Name)特征训练相关滤波器,利用深度估计网络得到目标深度值,并 利用深度-尺度估计模型得到目标的尺度值,从而在目标尺度发生变化时,能够调整目标框大小,实现尺度自 适应的目标跟踪算法。实验结果表明,与经典的 KCF 算法相比,可获得更高的精度,与尺度自适应的判别型 尺度空间跟踪(DSST)算法相比,在尺度变化较大时,跟踪速度更快;在环境复杂、目标被遮挡时,鲁棒性更好。     

融合深度信息的判别式相关滤波跟踪

针对传统的目标跟踪系统中,采用判别式相关滤波(DCF)视觉目标跟踪算法存在的精度和速度不平衡以及有遮挡时容易丢失目标的问题,将距离传感器量测的目标深度信息融入DCF框架,设计了一种基于深度-DCF算法(D-DCF)的跟踪系统。系统做出以下改进:(1)采用激光测距仪量测当前帧目标深度,而后基于恒定加速度模型,预测下一帧目标深度;(2)利用预测深度构建目标位置置信度判别式,提高跟踪准确性;(3)引入基于预测深度的自适应尺度因子,降低尺度滤波层级,提高尺度精确性和算法实时性。为说明所提方法的有效性和广泛通用性,以DSST和ECOHC两种具体算法为基础进行实验。结果表明:在有遮挡、背景复杂、目标运动的情形下,基于改进算法的跟踪系统跟踪概率更高、速度更快,与使用原算法的系统相比没有出现目标丢失现象。     

自适应尺度的快速相关滤波跟踪算法

针对常规的相关滤波跟踪算法不能很好地适应目标尺度变化,而基于尺度金字塔的相关滤波跟踪算法虽然取得较高的跟踪精度,却在跟踪速度上大打折扣的问题,提出一种简单快速的自适应目标尺度的相关滤波跟踪算法.首先对目标模板进行对数极坐标变换,把目标的尺度变化转化为位移信号;然后对目标模板变换前后分别提取HOG特征,并建立位移与尺度的滤波模型;最后在相关滤波框架下同步跟踪目标的位移与尺度因子,并将二者融合得到目标跟踪框.实验结果表明,该算法的跟踪精度略低于基于尺度金字塔的相关跟踪算法,而跟踪速度却达到后者的2倍以上.     

基于核函数粒子滤波和多特征自适应融合的目标跟踪

经典粒子滤波及其改进算法在观测模型与真实情况存在偏差时会导致滤波发散,针对这一问题,提出一种核函数粒子滤波算法.该算法根据目标状态与粒子状态之间的距离,利用核函数产生权值对粒子进行二次加权,根据粒子的二次加权结果进行粒子重采样;以改进的粒子滤波算法为框架,提出了一种自适应多特征融合目标跟踪方法,利用相似性度量动态地评价特征对目标与背景的区分能力,并自适应地计算特征融合权重,以适应目标跟踪过程中目标与背景的变化,提高目标跟踪的鲁棒性.实验结果表明,文中提出的目标跟踪方法比经典粒子滤波目标跟踪方法具有更强的抗干扰性能和较高的跟踪精度.     

深度学习的目标跟踪算法综述

目标跟踪是利用一个视频或图像序列的上下文信息,对目标的外观和运动信息进行建模,从而对目标运动状态进行预测并标定目标位置的一种技术,是计算机视觉的一个重要基础问题,具有重要的理论研究意义和应用价值,在智能视频监控系统、智能人机交互、智能交通和视觉导航系统等方面具有广泛应用。大数据时代的到来及深度学习方法的出现,为目标跟踪的研究提供了新的契机。本文首先阐述了目标跟踪的基本研究框架,从观测模型的角度对现有目标跟踪的历史进行回顾,指出深度学习为获得更为鲁棒的观测模型提供了可能;进而从深度判别模型、深度生成式模型等方面介绍了适用于目标跟踪的深度学习方法;从网络结构、功能划分和网络训练等几个角度对目前的深度目标跟踪方法进行分类并深入地阐述和分析了当前的深度目标跟踪方法;然后,补充介绍了其他一些深度目标跟踪方法,包括基于分类与回归融合的深度目标跟踪方法、基于强化学习的深度目标跟踪方法、基于集成学习的深度目标跟踪方法和基于元学习的深度目标跟踪方法等;之后,介绍了目前主要的适用于深度目标跟踪的数据库及其评测方法;接下来从移动端跟踪系统,基于检测与跟踪的系统等方面深入分析与总结了目标跟踪中的最新具体应用情况,最后对深度学习方法在目标跟踪中存在的训练数据不足、实时跟踪和长程跟踪等问题进行分析,并对未来的发展方向进行了展望。     

目标跟踪综述

随着深度学习与人工智能技术的不断发展,视频目标跟踪已经成为了计算机视觉的重要研究内容,在公安布控、人机交互、交通管制、军事等各个领域起到越来越重要的作用。尽管现在国内外学者提出了多种目标跟踪算法,也搭建了较为完善的目标跟踪系统,但是算法的鲁棒性依然是一个比较大的挑战。本文对运动目标跟踪系统结构进行了简要介绍,并从特征提取及融合、外观模型、目标搜索等方面详细阐述了目前主流运动目标跟踪算法。然后对目标跟踪算法在深度学习大环境下的新发展进行了分析,从基于深度学习的目标跟踪及目标检测算法角度分析了深度学习在提高目标检测算法鲁棒性方面的有效性,最后概述了深度学习在视频目标检测算法中的具体应用并对其未来发展进行了展望。     

目标检测算法研究综述

目标检测是计算机视觉中一个重要问题,在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来,随着深度学习对图像分类准确度的大幅度提高,基于深度学习的目标检测算法逐渐成为主流。梳理了目标检测算法的发展与现状,并作出展望：总结了传统算法与引入深度学习的目标检测算法的发展、改进与不足,并就此做出对比;最后讨论了基于深度学习的目标检测算法所存在的困难与挑战,并就可能的发展方向进行了展望。     

基于深度学习的嵌入式目标追踪研究进展

作为计算机视觉领域的基本问题之一, 目标追踪具有广泛的应用场景. 随着硬件算力和深度学习方法的进步, 常规的深度学习目标追踪方法精度越来越高, 但其模型参数量庞大, 计算资源和能耗需求高. 近年来, 随着无人机和智能物联网应用的蓬勃发展, 如何在存储空间和算力有限、低功耗需求的嵌入式硬件环境中进行实时目标跟踪, 成为当前研究的热点. 本文对面向嵌入式应用的目标追踪方法进行了分析综述, 包括相关滤波结合深度学习的目标追踪方法、基于轻量神经网络的目标跟踪方法, 并总结了深度学习模型部署流程和无人机等领域的嵌入式目标追踪典型应用实例, 最后对未来研究重点进行了展望.     

基于孪生网络的跟踪算法综述

目标跟踪算法共分为两大类,一类是基于相关滤波的跟踪算法,另一类是基于深度学习的跟踪算法。基于相关滤波的跟踪算法的特点是跟踪速度快,跟踪的精度较低。基于深度学习的跟踪算法的特点是精度较高,但跟踪速度较低。随着研究的深入,深度学习中基于孪生网络的跟踪算法很好地平衡了跟踪速度和精度,既保持了基于深度学习的跟踪算法的优点,又大幅度提高了跟踪速度。首先介绍了基于孪生网络的跟踪算法的工作原理,然后根据基于孪生网络的跟踪算法的发展顺序,分别阐述了不同孪生网路跟踪算法的方法,最后对基于孪生网络的跟踪算法做了总结与展望。     

基于深度学习的目标检测技术综述

目标检测是计算机视觉领域中的研究热点.近年来,目标检测的深度学习算法有突飞猛进的发展.基于深度学习的目标检测算法大致可分为基于候选区域和基于回归两大类.基于候选区域的目标检测算法精度高,但是结构复杂,检测速度较慢.而基于回归的目标检测算法结构简单、检测速度快,在实时目标检测领域有较高的应用价值,然而检测精度相对略低.本文总结了基于深度学习的目标检测主流算法,并分析了相关算法的优缺点和应用场景.最后根据深度学习的目标检测算法中存在的困难和挑战,对未来的发展趋势做了思考和展望.     

基于深度学习的视频预测研究综述

近年来,深度学习算法在众多有监督学习问题上取得了卓越的成果,其在精度、效率和智能化等方面的性能远超传统机器学习算法,部分甚至超越了人类水平。当前,深度学习研究者的研究兴趣逐渐从监督学习转移到强化学习、半监督学习以及无监督学习领域。视频预测算法,因其可以利用海量无标注自然数据去学习视频的内在表征,且在机器人决策、无人驾驶和视频理解等领域具有广泛的应用价值,近两年来得到快速发展。本文论述了视频预测算法的发展背景和深度学习的发展历史,简要介绍了人体动作、物体运动和移动轨迹的预测,重点介绍了基于深度学习的视频预测的主流方法和模型,最后总结了当前该领域存在的问题和发展前景。     

深浅特征融合的实时单目标行人跟踪

单目标行人跟踪是计算机视觉目标跟踪领域最基础、也是研究最广泛的任务之一, 而目前大多数使用的相关滤波类算法和深度学习类算法则分别在跟踪精度和跟踪实时性上存在不足. 针对上述问题, 本文提出一种将目标图像的深浅特征融合的实时单目标行人跟踪方法. 算法利用卡尔曼滤波器预测目标位置, 通过计算四分颜色直方图提取目标的浅层颜色特征, 并获得预测相似性以判定预测的可靠性. 使用YOLOv4模型作为检测器, 提取目标深度特征并分别计算运动信息和外观信息的距离度量, 同时提取浅层颜色特征计算得到相似距离度量, 通过特征距离度量的加权融合对检测目标进行匹配与更新. 最后, 利用提出的轨迹更新策略协调预测和检测的调用关系, 达到准确性与实时性的平衡. 算法在OTB100和LaSOT数据集上进行了测试实验, 结果表明: 所提算法的跟踪准确率分别达到0.581和0.453, 在GPU上分别能达到33.64 FPS和35.32 FPS的跟踪速度, 满足实时跟踪的要求.