时空运动显著性的目标跟踪

目的 在目标跟踪过程中,运动信息可以预测目标位置,忽视目标的运动信息或者对其运动方式的建模与实际差异较大,均可能导致跟踪失败。针对此问题,考虑到视觉显著性具有将注意快速指向感兴趣目标的特点,将其引入目标跟踪中,提出一种基于时空运动显著性的目标跟踪算法。方法 首先,依据大脑视皮层对运动信息的层次处理机制,建立一种自底向上的时空运动显著性计算模型,即通过3D时空滤波器完成对运动信号的底层编码、最大化汇集算子完成运动特征的局部编码;利用视频前后帧之间的时间关联性,通过时空运动特征的差分完成运动信息的显著性度量,形成时空运动显著图。其次,在粒子滤波基本框架之下,将时空运动显著图与颜色直方图相结合,来衡量不同预测状态与观测状态之间的相关性,从而确定目标的状态,实现目标跟踪。结果 与其他跟踪方法相比,本文方法能够提高目标跟踪的中心位置误差、精度和成功率等指标;在光照变化、背景杂乱、运动模糊、部分遮挡及形变等干扰因素下,仍能够稳定地跟踪目标。此外,将时空运动显著性融入其他跟踪方法,能够改善跟踪效果,进一步验证了运动显著性对于运动目标跟踪的有效性。结论 时空运动显著性可以有效度量目标的运动信息,增强运动显著的目标区域,抑制干扰区域,从而提升跟踪性能。     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

基于时空信息的多运动目标跟踪算法

利用帧差法和基于Sampson距离的随机抽样一致性（RANSAC）匹配算法,实现基于时空信息的多运动目标跟踪。采用帧差法获知运动目标大概位置,运用Harris算法提取每帧视频图像中运动目标的角点,并对其进行归一化处理,利用RANSAC算法对角点进行匹配,使用闽值分割法确定运动目标位置。实验结果表明,该方法能准确跟踪相似目标,其实时性较高。     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架，因其将回归问题转换为相似度匹配问题，备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展，目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法，成为目标跟踪的主流算法。首先，介绍了目标跟踪任务面对的挑战和传统方法；然后，介绍了孪生网络的基础结构及其发展，汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理；另外，介绍多个用于目标跟踪测试的主流数据集，并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能；最后，提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

视觉目标的识别及跟踪技术的研究

结合应用的需要,通过对一些传统算法的修改优化,提出完整的视觉目标的识别算法。该算法利用图像处理方法,对外框和其中特征点进行计算。并在目标跟踪技术上,提出了一种基于可预测的搜索窗口的方法,实验证明,这加快了目标跟踪算法的处理速度,算法能提供优秀的跟踪检测并实时处理。     

基于孪生网络的单目标跟踪算法综述

单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

基于时空显著性的双核KCF目标跟踪算法

传统的核相关滤波器跟踪算法(KCF)在模板更新上容易出现跟踪误差累计,从而导致目标跟踪过程中出现跟踪漂移问题。针对该问题,提出了一种时空显著性的双核KCF目标跟踪的方法。该算法引入了一种时空显著性方法来搜索目标区域的显著特征和姿态稳定的局部区域。利用该局部区域对跟踪过程中产生的累计误差有较低的敏感度特性,能够减少跟踪过程中的累计误差。然后再结合原目标和显著区域建立一个双核跟踪机制,在跟踪过程中不断对原目标跟踪结果进行微调,降低跟踪累计误差。此外,针对快速运动的目标相邻帧偏移量较大的问题,提出了一种锚点预测机制,使得跟踪锚点与目标位置更接近,能够更准确地跟踪到目标。在大型公共数据上测试的实验结果表明,提出的算法在光照、遮挡、变形、快速运动、旋转以及背景杂波等复杂情况下,均具有较强的适应性。     

基于特征补偿的单目标跟踪算法

为适应长期跟踪的需求,提出一种基于特征补偿的单目标跟踪方法。通过分析现有算法的优缺点,使用低层特征的相关滤波模型完成简单场景的任务,以保证速度;使用高层语义特征的卷积神经网络模型完成复杂场景的任务,以提升精度和鲁棒性;引入一个简单的分类器,作为切换特征的标志,有选择的对模型的模版进行更新,降低累计误差。结合实例验证了算法的有效性,在保证较快速度的同时,精度和鲁棒性均有较高的提升。     

单目标跟踪算法的研究与分析

运动目标跟踪是计算机视觉的一个中心研究问题,为视频内容的理解提供重要的信息。首先介绍了目标跟踪的国内外研究现状,重点归纳分析了运动目标跟踪方法的分类及其发展过程中的提出的各种算法,对其关键技术进行了剖析和比较。     

融合视觉显著性再检测的孪生网络无人机目标跟踪算法

针对旋翼飞行器在跟踪过程中目标尺度变化、快速运动、视角变化等问题,本文提出了一种基于MobileNetV2的孪生网络目标跟踪算法,可在无人机机载处理器上实时运行。该算法主要包含目标得分估计模块与目标尺度估计模块两个部分。结合多特征融合的策略,可准确预测出目标位置与目标框IoU,同时以目标框IoU为指导,利用梯度上升法对目标框进行迭代修正,进一步提升预测精度。针对完全遮挡而导致的目标跟丢问题,本文设计了一个基于视觉显著性的目标再检测算法,该算法可实时高效地预测出图像的显著性区域,以指导对目标的再检测,进而恢复跟踪。最后,通过标准无人机跟踪数据集测试与实际无人机跟踪实验,验证了算法的可行性。     

目标跟踪综述

随着深度学习与人工智能技术的不断发展,视频目标跟踪已经成为了计算机视觉的重要研究内容,在公安布控、人机交互、交通管制、军事等各个领域起到越来越重要的作用。尽管现在国内外学者提出了多种目标跟踪算法,也搭建了较为完善的目标跟踪系统,但是算法的鲁棒性依然是一个比较大的挑战。本文对运动目标跟踪系统结构进行了简要介绍,并从特征提取及融合、外观模型、目标搜索等方面详细阐述了目前主流运动目标跟踪算法。然后对目标跟踪算法在深度学习大环境下的新发展进行了分析,从基于深度学习的目标跟踪及目标检测算法角度分析了深度学习在提高目标检测算法鲁棒性方面的有效性,最后概述了深度学习在视频目标检测算法中的具体应用并对其未来发展进行了展望。     

复杂环境下高效物体跟踪级联分类器

目的 传统跟踪算法在复杂环境下容易发生漂移（drift）现象,通过改进TLD（tracking learning detection）跟踪技术算法,提出了基于Sliding-window的局部搜索和全局搜索策略、积分直方图过滤器和随机Haar-like块特征过滤器。方法 首先,采用积分直方图过滤器可以有效地过滤大量非目标子窗口块,从而减少后续过滤器特征匹配数;其次,利用随机Haar-like块特征过滤器能够解决跟踪算法在复杂环境（多物体、部分或较大区域遮挡、快速运动等）跟踪过程易发生漂移而导致跟踪精度的不足。结果 结合TLD原始过滤器与新提出的两个过滤器组合而成的级联分类器,通过与主流的跟踪算法实验进行对比表明,级联分类器在稳定的背景或复杂环境的跟踪鲁棒性强、跟踪精度高,并且采用了局部和全局搜索策略提高了计算速度。结论 提出的方法在诸多背景环境变化,跟踪物体形变等情况下,能够精确地多尺度跟踪待测目标;结合全局和局部搜索跟踪策略能够有效地克服级联分类器所带来的时间复杂度过高的问题,从而实现实时目标跟踪。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。     

特征融合与视觉目标跟踪 *

针对跟踪过程中各类图像特征分离背景和目标能力的变化 ,提出一种基于增量判别分析的特征融合算法。该算法首先计算各特征图像的似然图 ,然后通过增量判别分析计算各特征分类性能 ,得到相应权重 ,并在此基础上求取融合似然图 ,通过粒子滤波算法确定待跟踪目标状态。通过对可见光及红外成像视频序列的仿真表明,该算法对环境光照变化、视角变化以及局部遮挡等均具有一定的鲁棒性。     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

运动目标跟踪算法研究综述*

将运动目标跟踪问题分解为运动检测和目标跟踪分别加以讨论,分类描述了目标跟踪问题的研究现状、研究方法及常用算法,比较了各种方法的优劣及面临的技术难点问题,并对运动目标跟踪算法的研究前景进行了展望。     

稀疏编码目标跟踪方法研究

针对稀疏表示用于目标跟踪时存在重构误差表示不够精确、目标模板更新错误等问题,提出一种改进的稀疏编码模型。该模型无需重构误差满足特定的先验概率分布,且加入对编码系数的自适应约束,可以取得更优的编码向量,使得跟踪结果更为准确。在此基础上,将这种改进的编码模型与粒子滤波目标跟踪算法相结合,研究并实现一种新的基于鲁棒稀疏编码模型的目标跟踪方法。该方法对每个粒子的采样区域进行编码,用所得的稀疏编码向量作为当前粒子的观测量,并采用目标模板分级更新策略,使得目标模板更加准确。实验结果表明,方法可以较好地解决目标部分遮挡和光照变化等干扰下的目标跟踪问题。