基于全局和局部约束直推学习的鲁棒跟踪研究

在目标跟踪中, 大部分算法都是假设目标亮度不变或者目标子空间不变, 然而, 这些假设在实际场景中并不一定满足, 特别是当目标和背景都发生较大变化时, 目标容易丢失. 针对这种情况, 本文从直推学习的角度重新描述跟踪问题, 并提出一种鲁棒的目标跟踪方法.为获得更好的跟踪效果, 目标当前状态估计不仅要逼近目标模型, 而且要与以前的结果具有相同的聚类. 本方法利用目标模型对跟踪问题进行全局约束, 利用以前的结果约束状态局部分布, 构造代价函数. 将以前的状态估计作为正样本, 当前的候选状态作为未标记样本, 以所有样本为顶点建立图, 同时学习目标的全局外观模型和所有状态的局部聚类结构. 最后利用图拉普拉斯, 通过简单的线性代数运算, 获得代价函数的最优解. 在实验中, 选取包含各种情形的视频, 如目标的姿势改变、表情变化、部分遮挡以及周围光照的变化等, 利用本文提出的方法测试, 并和其他算法比较. 实验结果表明, 本文方法能够很好处理这些情形, 实现对目标的鲁棒跟踪.     

一种结合空间信息和稀疏字典优化的目标跟踪算法

针对复杂场景中目标表观变化引起的跟踪漂移问题, 提出一种新的基于稀疏表示的目标跟踪算法. 该算法通过稀疏性和空间相关性正则约束得到一种优化的目标代价函数, 利用拉格朗日对偶理论和加速近端梯度方法完成字典优化, 并利用最大池化理论和空间金字塔方法得到降维的且包含更多空间信息的目标模板系数和候选样本系数. 实验结果表明, 所提出的算法在背景干扰、光照变化、形变、运动模糊、严重遮挡等多种复杂场景中都能取得较为鲁棒的跟踪效果.     

基于随机局部均值Hash特征的在线学习目标跟踪

在局部遮挡,光线变化,以及复杂背景环境下进行有效稳定的目标跟踪一直是一个长期困扰研究者的复杂问题。提出一种基于随机局部均值Hash特征的在线学习目标跟踪算法,算法的创新点为基于泊松概率分布的目标模型建立及其在线更新。算法首先利用已标定实际位置的目标图像来初始化目标模型及构建初始分类器池,由此求出下一帧的检测算子,同时基于多实例在线学习方法,利用检测到的目标样本（正样本）以及附近的背景样本（负样本）在线更新目标模型,求出新的检测算子用于后续帧的目标检测及跟踪。提出的算法与现有基于检测学习的OnlineBoostingTracker,SemiTracker,BeyondSemiTracker,Context Tracker和MILTracker跟踪算法在给定的四个标准视频序列中进行了跟踪性能比较。实验结果表明,在各种复杂环境下,该算法具备良好的综合跟踪性能,尤其在抗局部遮挡方面尤为突出。在抗目标旋转方面,该算法仍有待优化。     

改进的基于多示例学习的目标跟踪方法研究

针对复杂场景下的跟踪问题,提出一种新的基于多示例学习的目标跟踪方法。该方法首先利用局部描述算子(Harr-like特征)表征目标和周围背景区域,分别视为正负样本,然后利用基于Boosting的在线多示例学习(MILBoost)建立一种适应性的外观模型作为二值分类器。并提出一种修正的搜索目标位置算法,使haar小波和区域协方差矩阵相结合,取最大响应样本为新目标位置。该方法能够有效解决视频场景中目标受遮挡、旋转和光照变化等问题,具有鲁棒的跟踪性能。     

基于HOG与多实例在线学习的目标跟踪算法

为实现在局部遮挡、光线变化等复杂背景下的目标跟踪,提出一种基于梯度方向直方图(HOG)与多实例在线学习的目标跟踪算法.利用已标定目标图像的HOG特征空间,结合局部二值模式(LBP)描述方法获取特征向量,构建初始随机蕨检测算子,采用随机多尺度采样方法跟踪每一帧的目标位置和尺寸,并基于多实例在线学习框架,通过检测到的目标样本以及附近的背景样本在线更新检测算子.将该算法与OnlineB oostingTracker,MILTracker等在线学习目标跟踪算法在多个标准视频序列中进行比较,实验结果表明,该算法在局部遮挡和光照变化的环境下具有较好的跟踪稳定性,但在抗目标旋转方面有待优化.     

抗遮挡目标跟踪的模型学习综述

视觉目标跟踪任务中的遮挡问题是最具挑战的场景属性之一,研究有效的抗遮挡模型学习方案,对构建适应复杂场景的长期鲁棒跟踪模型具有重要意义。剖析了遮挡影响跟踪性能的本质原因,以抗遮挡性能较好的先进跟踪算法为研究对象,系统分析了模型学习中有效抗遮挡机制,并对其改善长短期遮挡问题的有效性进行比较分析,包括以硬负样本挖掘、有效样本管理、类遮挡硬正样本生成的训练样本提质策略,提供模型充足判别信息;以时间一致性学习、自适应外观学习的被动稳定学习方式和基于多域属性、目标感知、干扰感知、特征融合等适用跟踪任务的主动学习策略,构建可抵抗场景干扰、目标形变等因素可适用跟踪的鲁棒模型;以手工置信度评估、自适应决策、时序记忆库、自适应估计模板的更新策略,平衡模型在线跟踪状态变化目标的适应性与稳定性。通过对代表跟踪算法在遮挡及背景杂乱、出视野、平面内外旋转、形变场景下的性能比较,详尽分析了各策略抗遮挡有效性,指出相比更新策略,数据处理、学习策略设计更有利于提高抗遮挡性能;同时分析了各策略对长期遮挡、背景杂乱、出视野等属性的适用性及适用多类复杂场景的策略。总结了有效抗遮挡策略,提出骨干网替换及迁移场景理解、运动规律等先验信息至跟踪任务的研究方向。     

一种复杂场景下的运动目标跟踪算法

提出了一种基于跟踪窗口自适应和抗遮挡的目标跟踪算法。采用Mean Shift算法确定当前帧的目标位置,最优选取核函数带宽,使跟踪窗口能够根据目标尺寸大小作出自适应调整。利用Bhattacharyya系数作为遮挡的判断依据,当目标遮挡时引入卡尔曼滤波器估计目标的运动信息,进行后续状态预测。实验表明,该算法能有效跟踪复杂场景下的运动目标。     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

基于集成多示例学习的Mean Shift跟踪算法

为了实现长时间稳定的对特定目标的跟踪,结合匹配型跟踪方法和决策型跟踪方法的优势,同时利用集成学习的思想构建多个强分类器,提出一种基于集成多示例学习的mean shift跟踪算法.首先在上一帧中对示例进行随机采样,构建分类器的集体,通过集成学习合成最终的分类器以确定当前帧中目标的初始位置;然后对初始位置和上一帧目标最终位置的距离与设定的阈值进行判断,决定是否采用mean shift跟踪算法对初始位置进行修订,以确定目标的最终位置.实验结果表明,该算法不但可以应对目标的形变、旋转、遮挡以及光照变化等各种复杂的情况,而且可以做到长时间的跟踪,具有较强的鲁棒性.     

结合Boosting方法与SVM的多核学习跟踪算法

针对传统算法在外界环境及目标运动导致外形变化的影响下跟踪效果不稳定的问题,提出一种鲁棒的多核学习跟踪算法,将Boosting提升方法引入到多核学习框架中,用比传统多核学习算法更少的样本训练,构建出基于互补性特征集和核函数集的弱分类器池,从中将多个单核的弱分类器组合出一个多核的强分类器,从而在出现较强背景干扰、目标被遮挡的情况下仍能正确地对候选图块中的背景和目标进行分类。对不同视频序列的测试结果表明,与同样采用Boosting方法的OAB算法及近年跟踪精度高的LOT算法相比,该算法能够在复杂环境下更准确地跟踪到目标。     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

基于2DPCA与稀疏表示的目标跟踪

为了提高目标跟踪的准确性,针对目标跟踪过程中光照变化、遮挡、姿势变化等问题,提出了基于二维主成分分析(2DPCA)与稀疏表示的目标跟踪算法.在贝叶斯框架中使用了2DPCA与L2规范化呈现快速与鲁棒的目标跟踪算法.提出了新的似然函数表示方法,同时采用增量子空间学习的方法对冗余字典进行更新,有效抑制了跟踪漂移并能处理目标遮挡问题.通过对具有挑战性的跟踪视频进行定性和定量分析,实验结果证明:跟踪方法在跟踪精度上优于传统方法.     

判别稀疏表示鲁棒快速视觉跟踪

目的 L1跟踪对局部遮挡具有良好的鲁棒性,但存在易产生模型漂移和计算速度慢的问题。针对这两个问题,该文提出了一种基于判别稀疏表示的视觉跟踪方法。方法 考虑到背景和遮挡信息的干扰,提出了一种判别稀疏表示模型,并基于块坐标优化原理,采用学习迭代收缩阈值算法和软阈值操作设计出了表示模型的快速求解算法。结果 在8组图像序列中,该文方法与现有的4种经典跟踪方法分别在鲁棒性和稀疏表示的计算时间方面进行了比较。在鲁棒性的定性和定量比较实验中,该文方法不仅表现出了对跟踪过程中的多种干扰因素具有良好的适应能力,而且在位置误差阈值从0~50像素的变化过程中,其精度曲线均优于实验中的其他方法;在稀疏表示的计算时间方面,在采用大小为16×16和32×32的模板进行跟踪时,该文算法的时间消耗分别为0.152 s和0.257 s,其时效性明显优于实验中的其他方法。结论 与经典的跟踪方法相比,该文方法能够在克服遮挡、背景干扰和外观改变等诸多不良因素的同时,实现快速目标跟踪。由于该文方法不仅具有较优的稀疏表示计算速度,而且能够克服多种影响跟踪鲁棒性的干扰因素,因此可以将其应用于视频监控和体育竞技等实际场合。     

高斯核函数卷积神经网络跟踪算法

针对深度学习跟踪算法训练样本缺少、训练费时、算法复杂度高等问题,引入高斯核函数进行加速,提出一种无需训练的简化卷积神经网络跟踪算法。首先,对初始帧目标进行归一化处理并聚类提取一系列初始滤波器组,跟踪过程中结合目标背景信息与前景候选目标进行卷积;然后,提取目标简单抽象特征;最后,将简单层的卷积结果进行叠加得到目标的深层次特征表达。通过高斯核函数加速来提高算法中全部卷积运算的速度,利用目标的局部结构特征信息,对网络各阶段滤波器进行更新,结合粒子滤波跟踪框架实现跟踪。在CVPR2013跟踪数据集上的实验表明,本文方法脱离了繁琐深度学习运行环境,能克服低分辨率下目标局部遮挡与形变等问题,提高复杂背景下的跟踪效率。     

基于深度特征与局部约束掩膜的相关滤波跟踪算法

为提升相关滤波算法在目标遮挡、快速运动以及背景杂乱等情况下跟踪结果的精确度和鲁棒性,提出了一种基于深度特征与局部约束掩膜(Local constrained mask, LCM)的相关滤波跟踪算法。在鉴别性相关滤波跟踪算法的基础上,利用学习得到的二值矩阵作为LCM对滤波器的能量分布进行裁剪,对模板边缘与测试图像之间产生的响应值进行抑制,实现扩大目标搜索区域的同时降低边界效应对跟踪结果的影响;将深度特征引入到特征提取过程中,通过对目标样本进行旋转、翻折和高斯模糊等处理,扩充训练样本数量,使模板学习到更为丰富的目标信息。与主流算法进行对比实验,验证了本文算法在处理目标遮挡、背景嘈杂以及光照变化等干扰时的鲁棒性。     

基于参数学习和运动预测的在线多目标跟踪算法

针对在线多目标跟踪中的短时遮挡和检测器误差造成的误检和漏检问题,提出一种结合参数学习和运动预测的在线多目标跟踪算法。采用逐帧关联的方式,首先利用目标的历史轨迹建立卡尔曼滤波器模型预测目标当前帧的可能位置,然后计算目标和当前观测之间的关联度建立代价矩阵。对于多目标跟踪被建模为指派问题,采用Hungarain算法求解,此外制定策略处理目标出现、消失和遮挡等异常情况。而对于多目标跟踪系统中的参数,设计一种新的二分类参数学习方案。实验结果验证了参数学习的有效性以及对误检、漏检和遮挡的鲁棒性,并且与若干经典算法的性能比较中,在多个指标上表现出一定优势。     

一种鲁棒的时空上下文快速跟踪算法

为解决时空上下文快速跟踪算法在目标处于复杂背景及被遮挡情况下容易产生漂移的问题,提出了一种鲁棒的时空上下文快速跟踪算法,通过引入Kalman滤波器,对当前帧中的目标在下一帧中的位置进行估计和预测,并将其作为下一帧时空上下文快速跟踪算法的迭代起点。对不同视频序列的跟踪结果表明,与时空上下文快速跟踪算法和多示例学习跟踪算法相比,提出的算法在目标被遮挡及复杂背景情况下能够更准确地跟踪到目标,并且满足实时性要求。     

多相关滤波自适应融合的鲁棒目标跟踪

目的 由于目标在复杂场景中可能会发生姿态变化、物体遮挡、背景干扰等情况,目标跟踪仍然是一个具有挑战性的课题。目前判别性相关滤波方法在目标跟踪问题上获得了成功而又广泛的应用。标准的相关滤波方法基于循环偏移得到大量训练样本,并利用快速傅里叶变换加速求解滤波器,使其具有很好的实时性和鲁棒性,但边界偏移带来的消极的训练样本降低了跟踪效果。空间正则化的相关滤波跟踪方法引入空间权重函数,增强目标区域的滤波器作用,在增大了目标搜索区域的同时,也增加了计算时间,而且对于目标形变不规则,背景相似的情景也会增强背景滤波器,从而导致跟踪失败。为此,基于以上问题,提出一种自适应融合多种相关滤波器的方法。方法 利用交替方向乘子法将无约束的相关滤波问题转化为有约束问题的两个子问题,在子问题中分别采用不同的相关滤波方法进行求解。首先用标准的相关滤波方法进行目标粗定位,进而用空间正则化的相关滤波跟踪方法进行再定位,实现了目标位置和滤波模板的微调,提高了跟踪效果。结果 本文算法和目前主流的一些跟踪方法在OTB-2015数据集中100个视频上,以中心坐标误差和目标框的重叠率为评判标准进行了对比实验,本文算法能较好地处理多尺度变化、姿态变化、背景干扰等问题,在CarScale、Freeman4、Girl等视频上都表现出了最好的跟踪结果;本文算法在100个视频上的平均中心坐标误差为28.55像素,平均目标框重叠率为61%,和使用人工特征的方法相比,均高于其他算法,与使用深度特征的相关滤波方法相比,平均中心坐标误差高了6像素,但平均目标框的重叠率高了4%。结论 大量的实验结果表明,在目标发生姿态变化、尺度变化等外观变化时,本文算法均具有较好的准确性和鲁棒性。