基于全局和局部约束直推学习的鲁棒跟踪研究

在目标跟踪中, 大部分算法都是假设目标亮度不变或者目标子空间不变, 然而, 这些假设在实际场景中并不一定满足, 特别是当目标和背景都发生较大变化时, 目标容易丢失. 针对这种情况, 本文从直推学习的角度重新描述跟踪问题, 并提出一种鲁棒的目标跟踪方法.为获得更好的跟踪效果, 目标当前状态估计不仅要逼近目标模型, 而且要与以前的结果具有相同的聚类. 本方法利用目标模型对跟踪问题进行全局约束, 利用以前的结果约束状态局部分布, 构造代价函数. 将以前的状态估计作为正样本, 当前的候选状态作为未标记样本, 以所有样本为顶点建立图, 同时学习目标的全局外观模型和所有状态的局部聚类结构. 最后利用图拉普拉斯, 通过简单的线性代数运算, 获得代价函数的最优解. 在实验中, 选取包含各种情形的视频, 如目标的姿势改变、表情变化、部分遮挡以及周围光照的变化等, 利用本文提出的方法测试, 并和其他算法比较. 实验结果表明, 本文方法能够很好处理这些情形, 实现对目标的鲁棒跟踪.     

Robust visual tracking via discriminative appearance model based on sparse coding

In this paper, we formulate visual tracking as a binary classification problem using a discriminative appearance model. To enhance the discriminative strength of the classifier in separating the object from the background, an over-complete dictionary containing structure information of both object and background is constructed which is used to encode the local patches inside the object region with sparsity constraint. These local sparse codes are then aggregated for object representation, and a classifier is learned to discriminate the target from the background. The candidate sample with largest classification score is considered as the tracking result. Different from recent sparsity-based tracking approaches that update the dictionary using a holistic template, we introduce a selective update strategy based on local image patches which alleviates the visual drift problem, especially when severe occlusion occurs. Experiments on challenging video sequences demonstrate that the proposed tracking algorithm performs favorably against several state-of-the-art methods.     

正例投票下的L1目标跟踪算法

目的 传统的L1稀疏表示目标跟踪,是将所有候选目标表示为字典模板的线性组合,只考虑了字典模板的整体信息,没有分析目标的局部结构。针对该方法在背景杂乱时容易出现跟踪漂移的问题,提出一种基于正例投票的目标跟踪算法。方法 本文将目标表示成图像块粒子的组合,考虑目标的局部结构。在粒子滤波框架内,构建图像块粒子置信函数和相似性函数,提取正例图像块。最终通过正例权重投票估计跟踪目标的最佳位置。结果 在14组公测视频序列上进行跟踪实验,与多种优秀的目标跟踪算法相比,本文跟踪算法在目标受到背景杂乱、遮挡、光照变化等复杂环境干扰下最为稳定,重叠率达到了0.7,且取得了最低的平均跟踪误差5.90,反映了本文算法的可靠性和有效性。结论 本文正例投票下的L1目标跟踪算法,与经典方法相比,能够解决遮挡、光照变化和快速运动等问题的同时,稳定可靠地实现背景杂乱序列的鲁棒跟踪。     

基于帧内关系建模和自注意力融合的多目标跟踪方法

多目标跟踪在视频监控领域有重要的应用价值.随着卷积神经网络(convolutional neural networks,CNN),尤其是图神经网络(graph neural networks,GNN)的发展,多目标跟踪的研究现阶段取得了很大突破.其中,图神经网络由于引入目标-轨迹间的关系建模,显示出更稳定的跟踪性能.然而,已有的基于GNN的多目标跟踪方法都仅在连续两帧之间建立全局关系模型,忽视了帧内目标与周围其他目标的交互,没有考虑在帧内建立合适的局部关系模型.为了解决该问题,提出基于帧内关系建模和自注意力融合模型(INAF-GNN)的多目标跟踪方法.在帧内,INAF-GNN建立目标与邻居目标的关系图模型以获取局部跟踪特征;在帧间,INAF-GNN建立目标与轨迹关系图模型以获得全局跟踪特征,并利用注意力机制设计一个特征融合模块整合局部和全局跟踪特征.在MotChallenge行人标准数据集上进行大量的实验,与多个基于图神经网络的多目标跟踪方法相比较,结果显示,MOTA指标提高1.9%,IDF1指标提高3.6%.同时,在UA-DETRAC车辆数据集上的验证测试表明了所提出方法的有效性和泛化能力.     

复杂环境下高效物体跟踪级联分类器

目的 传统跟踪算法在复杂环境下容易发生漂移（drift）现象,通过改进TLD（tracking learning detection）跟踪技术算法,提出了基于Sliding-window的局部搜索和全局搜索策略、积分直方图过滤器和随机Haar-like块特征过滤器。方法 首先,采用积分直方图过滤器可以有效地过滤大量非目标子窗口块,从而减少后续过滤器特征匹配数;其次,利用随机Haar-like块特征过滤器能够解决跟踪算法在复杂环境（多物体、部分或较大区域遮挡、快速运动等）跟踪过程易发生漂移而导致跟踪精度的不足。结果 结合TLD原始过滤器与新提出的两个过滤器组合而成的级联分类器,通过与主流的跟踪算法实验进行对比表明,级联分类器在稳定的背景或复杂环境的跟踪鲁棒性强、跟踪精度高,并且采用了局部和全局搜索策略提高了计算速度。结论 提出的方法在诸多背景环境变化,跟踪物体形变等情况下,能够精确地多尺度跟踪待测目标;结合全局和局部搜索跟踪策略能够有效地克服级联分类器所带来的时间复杂度过高的问题,从而实现实时目标跟踪。     

一种快速的自适应目标跟踪方法

由于光照变化、视角差异、相机抖动和部分遮挡等因素的影响,鲁棒的目标跟踪仍然是计算机视觉领域极具挑战性的研究课题.受协同训练和粒子滤波算法的启发,提出一种快速的自适应目标跟踪方法.该方法采用HOG(histogram of oriented gradients)和LBP(local binary pattern)描述目标特征并建立分类器,通过协同训练实现分类器的在线更新,有效解决了误差累积问题.为缩小目标搜索的状态空间,利用ICONDENSATION的运动模型和重要采样提高粒子采样的准确性和效率,并引入校正因子抑制虚假目标的干扰,从而提升了跟踪算法的鲁棒性和分类器更新的准确性.在两组标准测试集和两组自建测试集上的对比实验结果验证了所提出跟踪算法的有效性.与基于全局搜索的跟踪方法相比,该算法在不降低跟踪性能的前提下将处理速度提高25倍以上.     

一种高效的适用于复杂环境下物体跟踪的级联分类器

传统跟踪算法在复杂环境下容易发生漂移（drift）现象,本文改进了TLD跟踪技术算法提出了基于Sliding-window的局部搜索和全局搜索策略、积分直方图过滤器和随机Haar-like块特征过滤器。首先,采用积分直方图过滤器可以有效地过滤大量非目标子窗口块,从而减少后续过滤器特征匹配数;其次,利用随机Haar-like块特征过滤器能够解决跟踪算法在复杂环境（多物体、部分或较大区域遮挡、快速运动等）跟踪过程易发生漂移而导致跟踪精度的不足。本文结合TLD原始过滤器与新提出的两个过滤器组合而成的级联分类器,通过与主流的跟踪算法实验进行对比表明,级联分类器在稳定的背景或复杂环境的跟踪鲁棒性强、跟踪精度高,并且采用了局部和全局搜索策略提高了计算速度。     

背景与时间感知的相关滤波实时视觉跟踪

目的 传统的相关滤波跟踪算法采用对跟踪目标（唯一准确正样本）循环移位获取负样本,在整个学习过程中没有对真正的背景信息进行建模,因此当目标与背景信息极其相似时容易漂移。大多数跟踪算法为了提高跟踪性能,在时间序列上收集了大量的训练样本而导致计算复杂度的增加。采用模型在线更新策略,由于未考虑时间一致性,使得学习到的滤波器可能偏向背景而发生漂移。为了改善以上问题,本文在背景感知相关滤波（BACF）跟踪算法的基础上,加入时间感知,构建了一个带等式限制的相关滤波目标函数,称为背景与时间感知相关滤波（BTCF）视觉跟踪。该算法不但获取了真正的负样本作为训练集,而且仅用当前帧信息无需模型在线更新策略就能学习到具有较强判别力的相关滤波器。方法 首先将带等式限制的相关滤波目标函数转化为无约束的增广拉格朗日乘子公式,然后采用交替方向乘子方法（ADMM）转化为两个具有闭式解的子问题迭代求最优解。结果 采用OTB2015数据库中的OPE（one pass evaluation）评价准则,以成功率曲线图线下面积（AUC）和中心点位置误差为评判标准,在OTB2015公开数据库上与10个比较优秀的视觉跟踪算法进行对比实验。结果显示,100个视频序列和11个视频属性的成功率及对应的AUC和中心位置误差均明显优于其他基于相关滤波的视觉跟踪算法,说明本文算法具有良好的跟踪效果。本文的BTCF算法仅采用HOG纯手工特征,在OTB2015数据库上AUC较BACF算法提高了1.3%;由于颜色与边缘特征具有互补特性,本文融合CN（color names）特征后,在OTB2015数据库上,AUC较BACF算法提高了4.2%,采用纯手工特征跟踪性能AUC达到0.663,跟踪速度达到25.4帧/s。结论 本文的BTCF算法能够适用于光照变化、目标旋转、遮挡等复杂情况下的视觉跟踪,具有良好的鲁棒性和一定的实时性。     

Visual tracking based on hierarchical framework and sparse representation

As the main challenge for object tracking is to account for drastic appearance change, a hierarchical framework that exploits the strength of both generative and discriminative models is devised in this paper. Our hierarchical framework consists of three appearance models: local-histogram-based model, weighted alignment pooling model, and sparsity-based discriminative model. Sparse representation is adopted in local-histogram-based model layer that considers the spatial information among local patches with a dual-threshold update schema to deal with occlusion. The weighted alignment pooling layer is introduced to weight the local image patches of the candidates after sparse representation. Different from the above two generative methods, the global discriminant model layer employs candidates to sparsely represent positive and negative templates. After that, an effective hierarchical fusion strategy is developed to fuse the three models via their similarities and the confidence. In addition, three reasonable online dictionary and template update strategies are proposed. Finally, experiments on various current popular image sequences demonstrate that our proposed tracker performs favorably against several state-of-the-art algorithms.     

视频中运动目标的实时检测和跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域，特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出了一种自适应的背景相减法来分割运动物体，为了准确地定位运动车辆的区域，采用差分图像投影和边缘投影相结合的方法来定位车体，同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪，即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆，同时也能实时地定位和跟踪弯道上运动的车辆，从实验结果看，提出的背景更新算法简单，并且运动车辆区域的定位具有很好的鲁棒性，从统计的检测率和运行时间来看，该算法具有很好的检测效果，同时也能满足基于视频的智能交通监控系统的需要。     

背景估计与运动目标检测跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域,特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出一种自适应的背景估计方法来实时获得当前背景图像,从而分割出运动物体。为了准确地定位运动车辆的区域,采用差分图像投影和边缘投影相结合的方法来定位车体,同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪,即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆,同时也能实时地定位和跟踪弯道上运动的车辆,从实验结果看,提出的背景更新算法简单,并且运动车辆区域的定位具有很好的鲁棒性,从统计的检测率和运行时间来看,该算法具有很好的检测效果,同时也能满足基于视频的智能交通监控系统的需要。     

基于自适应组合核的鲁棒视频目标跟踪算法

为了解决核化相关滤波器（KCF）在复杂场景下鲁棒性差的问题,提出了基于自适应组合核（SACK）的目标跟踪算法。跟踪任务分为位置跟踪和尺度跟踪两个独立部分。首先,以线性核和高斯核的自适应组合作为核跟踪滤波器,构造了SACK权重的风险目标函数。该函数根据核的响应值自适应调整线性核和高斯核权重,不仅考虑了不同核响应输出的经验风险泛函最小,而且考虑了极大响应值的风险泛函,同时具有局部核和全局核的优点。然后,根据该滤波器的输出响应得到目标精确位置,设计了基于目标极大响应值的自适应更新率,针对位置跟踪滤波器进行自适应更新。最后,利用尺度跟踪器对目标尺度进行估计。实验结果表明,所提算法的成功率和距离精度在OTB-50数据库表现最优,比KCF算法分别高6.8个百分点和4.1个百分点,比双向尺度估计跟踪（BSET）算法分别高2个百分点和3.2个百分点。该算法对形变和遮挡等复杂场景具有很强的适应能力。     

引入高斯掩膜的相关滤波目标跟踪算法

目的 由于相关滤波（correlation filter,CF）跟踪算法使用循环移位操作增加训练样本,不可避免会引起边界效应问题。研究者大多采用余弦窗来抑制边界效应,但余弦窗的引入会导致样本污染,降低了算法的性能。为解决该问题,提出了嵌入高斯形状掩膜的相关滤波跟踪算法。方法 在空间正则化相关滤波跟踪框架中嵌入高斯形状掩膜,对靠近目标中心和搜索区域边缘的样本重新分配权重,提高中心样本的重要性,同时降低远离中心的边缘样本的重要性,增加中心样本的响应,从而降低样本污染的影响,增强滤波器的判别能力。建立了高斯掩膜相关滤波跟踪算法的目标公式,然后使用交替方向乘子法（alternating direction of multiplier method,ADMM）求解滤波器及空间权重的闭合解。结果 为评估所提算法的跟踪性能,在OTB2013 （online tracking benchmark）、TC128 （temple color）、UAV123 （unmmaned aerial vehicle）及Got-10k （general object tracking）等多个基准数据集上进行了大量实验,并与多个先进的相关滤波跟踪算法对比。结果表明,在OTB2013数据集上精度和成功率分别为90.2%和65.2%,其中精度比基准算法提高0.5%;在TC128数据集上精度和成功率分别为77.9%和57.7%,其中成功率提高0.4%;UAV123数据集上的两个指标数据分别为74.1%和50.8%,精度提高0.3%;在Got-10k数据集上成功率提高了0.2%。结论 与其他相关滤波跟踪算法相比,本文算法在各数据集上的精度和成功率表现出较强的竞争力,显著提高了基准算法的跟踪性能。     

字典学习联合粒子滤波鲁棒跟踪

针对运动目标鲁棒跟踪问题,提出一种基于离线字典学习的视频目标跟踪鲁棒算法。采用字典编码方式提取目标的局部区域描述符,随后通过训练分类器将跟踪问题转化为背景和前景分类问题,最终通过粒子滤波对物体位置进行估计实现跟踪。该算法能够有效解决由于光照变化、背景复杂、快速运动、遮挡产生的跟踪困难。经过不同图像序列的实验对比表明,与现有方法相比,本文算法的鲁棒性较高。     

大规模联合采集智能群体的协调跟踪模型及稳定性分析

An improved cooperative tracking model is proposed, which is based on the local information between mutually observable individuals with global object information, and this model is used for scalable social foraging swarm. In this model, the “follower” individuals in the swarm take the center of the minimal circumcircle decided by the neighbors in the positive visual set of individual as its local object position. We study the stability properties of cooperative tracking behavior of social foraging swarm based on Lyapunov stability theory. Simulations show that the stable cooperative tracking behavior of the global social foraging swarm can be achieved easily, and beautiful scalability emerge from the proposed model for social foraging swarm.     

结合Boosting方法与SVM的多核学习跟踪算法

针对传统算法在外界环境及目标运动导致外形变化的影响下跟踪效果不稳定的问题,提出一种鲁棒的多核学习跟踪算法,将Boosting提升方法引入到多核学习框架中,用比传统多核学习算法更少的样本训练,构建出基于互补性特征集和核函数集的弱分类器池,从中将多个单核的弱分类器组合出一个多核的强分类器,从而在出现较强背景干扰、目标被遮挡的情况下仍能正确地对候选图块中的背景和目标进行分类。对不同视频序列的测试结果表明,与同样采用Boosting方法的OAB算法及近年跟踪精度高的LOT算法相比,该算法能够在复杂环境下更准确地跟踪到目标。     

基于在线学习的目标跟踪方法研究*

针对视频目标跟踪问题,提出了一种基于co-training框架下的在线学习跟踪方法。该方法首先根据两种不同的局部特征,利用在线 Boosting算法分别建立模型, 然后采用co-training框架来协同训练,有效避免了模型误差累积和跟踪丢帧等问题。实验证明了该方法的有效性。     

全局孤立性和局部同质性图表示的随机游走显著目标检测算法

目前的显著性检测算法主要依赖像素间的相互对比,缺乏对显著目标自身特性的分析理解. 依据显著目标是显眼、紧凑和完整的思路,提出一种基于目标全局孤立性和局部同质性的 随机游走显著目标检测算法,将视觉显著性检测公式化为马尔科夫随机游走问题. 首先将输入图像进行分块,根据像素块之间颜色特征和方向特征的相似性确定边的权重, 从而构建图模型;然后通过全连通图搜索提取全局特性,突出全局较孤立的区域; 同时通过k-regular图搜索提取局部特性,增强局部较均匀的区域;最后将全局特性和局部 特性相结合得到显著图,进而确定感兴趣区域位置. 实验结果表明,相比于其他两种具有代表性的算法,所提方法检测结果更加准确、合理, 证明该算法切实可行.     

联合生成与判别模型的目标检测与跟踪

提出了一种新的基于生成-判别模型的目标检测与跟踪方法。利用DAISY特征描述子所具有的对光照、形变、视角、尺度的不变性以及计算高效的特点,提取目标稳定的特征点并加以表达,形成生成模型;采用霍夫森林分类器作为判别模型,用以训练目标图像块。在后续视频序列中利用目标的检测结果和判别码本的相似性测量对模型进行更新,构建一个动态自适应的判别码本。实验证明这种将快速有效的DAISY描述子和识别率高、鲁棒性强的霍夫森林分类器相结合的算法,跟踪精度高、实时性较好,具有目标局部防遮挡能力和不同分辨率下的识别能力。     

面向甲状旁腺检测的椭圆形高斯热图标签分配

近年来基于anchor-free的检测方法相继被提出,它们采取将目标转化为关键点,并在全局高斯热图中进行正负样本的标签分配.这种标签分配策略在一些场景中存在正负样本不平衡的问题,而且在甲状旁腺检测中不能有效反映目标的形状和方向.因此,本文提出了一种新的甲状旁腺检测模型EllipseNet,首先在GT中构建椭圆形状的高斯分布,拟合GT中的真正目标,使得正负样本的分配更加细粒度;同时提出融入目标形状信息的损失函数对目标的位置进行约束,进一步提高检测的精度.此外,模型中构建了多尺度预测,能够更好地检测不同大小的目标,解决甲状旁腺检测中目标尺度不平衡的问题.本文在甲状旁腺数据集上进行实验,结果表明, EllipseNet的AP₅₀达到95%,相比多种主流的检测算法,其检测精度有较大的提升.