Robust Visual Tracking Based on Convolutional Features with Illumination and Occlusion Handing

视觉追踪是在计算机视觉的一个重要区域。怎么处理照明和吸藏问题是一个挑战性的问题。这份报纸论述一篇小说和有效追踪算法处理如此的问题。一方面,一起始的外观总是有的目标清除轮廓,它对照明变化光不变、柔韧。在另一方面,特征在追踪起一个重要作用,在哪个之中 convolutional 特征显示出有利性能。因此,我们采用卷的轮廓特征代表目标外观。一般来说,一阶的衍生物边坡度操作员在由卷检测轮廓是有效的他们与图象。特别, Prewitt 操作员对水平、垂直的边更敏感,当 Sobel 操作员对斜边更敏感时。内在地, Prewitt 和 Sobel 与对方一起是补足的。技术上说,这份报纸设计二组 Prewitt 和 Sobel 边察觉者提取一套完全的 convolutional 特征,它包括水平、垂直、斜的边特征。在第一个框架,轮廓特征从目标被提取构造起始的外观模型。在有这些轮廓特征的试验性的图象的分析以后,明亮的部分经常提供更有用的信息描述目标特征,这能被发现。因此,我们建议一个方法比较候选人样品和我们仅仅使用明亮的象素的训练模型的类似,它使我们的追踪者有能力处理部分吸藏问题。在得到新目标以后,变化以便改编外观,我们建议相应联机策略逐渐地更新我们的模型。convolutional 特征由井综合的 Prewitt 和 Sobel 边察觉者提取了的实验表演能是足够有效的学习柔韧的外观模型。九个挑战性的序列上的众多的试验性的结果证明我们的建议途径与最先进的追踪者比较很有效、柔韧。     

一种基于SVM的核相关跟踪算法

基于相关滤波器的跟踪方法在准确度和鲁棒性上取得了突出优势,但仍需要提高整体的跟踪性能.针对传统单目标的核相关滤波器跟踪算法在目标尺度变化和产生遮挡的跟踪中存在的问题,提出了一种结合支持向量机(SVM)检测器的多尺度相关滤波器算法.通过在核矩阵中引入尺度因子来提高相关滤波器处理尺度变换的性能,训练了一个在线SVM检测器,当目标发生遮挡时,能够重新获取目标,同时自适应调整模型学习率.通过与其他5种优秀跟踪算法进行实验比较,结果表明:方法能够广泛应用于目标跟踪领域,对目标进行准确地估计并有效处理目标的遮挡问题.     

变分调整约束下的反向低秩稀疏学习目标跟踪

目的 低秩稀疏学习目标跟踪算法在目标快速运动和严重遮挡等情况下容易出现跟踪漂移现象,为此提出一种变分调整约束下的反向低秩稀疏学习目标跟踪算法。方法 采用核范数凸近似低秩约束描述候选粒子间的时域相关性,去除不相关粒子,适应目标外观变化。通过反向稀疏表示描述目标表观,用候选粒子稀疏表示目标模板,减少在线跟踪中L₁优化问题的数目,提高跟踪效率。在有界变差空间利用变分调整对稀疏系数差分建模,约束目标表观在相邻帧间具有较小变化,但允许连续帧间差异存在跳跃不连续性,以适应目标快速运动。结果 实验利用OTB（object tracking benchmark）数据集中的4组涵盖了严重遮挡、快速运动、光照和尺度变化等挑战因素的标准视频序列进行测试,定性和定量对比了本文算法与5种热点算法的跟踪效果。定性分析基于视频序列的主要挑战因素进行比较,定量分析通过中心点位置误差（central pixel error,CPE）比较跟踪算法的精度。与CNT（convolutional networks training）、SCM（sparse collaborative model）、IST（inverse sparse tracker）、DDL（discriminative dictionary learning）和LLR（locally low-rank representation）算法相比,平均CPE值分别提高了2.80、4.16、13.37、35.94和41.59。实验结果表明,本文算法达到了较高的跟踪精度,对上述挑战因素更具鲁棒性。结论 本文提出的跟踪算法,综合了低秩稀疏学习和变分优化调整的优势,在复杂场景下具有较高的跟踪精度,特别是对严重遮挡和快速运动情况的有效跟踪更具鲁棒性。     

Online learning neural tracker

Object tracking is a fundamental computer vision problem and is required for many high-level tasks such as activity recognition, behavior analysis and surveillance. The main challenge in the object tracking problem is the dynamic change in object/background appearance, illumination, shape and occlusion. We present an online learning neural tracker (OLNT) to differentiate the object from the background and also adapt to changes in object/background dynamics. For target modeling and object tracking, a neural algorithm based on risk sensitive loss function is proposed to handle issues related to sample imbalance and dynamics of object. Region-based features like region-based color moments for larger mobile objects and color/texture features at pixel level for smaller mobile objects are used to discriminate the object from background. The proposed neural classifier automatically determines the number of neurons required to estimate the posterior probability map. In the online learning neural classifier, only one neuron parameter is updated per tracker to reduce the computational burden during online adaptation. The tracked object is represented using an estimated posterior probability map. The posterior probability map is used to adapt the bounding box to handle the scale change and improper initialization.For illustrating the advantage of the proposed OLNT under rapid illumination variation, change in appearance, scale/size change, and occlusion, we present results from benchmark video sequences. Finally, we also present the comparison with well-known trackers in the literature and highlight the advantage of the proposed tracker.     

A parallel and robust object tracking approach synthesizing adaptive Bayesian learning and improved incremental subspace learning

This paper presents a novel tracking algorithm which integrates two complementary trackers. Firstly, an improved Bayesian tracker(B-tracker) with adaptive learning rate is presented. The classification score of B-tracker reflects tracking reliability, and a low score usually results from large appearance change. Therefore, if the score is low, we decrease the learning rate to update the classifier fast so that B-tracker can adapt to the variation and vice versa. In this way, B-tracker is more suitable than its traditional version to solve appearance change problem. Secondly, we present an improved incremental subspace learning method tracker(Stracker). We propose to calculate projected coordinates using maximum posterior probability, which results in a more accurate reconstruction error than traditional subspace learning tracker. Instead of updating at every time, we present a stopstrategy to deal with occlusion problem. Finally, we present an integrated framework(BAST), in which the pair of trackers run in parallel and return two candidate target states separately. For each candidate state, we define a tracking reliability metrics to measure whether the candidate state is reliable or not, and the reliable candidate state will be chosen as the target state at the end of each frame. Experimental results on challenging sequences show that the proposed approach is very robust and effective in comparison to the state-of-the-art trackers.     

在线复合模板模型表示的视觉目标跟踪

目的 视觉目标跟踪中,目标往往受到自身或场景中各种复杂干扰因素的影响,这对正确捕捉所感兴趣的目标信息带来极大的挑战。特别是,跟踪器所用的模板数据主要是在线学习获得,数据的可靠性直接影响到候选样本外观模型表示的精度。针对视觉目标跟踪中目标模板学习和候选样本外观模型表示等问题,采用一种较为有效的模板组织策略以及更为精确的模型表示技术,提出一种新颖的视觉目标跟踪算法。方法 跟踪框架中,将候选样本外观模型表示假设为由一组复合模板和最小重构误差组成的线性回归问题,首先利用经典的增量主成分分析法从在线高维数据中学习出一组低维子空间基向量(模板正样本),并根据前一时刻跟踪结果在线实时采样一些特殊的负样本加以扩充目标模板数据,再利用新组织的模板基向量和独立同分布的高斯—拉普拉斯混合噪声来线性拟合候选目标外观模型,最后估计出候选样本和真实目标之间的最大似然度,从而使跟踪器能够准确捕捉每一时刻的真实目标状态信息。结果 在一些公认测试视频序列上的实验结果表明,本文算法在目标模板学习和候选样本外观模型表示等方面比同类方法更能准确有效地反映出视频场景中目标状态的各种复杂变化,能够较好地解决各种不确定干扰因素下的模型退化和跟踪漂移问题,和一些优秀的同类算法相比,可以达到相同甚至更高的跟踪精度。结论 本文算法能够在线学习较为精准的目标模板并定期更新,使得跟踪器良好地适应内在或外在因素(姿态、光照、遮挡、尺度、背景扰乱及运动模糊等)所引起的视觉信息变化,始终保持其最佳的状态,使得候选样本外观模型的表示更加可靠准确,从而展现出更为鲁棒的性能。     

基于分层极限学习机和局部稀疏模型的视觉跟踪算法*

目标跟踪过程中常遇到形变和部分遮挡问题.为了解决该问题,文中提出结合分层极限学习机和自适应结构化局部稀疏外貌模型的视觉跟踪算法.分层极限学习机具有提取鲁棒特征并快速分类的能力.自适应结构化局部稀疏外貌模型可以使跟踪结果更准确,也可以解决部分遮挡问题.在不同视频序列上的性能测试表明文中算法在保持较高跟踪精度的同时,跟踪过程也较稳定.     

Adaptive multi-cue tracking by online appearance learning

This paper proposes a multi-cue based appearance learning algorithm for object tracking. In each frame, the target object is represented by different cues in the image-as-matrix form. This representation can describe the target from different perspectives and can preserve the spatial correlation information inside the target region. Based on these cues, multiple appearance models are learned online by bilinear subspace analysis to account for the target appearance variations over time. Tracking is formulated within the Bayesian inference framework, in which the observation model is constructed by fusing all the learned appearance models. The combination of online appearance modeling and weight update of each appearance model can adapt our tracking algorithm to both the target and background changes. We test our algorithm on a variety of challenging sequences by tracking car, face, pedestrian, and so on. Experimental results and comparisons to several state-of-the-art methods show improved tracking performance.     

矩阵低秩表示的目标跟踪算法

目的 目标跟踪中,遮挡、强烈光照及运动模糊等干扰对跟踪精度的影响较大,其为目标外观的观测建模精度带来一定的困难。此外,很多现有算法在观测建模中都以向量形式表示样本数据,使得样本数据原有结构及其各像素的潜在关系被有意改变,从而导致观测模型数据维度及计算复杂度的提高。方法 本文通过深入研究跟踪框架的观测建模问题,提出一种新颖的基于矩阵低秩表示的观测建模方法及其相应的似然度测度函数,使得跟踪算法能够充分挖掘样本数据的潜在特征结构,从而更加精确探测目标在遮挡或强烈光照等各种复杂干扰下的外观变化。同时,以矩阵形式表述样本信号的数据格式,使得其视觉特征的空间分布保留完好,并有效降低数据维度和计算复杂度。结果 本文跟踪算法在富有挑战性干扰因素的跟踪环境中体现出更为鲁棒的跟踪性能,能够较好地解决跟踪中遮挡或强烈光照所引起的模型退化和漂移等问题。在10个经典测试视频中,本文跟踪算法的平均中心点误差为5.29像素,平均跟踪重叠率为78%,平均跟踪成功率为98.28%,均优于其他同类算法。结论 本文以2维矩阵数据原型为载体,提出了一种新的多任务观测建模框架和最大似然度估计模型。实验数据的定性与定量分析结果表明,本文算法与一些优秀的同类算法相比,其跟踪建模精度达到相同甚至更高的水平。     

多相关滤波自适应融合的鲁棒目标跟踪

目的 由于目标在复杂场景中可能会发生姿态变化、物体遮挡、背景干扰等情况,目标跟踪仍然是一个具有挑战性的课题。目前判别性相关滤波方法在目标跟踪问题上获得了成功而又广泛的应用。标准的相关滤波方法基于循环偏移得到大量训练样本,并利用快速傅里叶变换加速求解滤波器,使其具有很好的实时性和鲁棒性,但边界偏移带来的消极的训练样本降低了跟踪效果。空间正则化的相关滤波跟踪方法引入空间权重函数,增强目标区域的滤波器作用,在增大了目标搜索区域的同时,也增加了计算时间,而且对于目标形变不规则,背景相似的情景也会增强背景滤波器,从而导致跟踪失败。为此,基于以上问题,提出一种自适应融合多种相关滤波器的方法。方法 利用交替方向乘子法将无约束的相关滤波问题转化为有约束问题的两个子问题,在子问题中分别采用不同的相关滤波方法进行求解。首先用标准的相关滤波方法进行目标粗定位,进而用空间正则化的相关滤波跟踪方法进行再定位,实现了目标位置和滤波模板的微调,提高了跟踪效果。结果 本文算法和目前主流的一些跟踪方法在OTB-2015数据集中100个视频上,以中心坐标误差和目标框的重叠率为评判标准进行了对比实验,本文算法能较好地处理多尺度变化、姿态变化、背景干扰等问题,在CarScale、Freeman4、Girl等视频上都表现出了最好的跟踪结果;本文算法在100个视频上的平均中心坐标误差为28.55像素,平均目标框重叠率为61%,和使用人工特征的方法相比,均高于其他算法,与使用深度特征的相关滤波方法相比,平均中心坐标误差高了6像素,但平均目标框的重叠率高了4%。结论 大量的实验结果表明,在目标发生姿态变化、尺度变化等外观变化时,本文算法均具有较好的准确性和鲁棒性。     

联合模板先验概率和稀疏表示的目标跟踪

目的 虽然基于稀疏表示的目标跟踪方法表现出了良好的跟踪效果,但仍然无法彻底解决噪声、旋转、遮挡、运动模糊、光照和姿态变化等复杂背景下的目标跟踪问题。针对遮挡、旋转、姿态变化和运动模糊问题,提出一种在粒子滤波框架内,基于稀疏表示和先验概率相结合的目标跟踪方法。方法 通过先验概率衡量目标模板的重要性,并将其引入到正则化模型中,作为模板更新的主要依据,从而获得一种新的候选目标稀疏表示模型。结果 在多个测试视频序列上,与多种流行算法相比,该算法可以达到更好的跟踪性能。在5个经典测试视频下的平均中心误差为6.77像素,平均跟踪成功率为97%,均优于其他算法。结论 实验结果表明,在各种含有遮挡、旋转、姿态变化和运动模糊的视频中,该算法可以稳定可靠地跟踪目标,适用于视频监控复杂场景下的目标跟踪。     

Mean shift tracker combined with online learning-based detector and Kalman filtering for real-time tracking

Color-based visual object tracking is one of the most commonly used tracking methods. Among many tracking methods, the mean shift tracker is used most often because it is simple to implement and consumes less computational time. However, mean shift trackers exhibit several limitations when used for long-term tracking. In challenging conditions that include occlusions, pose variations, scale changes, and illumination changes, the mean shift tracker does not work well. In this paper, an improved tracking algorithm based on a mean shift tracker is proposed to overcome the weaknesses of existing methods based on mean shift tracker. The main contributions of this paper are to integrate mean shift tracker with an online learning-based detector and to newly define the Kalman filter-based validation region for reducing computational burden of the detector. We combine the mean shift tracker with the online learning-based detector, and integrate the Kalman filter to develop a novel tracking algorithm. The proposed algorithm can reinitialize the target when it converges to a local minima and it can cope with scale changes, occlusions and appearance changes by using the online learning-based detector. It updates the target model for the tracker in order to ensure long-term tracking. Moreover, the validation region obtained by using the Kalman filter and the Mahalanobis distance is used in order to operate detector in real-time. Through a comparison against various mean shift tracker-based methods and other state-of-the-art methods on eight challenging video sequences, we demonstrate that the proposed algorithm is efficient and superior in terms of accuracy and speed. Hence, it is expected that the proposed method can be applied to various applications which need to detect and track an object in real-time.     

一种基于压缩域的实时跟踪改进算法

在基于压缩域的实时跟踪算法中,判别函数对目标外观考虑不足易造成跟踪精度较低。为此,提出一种改进的基于压缩域的实时跟踪算法。利用稀疏测量矩阵提取候选目标的低维多尺度特征,并根据在线更新的特征概率分布,采用朴素贝叶斯分类器判别目标与背景,实现粗跟踪。通过视频帧间候选目标内部区域所具有的相似性,在粗跟踪的基础上实施基于动态目标外观模型的二次跟踪,在线寻找目标的最佳跟踪位置。对多种跟踪视频库的测试结果表明,该算法在不过量增加计算负荷的情况下能有效提高跟踪精度。     

张量核范数回归的目标跟踪

目的 视觉目标跟踪中,不同时刻的目标状态是利用在线学习的模板数据线性组合近似表示。由于跟踪中目标受到自身或场景中各种复杂干扰因素的影响,跟踪器的建模能力很大程度地依赖模板数据的概括性及其误差的估计精度。很多现有算法以向量形式表示样本信号,而改变其原始数据结构,使得样本数据各元素之间原有的自然关系受到严重破坏;此外,这种数据表述机制会提高数据的维度,而带来一定的计算复杂度和资源浪费。本文以多线性分析的角度更进一步深入研究视频跟踪中的数据表示及其建模机制,为其提供更加紧凑有效的解决方法。方法 本文跟踪框架中,候选样本及其重构信号以张量形式表示,从而保证其数据的原始结构。跟踪器输出候选样本外观状态时,以张量良好的多线性特性来组织跟踪系统的建模任务,利用张量核范数及L₁范数正则化其目标函数的相关成分,在多任务状态学习假设下充分挖掘各候选样本外观表示任务的独立性及相互依赖关系。结果 用结构化张量表示的数据原型及其多任务观测模型能够较为有效地解决跟踪系统的数据表示及计算复杂度难题。同时,为候选样本外观模型的多任务联合学习提供更加简便有效的解决途径。这样,当跟踪器遇到破坏性较强的噪声干扰时,其张量核范数约束的误差估计机制在多任务联合学习框架下更加充分挖掘目标全面信息,使其更好地适应内在或外在因素所引起的视觉信息变化。在一些公认测试视频上的实验结果表明,本文算法在候选样本外观模型表示方面表现出更为鲁棒的性能。因而和一些优秀的同类算法相比,本文算法在各测试序列中跟踪到的目标图像块平均中心位置误差和平均重叠率分别达到4.2和0.82,体现出更好的跟踪精度。结论 大量实验验证本文算法的张量核范数回归模型及其误差估计机制能够构造出目标每一时刻状态更接近的最佳样本信号,在多任务学习框架下严格探测每一个候选样本的真实状态信息,从而较好地解决模型退化和跟踪漂移问题。     

基于稀疏子空间选择的在线目标跟踪

本文在粒子滤波框架下提出一种基于稀疏子空间选择的两步在线跟踪方法.在跟踪的第一步,利用稀疏子空间选择算法筛选出与目标状态相似性较高的候选区域,并将目标与背景间的过渡区域定义为单独的类别以降低目标发生漂移的可能;第二步则通过构建有效的观测模型计算候选区域与目标状态间的相似性,其中相似性函数综合考虑二者在整体和局部特征上的相似性,且将目标的原始状态和当前状态都作为参考,因此增强了观测模型的可靠性;最后利用最大后验概率估计目标状态.此外,该算法通过对目标数据的更新来适应目标的表观变化.实验结果表明该算法能有效处理目标跟踪中的遮挡、运动模糊、光流与尺度变化等问题,与当前流行的9种跟踪方法在多个测试视频上的对比结果验证了该算法的有效性.     

一种基于加权时空上下文的鲁棒视觉跟踪算法

由于光照及外观变化、复杂背景、目标旋转与遮挡等因素的影响, 给实现鲁棒的视觉跟踪带来困难. 有效利用上下文(Context)中包含的有用信息有助于提升上述条件下视觉跟踪的鲁棒性. 时空上下文 (Spatio-temporal context, STC)算法是新近提出的一种基于时空上下文的目标跟踪算法, 它利用目标周围的稠密上下文信息, 取得了良好的跟踪效果. STC的不足是其同等对待整个上下文区域, 没有对上下文做进一步的区分, 减弱了上下文的作用. 本文采用动态分区处理思想, 根据上下文中不同区域与跟踪目标运动相似度大小, 赋予不同权值, 提出了基于加权时空上下文(Weighted spatio-temporal context, WSTC)的鲁棒视觉跟踪算法. 最后在公共数据集上进行的对比实验表明, 本文所提出的算法具有更好的跟踪效果和鲁棒性.     

在线多示例学习目标跟踪方法研究

多示例学习是不同于传统机器学习的一种新的学习模式,近年来被应用于图像检索、文本分类等领域。提出一种基于在线学习的多示例学习算法,将其应用于目标跟踪。该算法通过构造一个在线学习的多示例分类器作为检测器,无需制作大量的样本进行离线的训练,只需在第一帧手动选中目标,便可以自动生成正样本和负样本,并在随后的帧序列中,根据跟踪到的目标自动更新分类器,在跟踪器丢失目标或者目标从场景中消失后,它能够重新检测到目标并更新跟踪器,从而有效地支持了跟踪器跟踪目标。实验证明该方法在背景复杂,光线变化,摄像机抖动等复杂条件下,可以很好地跟踪到目标,且对遮挡具有较好的鲁棒性。     

Learning spatially regularized similarity for robust visual tracking

Matching visual appearances of the target object over consecutive frames is a critical step in visual tracking. The accuracy performance of a practical tracking system highly depends on the similarity metric used for visual matching. Recent attempts to integrate discriminative metric learned by sequential visual data (instead of a predefined metric) in visual tracking have demonstrated more robust and accurate results. However, a global similarity metric is often suboptimal for visual matching when the target object experiences large appearance variation or occlusion. To address this issue, we propose in this paper a spatially weighted similarity fusion (SWSF) method for robust visual tracking. In our SWSF, a part-based model is employed as the object representation, and the local similarity metric and spatially regularized weights are jointly learned in a coherent process, such that the total matching accuracy between visual target and candidates can be effectively enhanced. Empirically, we evaluate our proposed tracker on various challenging sequences against several state-of-the-art methods, and the results demonstrate that our method can achieve competitive or better tracking performance in various challenging tracking scenarios.     

带宽自适应的Mean-Shift跟踪算法研究

针对图像跟踪中目标的尺度和旋转变化,将Lindeberg的尺度理论与Mean-Shift算法结合起来,提出了一种带宽自适应Mean-Shift跟踪算法。该算法在Mean-Shift的框架下,将尺度和旋转量与平移量同等看待,通过求解核函数带宽,计算出目标的变化参数,最终精确定位目标。另外,引入SAD算法对目标进行先期粗略定位,克服了目标做无规律大位移运动时Mean-Shift算法跟踪效果不佳的问题,同时也降低了Mean-Shift算法的迭代收敛次数。大量实验仿真表明,该算法对目标的仿射变化、非刚性形态变化,以及无规律的大位移运动具有有效性和鲁棒性。     

加权局部特征结合判别式字典的目标跟踪

目的 当前大多数基于稀疏表示的跟踪方法只考虑全局特征或局部特征的最小重构误差,没有充分利用稀疏编码系数,或者忽略了字典判别性的作用,尤其当目标被相似物遮挡时,往往会导致跟踪目标丢失。针对上述问题,提出一种新的基于判别式字典和加权局部特征的稀疏外观模型(SPAM-DDWF)跟踪算法。方法 首先利用Fisher准则学习判别式字典,对提取的局部特征进行结构性分析来区分目标和背景,其次,提出一种新的基于加权的相似性度量方法来处理遮挡问题,从而提高跟踪的精确度。此外,基于重构系数的权重更新策略,使算法能更好地适应跟踪目标的外观变化,并降低了遮挡发生时跟踪漂移的概率。结果 在多个基准图像序列上,与多种流行方法对比,本文算法在光照变化、复杂背景、遮挡等场景中保持较高的跟踪成功率与较低的漂移误差。平均成功率和漂移误差分别为76.8%和3.7。结论 实验结果表明,本文算法具有较好的有效性和鲁棒性,尤其在目标被相似物遮挡的情况下,也能较准确地跟踪到目标。