Robust object tracking via multi-scale patch based sparse coding histogram

There are many visual tracking algorithms that are based on sparse representation appearance model. Most of them are modeled by local patches with fixed patch scale, which make trackers less effective when objects undergone appearance changes such as illumination variation, pose change or partial occlusion. To solve the problem, a novel appearance representation model is proposed via multi-scale patch based sparse coding histogram for robust visual tracking. In this paper, the appearance of an object is modeled by different scale patches, which are represented by sparse coding histogram with different scale dictionaries. Then a similarity measure is applied to the calculation of the distance between the sparse coding histograms of target candidate and target template. Finally, the similarity score of the target candidate is passed to a particle filter to estimate the target state sequentially in the tracking process. Additionally, in order to decrease the visual drift caused by partial occlusion, an occlusion handling strategy is adopted, which takes the spatial information of multi-scale patches and occlusion into account. Based on the experimental results on some benchmarks of video sequences, our tracker outperforms state-of-the-art tracking methods.     

基于稀疏表达的遮挡目标跟踪算法

针对视觉跟踪中的目标遮挡问题,提出一种基于稀疏表达的视觉跟踪算法。采用稀疏表达方法描述跟踪目标,构造基于Gabor特征的目标词典和遮挡词典,通过l1范数最优化求解稀疏表达系数。在粒子滤波框架下跟踪目标,根据稀疏表达系数判断遮挡,并利用重构残差更新遮挡情况下的粒子权重。在目标模板更新时,通过引入可靠性评价来抑制模板漂移。实验结果表明,该算法能够有效地跟踪处于遮挡状态下的运动目标,并对目标姿态变化以及光照变化具有较好的鲁棒性。     

基于子区域匹配的稀疏表示跟踪算法

经典稀疏表示目标跟踪算法在处理复杂视频时不免出现跟踪不稳定情况且当目标发生遮挡时易发生漂移现象。针对这一问题,提出一种基于子区域匹配的稀疏表示跟踪算法。首先,将初始目标模板划分为若干子区域,利用LK图像配准算法建立观测模型预测下一帧目标运动状态。然后,对预测的目标模型区域进行同等划分,并在匹配过程中寻找最优子区域。最后,在模板更新过程中引入一种新的模板校正机制,能够有效克服漂移现象。将该算法与多种目标跟踪算法在不同视频序列下进行对比,实验结果表明在目标发生遮挡、运动、光照影响及复杂背景等情况下该算法具有较为理想的跟踪效果,并与经典稀疏表示跟踪算法相比具有较好的跟踪性能。     

Robust visual tracking via discriminative appearance model based on sparse coding

In this paper, we formulate visual tracking as a binary classification problem using a discriminative appearance model. To enhance the discriminative strength of the classifier in separating the object from the background, an over-complete dictionary containing structure information of both object and background is constructed which is used to encode the local patches inside the object region with sparsity constraint. These local sparse codes are then aggregated for object representation, and a classifier is learned to discriminate the target from the background. The candidate sample with largest classification score is considered as the tracking result. Different from recent sparsity-based tracking approaches that update the dictionary using a holistic template, we introduce a selective update strategy based on local image patches which alleviates the visual drift problem, especially when severe occlusion occurs. Experiments on challenging video sequences demonstrate that the proposed tracking algorithm performs favorably against several state-of-the-art methods.     

基于重要性加权的结构稀疏跟踪方法

针对视觉跟踪中描述目标能力的有限性和局部稀疏表示模型的有效性,提出了一种基于重要性加权的结构稀疏跟踪方法.该方法采用结构稀疏表示对目标表观建模,根据在表达目标表观时所起的作用,对每个局部图像进行加权处理;在粒子滤波框架下,应用最大后验概率对目标的状态进行估计;通过带有遮挡检测机制的模板更新策略对目标模板进行在线的更新以避免跟踪漂移.实验表明,该方法有效地减弱了目标表观变化对模型的影响,对于视频序列中的遮挡、光照变化和目标姿态改变等有稳健的跟踪效果.     

利用增广拉格朗日乘子的鲁棒跟踪算子

针对视频目标鲁棒跟踪问题,提出了一种基于稀疏表示的生成式算法。首先提取特征构建目标和背景模板,并利用随机抽样获得足够多的候选目标状态;然后利用多任务反向稀疏表示算法得到稀疏系数矢量构造相似度测量图,这里引入了增广拉格朗日乘子(ALM)算法解决L₁-min难题;最后从相似度图中使用加性池运算提取判别信息选择与目标模板相似度最高并与背景模板相似度最小的候选目标状态作为跟踪结果,该算法是在贝叶斯滤波框架下实现的。为了适应跟踪过程中目标外观由于光照变化、遮挡、复杂背景以及运动模糊等场景引起的变化,制定了简单却有效的更新机制,对目标和背景模板进行更新。对仿真结果的定性和定量评估均表明与其他跟踪算法相比,所提算法的跟踪准确性和稳定性有了一定的提高,能有效地解决光照和尺度变化、遮挡、复杂背景等场景的跟踪难题。     

Multi-scale patch-based sparse appearance model for robust object tracking

When objects undergo large pose change, illumination variation or partial occlusion, most existing visual tracking algorithms tend to drift away from targets and even fail to track them. To address the issue, in this paper we propose a multi-scale patch-based appearance model with sparse representation and provide an efficient scheme involving the collaboration between multi-scale patches encoded by sparse coefficients. The key idea of our method is to model the appearance of an object by different scale patches, which are represented by sparse coefficients with different scale dictionaries. The model exploits both partial and spatial information of targets based on multi-scale patches. Afterwards, a similarity score of one candidate target is input into a particle filter framework to estimate the target state sequentially over time in visual tracking. Additionally, to decrease the visual drift caused by frequently updating model, we present a novel two-step object tracking method which exploits both the ground truth information of the target labeled in the first frame and the target obtained online with the multi-scale patch information. Experiments on some publicly available benchmarks of video sequences showed that the similarity involving complementary information can locate targets more accurately and the proposed tracker is more robust and effective than others.     

变分调整约束下的反向低秩稀疏学习目标跟踪

目的 低秩稀疏学习目标跟踪算法在目标快速运动和严重遮挡等情况下容易出现跟踪漂移现象,为此提出一种变分调整约束下的反向低秩稀疏学习目标跟踪算法。方法 采用核范数凸近似低秩约束描述候选粒子间的时域相关性,去除不相关粒子,适应目标外观变化。通过反向稀疏表示描述目标表观,用候选粒子稀疏表示目标模板,减少在线跟踪中L₁优化问题的数目,提高跟踪效率。在有界变差空间利用变分调整对稀疏系数差分建模,约束目标表观在相邻帧间具有较小变化,但允许连续帧间差异存在跳跃不连续性,以适应目标快速运动。结果 实验利用OTB（object tracking benchmark）数据集中的4组涵盖了严重遮挡、快速运动、光照和尺度变化等挑战因素的标准视频序列进行测试,定性和定量对比了本文算法与5种热点算法的跟踪效果。定性分析基于视频序列的主要挑战因素进行比较,定量分析通过中心点位置误差（central pixel error,CPE）比较跟踪算法的精度。与CNT（convolutional networks training）、SCM（sparse collaborative model）、IST（inverse sparse tracker）、DDL（discriminative dictionary learning）和LLR（locally low-rank representation）算法相比,平均CPE值分别提高了2.80、4.16、13.37、35.94和41.59。实验结果表明,本文算法达到了较高的跟踪精度,对上述挑战因素更具鲁棒性。结论 本文提出的跟踪算法,综合了低秩稀疏学习和变分优化调整的优势,在复杂场景下具有较高的跟踪精度,特别是对严重遮挡和快速运动情况的有效跟踪更具鲁棒性。     

联合模板先验概率和稀疏表示的目标跟踪

目的 虽然基于稀疏表示的目标跟踪方法表现出了良好的跟踪效果,但仍然无法彻底解决噪声、旋转、遮挡、运动模糊、光照和姿态变化等复杂背景下的目标跟踪问题。针对遮挡、旋转、姿态变化和运动模糊问题,提出一种在粒子滤波框架内,基于稀疏表示和先验概率相结合的目标跟踪方法。方法 通过先验概率衡量目标模板的重要性,并将其引入到正则化模型中,作为模板更新的主要依据,从而获得一种新的候选目标稀疏表示模型。结果 在多个测试视频序列上,与多种流行算法相比,该算法可以达到更好的跟踪性能。在5个经典测试视频下的平均中心误差为6.77像素,平均跟踪成功率为97%,均优于其他算法。结论 实验结果表明,在各种含有遮挡、旋转、姿态变化和运动模糊的视频中,该算法可以稳定可靠地跟踪目标,适用于视频监控复杂场景下的目标跟踪。     

局部模板更新逆向联合稀疏表示目标跟踪算法

逆向联合稀疏表示算法可充分利用跟踪过程中的时间相似性和空间连续性,但由于遮挡、光照变化等的影响,易出现跟踪漂移.为解决上述问题,提出一种基于局部模板更新逆向联合稀疏表示目标跟踪算法,其通过逆向局部重构目标模板集完成逆向联合稀疏表示.首先,在首帧初始化目标模板集,利用粒子滤波获取候选图像,并对其分块处理,构建逆向联合稀疏...     

改进稀疏表示模型的目标跟踪

针对受到光照、遮挡及姿态变化等引起的目标外观发生变化时,目标跟踪的鲁棒性和准确性较差的问题,将稀疏表示引入到粒子滤波框架进行目标跟踪,提出一种稀疏协同模型。首先,在目标运动定位模型中,使用灰度强度值表示目标对象;其次,判别模型通过训练正负模板集获得最优分类特征,并在生成模型中对目标直方图加权以提高目标生成效率;然后,将分类判别模型和生成模型集成在协同模型中,利用重构误差确定目标;最后,通过各模块独立更新,减少目标外观变化对目标跟踪的影响。实验结果表明,所提方法的平均中心误差仅为7.5像素,且具备良好的抗噪性和实时性。     

基于联合模板稀疏表示的目标跟踪方法

针对传统基于稀疏表示的目标跟踪方法中, 当场景中含有与目标相似的背景时容易出现跟踪漂移的问题, 提出一种新的目标跟踪方法. 该方法基于目标的局部二元模式特征, 将目标外观模型同时用原始目标模板与当前帧部分粒子构成的联合模板稀疏表示, 构建一个联合目标函数, 将跟踪问题通过迭代转化为求解最优化问题. 实验结果表明, 所提出跟踪方法在解决遮挡、光照等问题的同时, 对场景中含有与目标相似背景的序列具有较好的跟踪效果.

     

Robust object tracking with RGBD-based sparse learning

Robust object tracking has been an important and challenging research area in the field of computer vision for decades. With the increasing popularity of affordable depth sensors, range data is widely used in visual tracking for its ability to provide robustness to varying illumination and occlusions. In this paper, a novel RGBD and sparse learning based tracker is proposed. The range data is integrated into the sparse learning framework in three respects. First, an extra depth view is added to the color image based visual features as an independent view for robust appearance modeling. Then, a special occlusion template set is designed to replenish the existing dictionary for handling various occlusion conditions. Finally, a depth-based occlusion detection method is proposed to efficiently determine an accurate time for the template update. Extensive experiments on both KITTI and Princeton data sets demonstrate that the proposed tracker outperforms the state-of-the-art tracking algorithms, including both sparse learning and RGBD based methods.     

基于L2范数最小化的实时目标跟踪

在贝叶斯推理框架下,基于稀疏表示的跟踪算法能够较好地处理目标在视频场景中的各种复杂的外观变化,取得较为鲁棒的跟踪效果,但算法的计算复杂度很高,很难满足实时性要求。针对稀疏跟踪算法的这一问题,提出了一种基于l2范数最小化的实时目标跟踪算法。将PCA子空间目标表示与l2范数最小化进行结合,去除稀疏跟踪算法中常用的琐碎模板集,建立了基于l2范数最小化的目标表示模型以及将遮挡等因素考虑在内的观测似然度函数。在大量的实验测试集上的对比实验结果显示,该算法和多个非常优秀的跟踪算法相比,可以达到相同甚至更高的跟踪精度,而且在多个测试集上可以达到每秒20帧的速度。该算法可以很好地应对视频监控场景中遮挡、光线突变、尺度变化和非刚性形变等干扰,同时算法复杂度低,满足了实时要求。     

在线复合模板模型表示的视觉目标跟踪

目的 视觉目标跟踪中,目标往往受到自身或场景中各种复杂干扰因素的影响,这对正确捕捉所感兴趣的目标信息带来极大的挑战。特别是,跟踪器所用的模板数据主要是在线学习获得,数据的可靠性直接影响到候选样本外观模型表示的精度。针对视觉目标跟踪中目标模板学习和候选样本外观模型表示等问题,采用一种较为有效的模板组织策略以及更为精确的模型表示技术,提出一种新颖的视觉目标跟踪算法。方法 跟踪框架中,将候选样本外观模型表示假设为由一组复合模板和最小重构误差组成的线性回归问题,首先利用经典的增量主成分分析法从在线高维数据中学习出一组低维子空间基向量(模板正样本),并根据前一时刻跟踪结果在线实时采样一些特殊的负样本加以扩充目标模板数据,再利用新组织的模板基向量和独立同分布的高斯—拉普拉斯混合噪声来线性拟合候选目标外观模型,最后估计出候选样本和真实目标之间的最大似然度,从而使跟踪器能够准确捕捉每一时刻的真实目标状态信息。结果 在一些公认测试视频序列上的实验结果表明,本文算法在目标模板学习和候选样本外观模型表示等方面比同类方法更能准确有效地反映出视频场景中目标状态的各种复杂变化,能够较好地解决各种不确定干扰因素下的模型退化和跟踪漂移问题,和一些优秀的同类算法相比,可以达到相同甚至更高的跟踪精度。结论 本文算法能够在线学习较为精准的目标模板并定期更新,使得跟踪器良好地适应内在或外在因素(姿态、光照、遮挡、尺度、背景扰乱及运动模糊等)所引起的视觉信息变化,始终保持其最佳的状态,使得候选样本外观模型的表示更加可靠准确,从而展现出更为鲁棒的性能。     

基于多任务混合噪声分布模型表示的视频跟踪

视觉跟踪中,目标信息是不确定的非线性变化过程。随时间和空间而变化的复杂动态数据中学习出较为精确的目标模板并用它来线性表示候选样本外观模型,从而使跟踪器较好地适应跟踪作业中内在或外在因素所引起的目标外观变化是视觉目标跟踪研究的重点。提出一种新颖的多任务混合噪声分布模型表示的视频跟踪算法,将候选样本外观模型假设为由一组目标模板和最小重构误差组成的多任务线性回归问题。利用经典的增量主成分分析法从高维数据中学习出一组低维子空间基向量（模板正样本）,并在线实时采样一些特殊的负样本加以扩充目标模板,再利用扩充后的新模板和独立同分布的高斯-拉普拉斯混合噪声来线性拟合当前时刻的候选目标外观模型,最后计算候选样本和真实目标之间的最大似然度,从而准确捕捉当前时刻的真实目标。在一些公认测试视频上的实验结果表明,该算法将能够在线学习较为精准的目标模板并定期更新目标在不同状态时的特殊信息,使得跟踪器始终保持最佳的状态,从而良好地适应不断发生变化的视觉信息（姿态、光照、遮挡、尺度、背景扰乱及运动模糊等）,表现出更好的鲁棒性能。     

基于全局与局部结构反稀疏外观模型的目标跟踪算法*

为了提高稀疏表示跟踪模型性能,提出基于全局与局部结构反稀疏外观模型的目标跟踪算法(GLIS).首先采用反稀疏表达方式一次求解优化问题,计算所有粒子权重以提升算法实时性.然后,提出基于联合判别相似度图(JDS map)排名机制以提升算法鲁棒性,将候选目标分块并分别计算加权稀疏解,联结不同权重的局部块为整体并计算其稀疏解.最后采用联合机制将2种稀疏解合并为JDS map.在跟踪过程中,采用双重模板更新机制更新目标模板及权重模板.实验表明,在复杂环境下,文中算法仍然可以准确跟踪目标.     

矩阵低秩表示的目标跟踪算法

目的 目标跟踪中,遮挡、强烈光照及运动模糊等干扰对跟踪精度的影响较大,其为目标外观的观测建模精度带来一定的困难。此外,很多现有算法在观测建模中都以向量形式表示样本数据,使得样本数据原有结构及其各像素的潜在关系被有意改变,从而导致观测模型数据维度及计算复杂度的提高。方法 本文通过深入研究跟踪框架的观测建模问题,提出一种新颖的基于矩阵低秩表示的观测建模方法及其相应的似然度测度函数,使得跟踪算法能够充分挖掘样本数据的潜在特征结构,从而更加精确探测目标在遮挡或强烈光照等各种复杂干扰下的外观变化。同时,以矩阵形式表述样本信号的数据格式,使得其视觉特征的空间分布保留完好,并有效降低数据维度和计算复杂度。结果 本文跟踪算法在富有挑战性干扰因素的跟踪环境中体现出更为鲁棒的跟踪性能,能够较好地解决跟踪中遮挡或强烈光照所引起的模型退化和漂移等问题。在10个经典测试视频中,本文跟踪算法的平均中心点误差为5.29像素,平均跟踪重叠率为78%,平均跟踪成功率为98.28%,均优于其他同类算法。结论 本文以2维矩阵数据原型为载体,提出了一种新的多任务观测建模框架和最大似然度估计模型。实验数据的定性与定量分析结果表明,本文算法与一些优秀的同类算法相比,其跟踪建模精度达到相同甚至更高的水平。     

Robust visual tracking and vehicle classification via sparse representation

In this paper, we propose a robust visual tracking method by casting tracking as a sparse approximation problem in a particle filter framework. In this framework, occlusion, noise, and other challenging issues are addressed seamlessly through a set of trivial templates. Specifically, to find the tracking target in a new frame, each target candidate is sparsely represented in the space spanned by target templates and trivial templates. The sparsity is achieved by solving an l1-regularized least-squares problem. Then, the candidate with the smallest projection error is taken as the tracking target. After that, tracking is continued using a Bayesian state inference framework. Two strategies are used to further improve the tracking performance. First, target templates are dynamically updated to capture appearance changes. Second, nonnegativity constraints are enforced to filter out clutter which negatively resembles tracking targets. We test the proposed approach on numerous sequences involving different types of challenges, including occlusion and variations in illumination, scale, and pose. The proposed approach demonstrates excellent performance in comparison with previously proposed trackers. We also extend the method for simultaneous tracking and recognition by introducing a static template set which stores target images from different classes. The recognition result at each frame is propagated to produce the final result for the whole video. The approach is validated on a vehicle tracking and classification task using outdoor infrared video sequences.     

具有动态弹性稀疏表示的鲁棒目标跟踪算法

目标跟踪问题中目标所在环境的变化对跟踪效果有较大影响.鉴于此,提出一种基于弹性网结构的稀疏表示模型,并在粒子滤波框架下设计一种应用稀疏表示模型的抗干扰动态弹性网目标跟踪算法.同时,设计一种根据环境变化程度动态更新稀疏表示模型参数的方法,以克服光照变化等干扰对算法跟踪质量的影响.此外,所提出算法通过使用各向异性核函数计算各候选区域为跟踪目标所在位置的概率,能够提高跟踪算法的准确性,并改进字典模板更新方法,确保模板更新的准确性与及时性,保证跟踪质量.经实验验证,所提出的动态弹性网跟踪算法与其他跟踪算法相比,在光照等扰动下具有更好的跟踪效果,在遮挡及快速运动等情况下也能够有效保证跟踪精度.