Robust object tracking via multi-scale patch based sparse coding histogram

There are many visual tracking algorithms that are based on sparse representation appearance model. Most of them are modeled by local patches with fixed patch scale, which make trackers less effective when objects undergone appearance changes such as illumination variation, pose change or partial occlusion. To solve the problem, a novel appearance representation model is proposed via multi-scale patch based sparse coding histogram for robust visual tracking. In this paper, the appearance of an object is modeled by different scale patches, which are represented by sparse coding histogram with different scale dictionaries. Then a similarity measure is applied to the calculation of the distance between the sparse coding histograms of target candidate and target template. Finally, the similarity score of the target candidate is passed to a particle filter to estimate the target state sequentially in the tracking process. Additionally, in order to decrease the visual drift caused by partial occlusion, an occlusion handling strategy is adopted, which takes the spatial information of multi-scale patches and occlusion into account. Based on the experimental results on some benchmarks of video sequences, our tracker outperforms state-of-the-art tracking methods.     

协同结构稀疏重构的判别性视觉跟踪

基于稀疏表示的表观似然模型在目标跟踪领域具有广泛的应用,但是这种单一产生式目标表观模型并未考虑完整的判别性结构信息,容易受复杂背景的干扰。为了缓解由该问题造成的目标跟踪漂移,提出了一种目标表观字典和背景字典协同结构稀疏重构优化的视觉跟踪方法。通过构建一个有判别力的基于稀疏表示的表观似然模型,实现了对目标表观模型更为准确的描述。通过合理选择约束候选目标区域和候选背景区域的稀疏系数,在表观似然模型中引入判别式信息,以进一步揭示候选目标区域的潜在相关性和候选背景区域的结构关系,从而更加准确地学习候选目标区域的表观模型。大量有挑战性的视频序列上的实验结果验证了算法在复杂背景下跟踪的鲁棒性,与其他相关算法的对比实验也体现了该算法的优越性。     

Robust visual tracking via discriminative appearance model based on sparse coding

In this paper, we formulate visual tracking as a binary classification problem using a discriminative appearance model. To enhance the discriminative strength of the classifier in separating the object from the background, an over-complete dictionary containing structure information of both object and background is constructed which is used to encode the local patches inside the object region with sparsity constraint. These local sparse codes are then aggregated for object representation, and a classifier is learned to discriminate the target from the background. The candidate sample with largest classification score is considered as the tracking result. Different from recent sparsity-based tracking approaches that update the dictionary using a holistic template, we introduce a selective update strategy based on local image patches which alleviates the visual drift problem, especially when severe occlusion occurs. Experiments on challenging video sequences demonstrate that the proposed tracking algorithm performs favorably against several state-of-the-art methods.     

基于特征选择与时间一致性稀疏外观模型的目标追踪算法

为了更有效利用追踪目标的判别特征信息,提高目标追踪的精度和鲁棒性,在粒子滤波追踪框架下提出基于特征选择与时间一致性稀疏外观模型的目标追踪算法.首先,采集目标的正负模板和候选目标,根据特征选择模型对正负模板和候选目标进行特征选择,去除多余的干扰信息,得到关键的特征信息.然后,利用正负模板和候选目标的特征建立多任务稀疏表示模型,引入时间一致性正则项,促进更多的候选目标与先前帧的追踪结果具有稀疏表示的相似性.最后,求解多任务稀疏表示模型,得到判别稀疏相似图,获取每个候选目标的判别分,根据目标追踪结果更新正负模板.实验表明,即使在复杂的环境下,文中算法仍然比其它一些追踪算法具有更高的准确性.     

正例投票下的L1目标跟踪算法

目的 传统的L1稀疏表示目标跟踪,是将所有候选目标表示为字典模板的线性组合,只考虑了字典模板的整体信息,没有分析目标的局部结构。针对该方法在背景杂乱时容易出现跟踪漂移的问题,提出一种基于正例投票的目标跟踪算法。方法 本文将目标表示成图像块粒子的组合,考虑目标的局部结构。在粒子滤波框架内,构建图像块粒子置信函数和相似性函数,提取正例图像块。最终通过正例权重投票估计跟踪目标的最佳位置。结果 在14组公测视频序列上进行跟踪实验,与多种优秀的目标跟踪算法相比,本文跟踪算法在目标受到背景杂乱、遮挡、光照变化等复杂环境干扰下最为稳定,重叠率达到了0.7,且取得了最低的平均跟踪误差5.90,反映了本文算法的可靠性和有效性。结论 本文正例投票下的L1目标跟踪算法,与经典方法相比,能够解决遮挡、光照变化和快速运动等问题的同时,稳定可靠地实现背景杂乱序列的鲁棒跟踪。     

一种基于压缩域的实时跟踪改进算法

在基于压缩域的实时跟踪算法中,判别函数对目标外观考虑不足易造成跟踪精度较低。为此,提出一种改进的基于压缩域的实时跟踪算法。利用稀疏测量矩阵提取候选目标的低维多尺度特征,并根据在线更新的特征概率分布,采用朴素贝叶斯分类器判别目标与背景,实现粗跟踪。通过视频帧间候选目标内部区域所具有的相似性,在粗跟踪的基础上实施基于动态目标外观模型的二次跟踪,在线寻找目标的最佳跟踪位置。对多种跟踪视频库的测试结果表明,该算法在不过量增加计算负荷的情况下能有效提高跟踪精度。     

基于稀疏表达的多示例学习目标追踪算法

追踪目标在经历较大姿势变化时,会导致追踪目标偏移甚至丢失。为此,提出一种基于稀疏表达的多示例学习目标追踪算法。联合多示例学习与稀疏表达方法,将目标物体的局部稀疏编码作为多示例学习的训练数据,通过学习正负样本的局部稀疏编码获得一个多示例学习的分类器,分类的结果与粒子滤波框架相结合,估计目标在整个视频序列中的运动状态。实验结果表明,该算法稳定性较好,与增量学习追踪算法、范式学习追踪算法和多示例学习追踪算法相比,其中心位置误差率减少30%以上。     

A fuzzy inference approach to template-based visual tracking

The tracking of visual features using appearance models is a well studied but still open area of computer vision. In the absence of knowledge about the structural constraints of the tracked object, the validity of the model can be compromised if only appearance information is used. We propose a fuzzy inference scheme that can be used to selectively update a given template-based model in tracking tasks. This allows us to track moving objects under translation, rotation, and scale changes with minimal feature drift. Moreover, no rigidity constraint needs to be enforced on the moving target. Some experiments have been performed using several targets, and the results are very close to the ground truth paths. The computational cost of our approach is low enough to allow its application in real-time tracking using modest hardware requirements.     

判别稀疏表示鲁棒快速视觉跟踪

目的 L1跟踪对局部遮挡具有良好的鲁棒性,但存在易产生模型漂移和计算速度慢的问题。针对这两个问题,该文提出了一种基于判别稀疏表示的视觉跟踪方法。方法 考虑到背景和遮挡信息的干扰,提出了一种判别稀疏表示模型,并基于块坐标优化原理,采用学习迭代收缩阈值算法和软阈值操作设计出了表示模型的快速求解算法。结果 在8组图像序列中,该文方法与现有的4种经典跟踪方法分别在鲁棒性和稀疏表示的计算时间方面进行了比较。在鲁棒性的定性和定量比较实验中,该文方法不仅表现出了对跟踪过程中的多种干扰因素具有良好的适应能力,而且在位置误差阈值从0~50像素的变化过程中,其精度曲线均优于实验中的其他方法;在稀疏表示的计算时间方面,在采用大小为16×16和32×32的模板进行跟踪时,该文算法的时间消耗分别为0.152 s和0.257 s,其时效性明显优于实验中的其他方法。结论 与经典的跟踪方法相比,该文方法能够在克服遮挡、背景干扰和外观改变等诸多不良因素的同时,实现快速目标跟踪。由于该文方法不仅具有较优的稀疏表示计算速度,而且能够克服多种影响跟踪鲁棒性的干扰因素,因此可以将其应用于视频监控和体育竞技等实际场合。     

基于多尺度非局部约束的单幅图像超分辨率算法

多尺度结构自相似性是指图像中的大量物体具有相同尺度以及不同尺度相似结构的性质.本文提出了一种基于多尺度非局部约束的单幅图像超分辨率算法,结合多尺度非局部方法和多尺度字典学习方法将蕴含在图像多尺度自相似结构中的附加信息加入到重建图像中.多尺度非局部方法在图像金字塔的不同层中搜索相似图像块,并利用多尺度相似图像块间的关系建立非局部约束项,通过正则化约束获取多尺度自相似结构中的附加信息;多尺度字典学习方法将图像金字塔作为字典学习的样本,通过字典学习使样本中的多尺度相似图像块 在字典下具有稀疏表示形式,从而获取多尺度自相似结构中的附加信息.实验表明, 与ScSR、SISR、NLIBP、CSSS、ASDSAR和mSSIM等算法相比,本文的算法取得了更好的超分辨率重建效果.     

基于多尺度建议框的目标跟踪误差修正方法

随着深度学习技术引入视觉目标跟踪领域,目标跟踪算法的精度和鲁棒性有了很大的提高。但在低空无人机跟踪目标的实际场景中,情况比较复杂,如相机的抖动、大量的遮挡、视角和焦距的改变等,使得跟踪算法的准确性受到极大挑战。目前的算法大多建立在目标外观变化缓慢的前提假设下,在跟踪的过程中不具备检测和修复漂移（跟踪误差）的能力。针对该问题,提出了一种基于多尺度建议框的目标跟踪误差修正方法。离线阶段,利用大量的已标注的目标样本训练基于多尺度建议框的目标跟踪修正模型,获取不同类别目标的先验知识。在线阶段在核相关滤波跟踪的基础上,依据相关响应置信度自适应评价的结果,通过目标跟踪修正模型不定期重新初始化目标的位置,避免了因为误差累积而导致跟踪失败。算法在无人机航拍数据集上进行了测试,结果表明,该跟踪算法在目标发生较大形变的情况下能较好的修正跟踪漂移问题。相比于其他几种算法,目标跟踪的成功率和精度分别提高了14.3%和3.1%。     

变分调整约束下的反向低秩稀疏学习目标跟踪

目的 低秩稀疏学习目标跟踪算法在目标快速运动和严重遮挡等情况下容易出现跟踪漂移现象,为此提出一种变分调整约束下的反向低秩稀疏学习目标跟踪算法。方法 采用核范数凸近似低秩约束描述候选粒子间的时域相关性,去除不相关粒子,适应目标外观变化。通过反向稀疏表示描述目标表观,用候选粒子稀疏表示目标模板,减少在线跟踪中L₁优化问题的数目,提高跟踪效率。在有界变差空间利用变分调整对稀疏系数差分建模,约束目标表观在相邻帧间具有较小变化,但允许连续帧间差异存在跳跃不连续性,以适应目标快速运动。结果 实验利用OTB（object tracking benchmark）数据集中的4组涵盖了严重遮挡、快速运动、光照和尺度变化等挑战因素的标准视频序列进行测试,定性和定量对比了本文算法与5种热点算法的跟踪效果。定性分析基于视频序列的主要挑战因素进行比较,定量分析通过中心点位置误差（central pixel error,CPE）比较跟踪算法的精度。与CNT（convolutional networks training）、SCM（sparse collaborative model）、IST（inverse sparse tracker）、DDL（discriminative dictionary learning）和LLR（locally low-rank representation）算法相比,平均CPE值分别提高了2.80、4.16、13.37、35.94和41.59。实验结果表明,本文算法达到了较高的跟踪精度,对上述挑战因素更具鲁棒性。结论 本文提出的跟踪算法,综合了低秩稀疏学习和变分优化调整的优势,在复杂场景下具有较高的跟踪精度,特别是对严重遮挡和快速运动情况的有效跟踪更具鲁棒性。     

基于超像素和判别稀疏的运动目标跟踪算法

针对目标遮挡、非刚性变换、光照变换等因素干扰产生的漂移问题,提出基于超像素和判别稀疏的运动目标跟踪算法。算法首先利用SLIC方法对运动目标的观测区域进行超像素分割,然后通过K-Means算法构建包含目标和背景的超像素字典,再基于判别稀疏表示和[?1]范数最小化框架求解候选目标的稀疏系数,同时结合粒子滤波框架和在线字典更新策略完成目标跟踪。实验结果表明,该算法在多种因素干扰的环境中具有较强的鲁棒性,能够准确稳定地进行在线目标跟踪。     

基于低秩投影中稀疏误差矩阵分析的视觉跟踪

单目标跟踪是计算机视觉的重要组成部分,其鲁棒性一直受到目标遮挡、光照变化、目标尺度变化等因素的制约。针对这个问题,提出了基于低秩投影中稀疏误差矩阵分析的视觉跟踪算法。为了克服模板漂移对跟踪的影响,采用目标模板和候选目标的相似性关系动态选择目标模板的更新方式。在粒子滤波的框架下,利用鲁棒主成分分析和低秩投影原理求得候选目标的稀疏误差矩阵,根据稀疏误差矩阵的边缘信息和平滑度信息实现对下一帧目标的观测似然估计。在多个视频序列上的实验表明,算法具有较好的鲁棒性。     

Object tracking via appearance modeling and sparse representation

This paper proposes a robust tracking method by the combination of appearance modeling and sparse representation. In this method, the appearance of an object is modeled by multiple linear subspaces. Then within the sparse representation framework, we construct a similarity measure to evaluate the distance between a target candidate and the learned appearance model. Finally, tracking is achieved by Bayesian inference, in which a particle filter is used to estimate the target state sequentially over time. With the tracking result, the learned appearance model will be updated adaptively. The combination of appearance modeling and sparse representation makes our tracking algorithm robust to most of possible target variations due to illumination changes, pose changes, deformations and occlusions. Theoretic analysis and experiments compared with state-of-the-art methods demonstrate the effectivity of the proposed algorithm.     

遮挡判别下的多尺度相关滤波跟踪算法

目的 复杂环境下,运动目标在跟踪过程中受尺度变换以及遮挡因素的影响,跟踪准确率较低。针对这一问题,提出一种遮挡判别下的多尺度相关滤波跟踪方法。方法 首先选取第1帧图像的前景区域,训练目标的位置、尺度滤波器和GMS（grid-based motion statistics）检测器。然后,通过位置滤波器估计目标位置,尺度滤波器计算目标尺度,得到初选目标区域。最后,利用相关滤波响应情况对初选目标区域进行评估,通过相关滤波响应值的峰值和峰值波动情况判断是否满足遮挡和更新条件。若遮挡,启动检测器检测目标位置,检测到目标位置后,更新目标模型;若更新,则更新位置、尺度滤波器和GMS检测器,完成跟踪。结果 本文使用多尺度相关滤波方法作为算法的基本框架,对尺度变化目标跟踪具有较好的适应性。同时,利用目标模型更新机制和GMS检测器检索目标,有效地解决了遮挡情况下的目标丢失问题。在公开数据集上的测试结果表明,本文算法平均中心误差为5.58,平均跟踪准确率为94.2%,跟踪速度平均可达27.5 帧/s,与当前先进的跟踪算法相比,本文算法兼顾了跟踪速度和准确率,表现出更好的跟踪效果。结论 本文提出一种新的遮挡判别下的多尺度相关滤波跟踪算法。实验结果表明,本文算法在不同的尺度变换及遮挡条件下能够快速准确跟踪目标,具有较好的跟踪准确率和鲁棒性。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

基于重要性加权的结构稀疏跟踪方法

针对视觉跟踪中描述目标能力的有限性和局部稀疏表示模型的有效性,提出了一种基于重要性加权的结构稀疏跟踪方法.该方法采用结构稀疏表示对目标表观建模,根据在表达目标表观时所起的作用,对每个局部图像进行加权处理;在粒子滤波框架下,应用最大后验概率对目标的状态进行估计;通过带有遮挡检测机制的模板更新策略对目标模板进行在线的更新以避免跟踪漂移.实验表明,该方法有效地减弱了目标表观变化对模型的影响,对于视频序列中的遮挡、光照变化和目标姿态改变等有稳健的跟踪效果.     

Visual tracking based on hierarchical framework and sparse representation

As the main challenge for object tracking is to account for drastic appearance change, a hierarchical framework that exploits the strength of both generative and discriminative models is devised in this paper. Our hierarchical framework consists of three appearance models: local-histogram-based model, weighted alignment pooling model, and sparsity-based discriminative model. Sparse representation is adopted in local-histogram-based model layer that considers the spatial information among local patches with a dual-threshold update schema to deal with occlusion. The weighted alignment pooling layer is introduced to weight the local image patches of the candidates after sparse representation. Different from the above two generative methods, the global discriminant model layer employs candidates to sparsely represent positive and negative templates. After that, an effective hierarchical fusion strategy is developed to fuse the three models via their similarities and the confidence. In addition, three reasonable online dictionary and template update strategies are proposed. Finally, experiments on various current popular image sequences demonstrate that our proposed tracker performs favorably against several state-of-the-art algorithms.     

Robust visual tracking using information theoretical learning

This paper presents a novel online object tracking algorithm with sparse representation for learning effective appearance models under a particle filtering framework. Compared with the state-of-the-art ? ₁ sparse tracker, which simply assumes that the image pixels are corrupted by independent Gaussian noise, our proposed method is based on information theoretical Learning and is much less sensitive to corruptions; it achieves this by assigning small weights to occluded pixels and outliers. The most appealing aspect of this approach is that it can yield robust estimations without using the trivial templates adopted by the previous sparse tracker. By using a weighted linear least squares with non-negativity constraints at each iteration, a sparse representation of the target candidate is learned; to further improve the tracking performance, target templates are dynamically updated to capture appearance changes. In our template update mechanism, the similarity between the templates and the target candidates is measured by the earth movers’ distance(EMD). Using the largest open benchmark for visual tracking, we empirically compare two ensemble methods constructed from six state-of-the-art trackers, against the individual trackers. The proposed tracking algorithm runs in real-time, and using challenging sequences performs favorably in terms of efficiency, accuracy and robustness against state-of-the-art algorithms.