基于奇异值分解的图像匹配和目标跟踪研究

在目标跟踪过程中，由于存在目标姿态变化和背景干扰，在跟踪过程中必须要对模板进行必要的修正，应该在获取目标模板后有一个可靠的模板更新策略．本文探讨了奇异值分解及其在图像匹配和目标跟踪中的应用，定义了一种近似奇异值向量并提出了一种基于图像奇异值特征向量数据特点的跟踪策略并作了大量试验，试验结果表明所提出的图像匹配方法和目标跟踪策略的有效性．     

基于子空间联合模型的视觉跟踪

目标跟踪是计算机视觉的重要组成部分,其鲁棒性一直受到目标遮挡,光照变化,目标姿态变化等因素的制约。针对这个问题,提出了基于子空间联合模型的视觉跟踪算法。算法为了克服遮挡对目标跟踪的影响,采用局部动态稀疏表示进行遮挡检测,根据遮挡检测结果来修正增量子空间误差。此外,在稀疏子空间基础上计算目标模板和候选模板的相似性。在粒子滤波框架下,联合候选目标增量误差和相似性实现目标跟踪。通过在多个具有挑战性的视频序列上进行实验,表明该算法具有较好的鲁棒性。     

融合稀疏重构图像显著性的相关滤波跟踪

针对相关滤波跟踪中目标在剧烈形变时会发生滤波模板漂移,以及在复杂场景中目标跟踪鲁棒性较差的问题,提出一种融合稀疏重构图像显著性的相关滤波跟踪算法。在跟踪过程中,通过超像素分割提取背景模板来稀疏重构目标颜色相关,构建目标颜色模型得到跟踪检测分数,将该检测分数与相关滤波检测分数进行融合,根据融合响应,利用峰值旁瓣比调整模板更新速度来解决遮挡下的更新策略问题,同时利用中心先验图对存在误差的稀疏重构图进行修正,使得该目标跟踪框架能适应形变、光照等复杂变化。实验表明,该算法在准确性和鲁棒性方面要优于其他算法。     

一种新的相关跟踪方法研究

相关跟踪过程中，序列图象中的实时图和参考图之间必然存在灰度差异以及一定程度的几何形变和对目标的局部遮挡，而传统相关匹配算法中，每一对像素点对匹配结果的贡献是均等的，这样就使得算法的性能很容易受到图像中噪声、局部遮挡等因素的影响。为此，从另外的角度提出了一种新的图象相似度度量方法，即将目标图象中与模板图象相接近的点的个数作为相似性度量来进行匹配，这种方法得到的相关曲面更尖锐，匹配置信度更高。又因为跟踪过程，实时图必然存在这样或那样的变化，对模板合理地进行更新是相关跟踪的关键，在上述的图象相似度度量方法的基础上，另外又提出了一种非常有效的模板修正方案，从而使得跟踪算法对环境的适应能力和稳定性得到大大提高，实验结果证明了该方法的优越性。     

基于重要性加权的结构稀疏跟踪方法

针对视觉跟踪中描述目标能力的有限性和局部稀疏表示模型的有效性,提出了一种基于重要性加权的结构稀疏跟踪方法.该方法采用结构稀疏表示对目标表观建模,根据在表达目标表观时所起的作用,对每个局部图像进行加权处理;在粒子滤波框架下,应用最大后验概率对目标的状态进行估计;通过带有遮挡检测机制的模板更新策略对目标模板进行在线的更新以避免跟踪漂移.实验表明,该方法有效地减弱了目标表观变化对模型的影响,对于视频序列中的遮挡、光照变化和目标姿态改变等有稳健的跟踪效果.     

基于凸型模板的目标形态图像识别算法

针对视频图像中目标形态的检测识别问题,提出了一种基于凸型模板修正算法对条形目标的检测、识别和定位技术。通过分析凸型模板识别条形目标的基本原理,提出引入倾斜角度因子的凸型模板改进算法,提高了条形目标识别的准确度,并以单人个体作为研究对象进行实验,结果表明这种方法运算复杂度低,对条形目标的识别率高,跟踪特性良好。     

适用于复杂环境下的实时目标跟踪技术

针对复杂环境下目标跟踪过程中目标存在旋转、视角、尺度等变化以及噪声干扰的问题,提出了一种基于尺度不变特征与快速模板匹配相结合的目标跟踪技术;该技术通过分别提取预先存储模板和实时采集图像的尺度不变特征,建立初始模板;采用菱形搜索策略对模板的低分辨率子图和待跟踪图像的低分辨率子图进行快速互相关检测,根据检测结果在该帧高分辨率图像中建立紧凑ROI,在此区域内进行模板匹配,对目标进行精确定位;在目标跟踪的过程中采用自适应模板更新策略,以保证在目标发生变化时跟踪的稳定性;实验结果表明,该技术在稳定性、准确性和实时性等方面均优于传统方法。     

融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

基于H分量检测的模板更新鲁棒分块跟踪方法

针对鲁棒分块跟踪方法不能进行模板更新的问题,提出一种基于H分量检测的模板更新方法。隔帧计算当前目标与目标模板的H直方图距离,通过检测该距离是否大于阈值来判定所采用的目标模板更新策略,若该距离大于阈值则采用固定加权目标模板,否则逐帧更新目标模板。将新方法在不同视频上进行仿真,实验结果表明该方法能提升鲁棒分块跟踪方法对光照变化的鲁棒性,同时能提高跟踪精度。     

基于平面区域跟踪的目标位姿参数自动测量

提出一种从序列图像中自动跟踪测量目标位置和姿态参数的方法。利用单应性原理和上一帧图像中目标位姿参数的测量结果,将目标上的典型平面区域重建为同时含有几何信息和亮度信息的平面区域模板;然后根据投影方程,将该模板在一定的位置姿态参数下进行投影仿真成像,当模板的仿真成像结果与当前帧图像中的该平面区域达到最佳匹配时,认为此时仿真成像的位置姿态参数即为当前帧图像的测量结果。通过对该匹配问题进行最优化建模和求解,实现了序列图像中目标位姿参数的自动测量。实验结果表明,本文方法能够在序列图像中对含有典型平面区域的目标实现较高精度的自动跟踪测量。     

基于可变模型的目标实时跟踪

为了在图像序列中实现目标的快速定位和实时跟踪,该文提出了一种基于可变模型的快速目标跟踪算法,在已知模型条件下,利用区域模型相关匹配的思想对目标模型进行实时更新,充分利用目标莲续运动过程中目标形状在两个连续帧中变化不大、相邻两帧中目标的速度和位移变化不大的特点,以当前帧目标模型作为下一帧的先验模型;综合运用模型梯度信息、运动信息和模型区域特征匹配的方法来跟踪目标。由于算法综合考虑了目标模型的区域信息和轮廓信息,因此对背景干扰不太敏感。在头部跟踪实验过程中,该文算法跟踪移动目标的实时性和准确性比较好,抗干扰能力较强,基本上可以满足鲁棒性和快速性的要求。     

Extending 3D Lucas–Kanade tracking with adaptive templates for head pose estimation

The Lucas–Kanade tracker (LKT) is a commonly used method to track target objects over 2D images. The key principle behind the object tracking of an LKT is to warp the object appearance so as to minimize the difference between the warped object’s appearance and a pre-stored template. Accordingly, the 2D pose of the tracked object in terms of translation, rotation, and scaling can be recovered from the warping. To extend the LKT for 3D pose estimation, a model-based 3D LKT assumes a 3D geometric model for the target object in the 3D space and tries to infer the 3D object motion by minimizing the difference between the projected 2D image of the 3D object and the pre-stored 2D image template. In this paper, we propose an extended model-based 3D LKT for estimating 3D head poses by tracking human heads on video sequences. In contrast to the original model-based 3D LKT, which uses a template with each pixel represented by a single intensity value, the proposed model-based 3D LKT exploits an adaptive template with each template pixel modeled by a continuously updated Gaussian distribution during head tracking. This probabilistic template modeling improves the tracker’s ability to handle temporal fluctuation of pixels caused by continuous environmental changes such as varying illumination and dynamic backgrounds. Due to the new probabilistic template modeling, we reformulate the head pose estimation as a maximum likelihood estimation problem, rather than the original difference minimization procedure. Based on the new formulation, an algorithm to estimate the best head pose is derived. The experimental results show that the proposed extended model-based 3D LKT achieves higher accuracy and reliability than the conventional one does. Particularly, the proposed LKT is very effective in handling varying illumination, which cannot be well handled in the original LKT.     

Drift-correcting template update strategy for precision feature point tracking

In this paper we present a drift-correcting template update strategy for precisely tracking a feature point in 2D image sequences. The proposed strategy greatly complements one of the latest published template update strategies by incorporating a robust non-rigid image registration step. Previous strategies use the first template to correct drifts in the current template; however, the drift still builds up when the first template becomes different from the current one particularly in a long image sequence. In our strategy the first template is updated timely when it is revealed to be quite different from the current template and henceforth the updated first template is used to correct template drifts in subsequent frames. Our method runs fast on a 3.0 GHz desktop PC, using about 0.03 s on average to track a feature point in a frame (under the assumption of a general affine transformation model, 61 × 61 pixels in template size) and less than 0.1 s to update the first template. The proposed template update strategy can be implemented either serially or in parallel. Quantitative evaluation results show the proposed method in precision tracking of a distinctive feature point whose appearance is constantly changing. Qualitative evaluation results show that the proposed method has a more sustained ability to track a feature point than two previous template update strategies. We also revealed the limitations of the proposed template update strategy by tracking feature points on a human’s face.     

联合模板先验概率和稀疏表示的目标跟踪

目的 虽然基于稀疏表示的目标跟踪方法表现出了良好的跟踪效果,但仍然无法彻底解决噪声、旋转、遮挡、运动模糊、光照和姿态变化等复杂背景下的目标跟踪问题。针对遮挡、旋转、姿态变化和运动模糊问题,提出一种在粒子滤波框架内,基于稀疏表示和先验概率相结合的目标跟踪方法。方法 通过先验概率衡量目标模板的重要性,并将其引入到正则化模型中,作为模板更新的主要依据,从而获得一种新的候选目标稀疏表示模型。结果 在多个测试视频序列上,与多种流行算法相比,该算法可以达到更好的跟踪性能。在5个经典测试视频下的平均中心误差为6.77像素,平均跟踪成功率为97%,均优于其他算法。结论 实验结果表明,在各种含有遮挡、旋转、姿态变化和运动模糊的视频中,该算法可以稳定可靠地跟踪目标,适用于视频监控复杂场景下的目标跟踪。     

利用巴氏系数判定模型更新的视觉跟踪算法

在视频跟踪时,传统的粒子滤波算法在目标区域出现遮挡、光照变化等情况下通常存在鲁棒性较差的问题,因此提出一种采用巴氏(Bhattacharyya)系数判断模型更新时机的鲁棒视觉跟踪算法。本算法以粒子滤波算法为框架,每隔一定帧数抽样检测目标变化,利用当前模型与候选模型之间的巴氏系数统计特征的相似性,从而判断更新时机。仅当目标逐渐姿态改变且无背景干扰时更新目标模型;在发生遮挡或光照改变较大时则不更新,保持当前模型继续跟踪。本算法判断是否出现影响目标匹配因素,从而适时采取模型更新策略。实验结果表明,本算法通过选择性更新模型,在未考虑尺度变化的情况下,能够更加有效抑制背景干扰和避免模型漂移,在诸多复杂场景中具有一定的鲁棒性。     

Robust visual tracking using information theoretical learning

This paper presents a novel online object tracking algorithm with sparse representation for learning effective appearance models under a particle filtering framework. Compared with the state-of-the-art ? ₁ sparse tracker, which simply assumes that the image pixels are corrupted by independent Gaussian noise, our proposed method is based on information theoretical Learning and is much less sensitive to corruptions; it achieves this by assigning small weights to occluded pixels and outliers. The most appealing aspect of this approach is that it can yield robust estimations without using the trivial templates adopted by the previous sparse tracker. By using a weighted linear least squares with non-negativity constraints at each iteration, a sparse representation of the target candidate is learned; to further improve the tracking performance, target templates are dynamically updated to capture appearance changes. In our template update mechanism, the similarity between the templates and the target candidates is measured by the earth movers’ distance(EMD). Using the largest open benchmark for visual tracking, we empirically compare two ensemble methods constructed from six state-of-the-art trackers, against the individual trackers. The proposed tracking algorithm runs in real-time, and using challenging sequences performs favorably in terms of efficiency, accuracy and robustness against state-of-the-art algorithms.     

在线复合模板模型表示的视觉目标跟踪

目的 视觉目标跟踪中,目标往往受到自身或场景中各种复杂干扰因素的影响,这对正确捕捉所感兴趣的目标信息带来极大的挑战。特别是,跟踪器所用的模板数据主要是在线学习获得,数据的可靠性直接影响到候选样本外观模型表示的精度。针对视觉目标跟踪中目标模板学习和候选样本外观模型表示等问题,采用一种较为有效的模板组织策略以及更为精确的模型表示技术,提出一种新颖的视觉目标跟踪算法。方法 跟踪框架中,将候选样本外观模型表示假设为由一组复合模板和最小重构误差组成的线性回归问题,首先利用经典的增量主成分分析法从在线高维数据中学习出一组低维子空间基向量(模板正样本),并根据前一时刻跟踪结果在线实时采样一些特殊的负样本加以扩充目标模板数据,再利用新组织的模板基向量和独立同分布的高斯—拉普拉斯混合噪声来线性拟合候选目标外观模型,最后估计出候选样本和真实目标之间的最大似然度,从而使跟踪器能够准确捕捉每一时刻的真实目标状态信息。结果 在一些公认测试视频序列上的实验结果表明,本文算法在目标模板学习和候选样本外观模型表示等方面比同类方法更能准确有效地反映出视频场景中目标状态的各种复杂变化,能够较好地解决各种不确定干扰因素下的模型退化和跟踪漂移问题,和一些优秀的同类算法相比,可以达到相同甚至更高的跟踪精度。结论 本文算法能够在线学习较为精准的目标模板并定期更新,使得跟踪器良好地适应内在或外在因素(姿态、光照、遮挡、尺度、背景扰乱及运动模糊等)所引起的视觉信息变化,始终保持其最佳的状态,使得候选样本外观模型的表示更加可靠准确,从而展现出更为鲁棒的性能。     

一种结合ORB特征匹配的均值漂移目标跟踪算法

针对传统的mean-shift跟踪算法基于单一颜色特征空间,在复杂背景下难以对目标进行准确跟踪这问题,提出了一种结合ORB特征匹配的mean-shift目标跟踪算法。该算法在mean-shift算法的基础上利用改进的ORB特征匹配算法修正目标跟踪窗口并实时更新目标特征模板,通过计算前后两帧图像中目标中心的欧式距离与色彩模板的巴氏距离来判定跟踪是否失败,当目标跟踪失败时,不改变目标模板,继续搜索下一帧图像中的目标。实验结果表明,与均值漂移算法和基于其他同类特征的改进算法相比,该算法提高了在复杂背景下目标跟踪的精度,并能满足实时性要求。     

Object tracking using deformable templates

We propose a method for object tracking using prototype-based deformable template models. To track an object in an image sequence, we use a criterion which combines two terms: the frame-to-frame deviations of the object shape and the fidelity of the modeled shape to the input image. The deformable template model utilizes the prior shape information which is extracted from the previous frames along with a systematic shape deformation scheme to model the object shape in a new frame. The following image information is used in the tracking process: 1) edge and gradient information: the object boundary consists of pixels with large image gradient, 2) region consistency: the same object region possesses consistent color and texture throughout the sequence, and 3) interframe motion: the boundary of a moving object is characterized by large interframe motion. The tracking proceeds by optimizing an objective function which combines both the shape deformation and the fidelity of the modeled shape to the current image (in terms of gradient, texture, and interframe motion). The inherent structure in the deformable template, together with region, motion, and image gradient cues, makes the proposed algorithm relatively insensitive to the adverse effects of weak image features and moderate amounts of occlusion     

基于KCF和SIFT特征的抗遮挡目标跟踪算法

为了解决KCF目标跟踪中由于目标遮挡和目标尺度的变化造成跟踪目标丢失的问题,对核相关滤波器(KCF)目标跟踪的框架进行了研究,提出了一种基于KCF和SIFT特征的抗遮挡目标跟踪算法,引入了一种目标跟踪丢失后重新搜索定位目标的策略。利用尺度金字塔估计出目标的尺度,实现跟踪框自适应目标尺度大小,通过核相关滤波器(KCF)跟踪算法对目标进行跟踪。跟踪过程中对目标遮挡情况进行判断,当目标遮挡时,对当前帧跟踪框内的目标提取SIFT特征,生成模板特征。提取下一帧视频图像的SIFT特征并与模板特征进行匹配,框出与模板特征相匹配的目标,对目标继续进行跟踪。通过TB数据库标准视频序列和实际环境拍摄的视频序列进行测试。实验结果表明,跟踪框能适应目标的大小,在目标发生遮挡的情况下,能够重新找到目标并进行准确跟踪。