适用于复杂环境下的实时目标跟踪技术

针对复杂环境下目标跟踪过程中目标存在旋转、视角、尺度等变化以及噪声干扰的问题,提出了一种基于尺度不变特征与快速模板匹配相结合的目标跟踪技术;该技术通过分别提取预先存储模板和实时采集图像的尺度不变特征,建立初始模板;采用菱形搜索策略对模板的低分辨率子图和待跟踪图像的低分辨率子图进行快速互相关检测,根据检测结果在该帧高分辨率图像中建立紧凑ROI,在此区域内进行模板匹配,对目标进行精确定位;在目标跟踪的过程中采用自适应模板更新策略,以保证在目标发生变化时跟踪的稳定性;实验结果表明,该技术在稳定性、准确性和实时性等方面均优于传统方法。     

基于卡尔曼滤波与感知哈希技术的模板匹配跟踪算法

为解决传统模板匹配跟踪算法计算复杂度高且在目标形变、光照变化、遮挡等情况下容易发生跟踪漂移的问题,本文提出一种融合卡尔曼滤波、图像感知哈希与模板匹配的跟踪算法。本算法采用感知哈希技术提取目标的哈希值作为模板进行匹配,采用卡尔曼滤波预测下一帧中候选目标的搜索区域,然后,结合模板的哈希序值和目标位置变化信息设计新的匹配准则进行模板匹配,最后根据匹配结果,采用自适应模板更新策略和跟踪策略对目标进行跟踪。试验结果表明,本算法在目标形变、光照变化以及遮挡情况下具有一定的鲁棒性,且能满足实时跟踪的要求。     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

分层分区域管理的实时图像跟踪算法

为了实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中特征点的快速匹配,解决图像跟踪算法中匹配精度与效率问题,提出一种特征点分层分区域管理的图像跟踪算法.在预处理阶段,对模板图像构造层次表示并对各尺度下的图像进行区域划分,在每个区域内同时提取ORB(oriented FAST and rotated BRIEF)特征点和Harris特征点,由ORB特征描述子计算区域图像的词袋特征向量,由此构建图像特征点的分层分区域管理模式.在实时跟踪阶段,根据摄像机位姿跟踪的情况区分预测跟踪、重定位跟踪和光流跟踪3个分支.在预测跟踪和重定位跟踪中,先快速定位实时图像对应的模板图像的尺度层与区域,再通过实时采集的图像与模板图像中对应尺度下部分区域中特征点的局部匹配,实时地计算摄像机的位置和方向;在光流跟踪过程中对光流算法跟踪点进行实时更新,延长光流算法的运行持续时间.利用公开图像数据库中不同分辨率的模板图像在移动终端上进行实验的结果表明,文中算法性能稳定,匹配误差在1个像素以内;系统运行帧率总体稳定在20~30帧/s.     

基于平面区域跟踪的目标位姿参数自动测量

提出一种从序列图像中自动跟踪测量目标位置和姿态参数的方法。利用单应性原理和上一帧图像中目标位姿参数的测量结果,将目标上的典型平面区域重建为同时含有几何信息和亮度信息的平面区域模板;然后根据投影方程,将该模板在一定的位置姿态参数下进行投影仿真成像,当模板的仿真成像结果与当前帧图像中的该平面区域达到最佳匹配时,认为此时仿真成像的位置姿态参数即为当前帧图像的测量结果。通过对该匹配问题进行最优化建模和求解,实现了序列图像中目标位姿参数的自动测量。实验结果表明,本文方法能够在序列图像中对含有典型平面区域的目标实现较高精度的自动跟踪测量。     

基于加权直方图和均值漂移的实时跟踪算法

均值漂移算法在跟踪过程中没有有效利用跟踪目标的位置、运动方向等信息,当物体快速移动、旋转时,实时跟踪的目标极易丢失;均值漂移算法利用密度梯度估计跟踪目标,直方图足用来统计图像或图像的某个区域中每个灰度级或颜色级的分布情况的,依据颜色分布进行匹配具有较好的稳定性.跟踪目标的直方图受目标形状变化的影响较小,但通常直方图不包含任何的空间位置信息,加权直方图有效利用了窄间信息.提出了一种加权直方图和均值漂移算法相结合的快速实时跟踪算法.实验证明该算法具有速度快、鲁棒性、稳定的特点,基本达到了实时跟踪处理的要求.     

融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

基于频谱统计特性的地物目标跟踪算法

根据傅里叶变换特性,图像在发生尺度、旋转、光照变化时频域内会产生相应变化。针对该特点,将频域信息转换到极坐标系中,通过半径统计度量得到一维不变量用于地物目标跟踪算法,利用角度统计度量判断目标尺度变换,从而确定目标模板更新准则。实验结果表明,该算法对发生尺度、旋转、光照变化的图像有较好的跟踪性能,且相比Nprod, SSAD算法,其跟踪精度较高、耗时较少。     

基于背景加权的尺度方向自适应均值漂移算法

针对经典的均值漂移算法在跟踪过程中由背景相似度、尺寸变化以及遮挡等引起的跟踪漂移问题,提出了一种基于背景加权的尺度方向自适应均值漂移跟踪算法。结合背景加权来提取目标颜色特征,充分利用了视频图像序列的空间信息,突出了目标区域的信息特征,抑制了由背景相似度和背景模糊引起的跟踪漂移现象。采用尺寸方向自适应的协方差矩阵估计方法,以适应运动目标尺寸方向的实时变化,保证了跟踪的准确性。经实验验证提出的运动目标跟踪算法较之其他经典均值漂移算法在精度和效率上都有显著提高。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

基于显微视觉的微小型零件跟踪系统

微装配过程中的运动目标跟踪是一个新兴的研究方向。构建了一个由CCD相机、显微镜头、电控云台和图像处理模块组建的、针对微小型零件的显微视觉跟踪系统。为克服显微视场范围小的局限性,提出一种基于SIFT特征点的模板匹配和Kalman预测相结合的跟踪算法,通过Kalman预测实现在局部范围内的模板匹配,利用SIFT特征对模板匹配的结果进行校正和更新。实验结果表明：提出的跟踪算法能得到稳定的目标局部特征,并准确地跟踪到目标,对亮度变化、成像模糊等影响因素有较强的适应能力。     

融合图像感知哈希技术的运动目标跟踪

目的 为解决运动目标跟踪时因遮挡、尺度变换等产生的目标丢失以及传统匹配跟踪算法计算复杂度高等问题,提出一种融合图像感知哈希技术的运动目标跟踪算法.方法 本文算法利用感知哈希技术提取目标摘要进行模板图像识别匹配,采用匹配跟踪策略和搜索跟踪策略相配合来准确跟踪目标,并构建模板评价函数和模板更新准则实现目标模板的自适应更新,保证其在目标发生遮挡和尺度变换情况下的适应性.结果 该算法与基于NCC(normalized cross correlation)的模板匹配跟踪算法、Mean-shift跟踪算法以及压缩跟踪算法相比,在目标尺度变换和物体遮挡时,跟踪的连续性和稳定性更好,且具有较低的计算复杂度,能分别降低跟踪系统约6.2%、 6.3%、 9.3%的计算时间.结论 本文算法能有效实现视频场景中目标发生遮挡及尺度变换情况下的跟踪,跟踪的连续性和稳定性良好,且算法具有较低的计算复杂度,有利于实时性跟踪系统的构建.     

A General Framework for the Selection of World Coordinate Systems in Perspective and Catadioptric Imaging Applications

An imaging system with a single effective viewpoint is called a central projection system. The conventional perspective camera is an example of central projection system. A catadioptric realization of omnidirectional vision combines reflective surfaces with lenses. Catadioptric systems with an unique projection center are also examples of central projection systems. Whenever an image is acquired, points in 3D space are mapped into points in the 2D image plane. The image formation process represents a transformation from ³ to ², and mathematical models can be used to describe it. This paper discusses the definition of world coordinate systems that simplify the modeling of general central projection imaging. We show that an adequate choice of the world coordinate reference system can be highly advantageous. Such a choice does not imply that new information will be available in the images. Instead the geometric transformations will be represented in a common and more compact framework, while simultaneously enabling newer insights. The first part of the paper focuses on static imaging systems that include both perspective cameras and catadioptric systems. A systematic approach to select the world reference frame is presented. In particular we derive coordinate systems that satisfy two differential constraints (the compactness and the decoupling constraints). These coordinate systems have several advantages for the representation of the transformations between the 3D world and the image plane. The second part of the paper applies the derived mathematical framework to active tracking of moving targets. In applications of visual control of motion the relationship between motion in the scene and image motion must be established. In the case of active tracking of moving targets these relationships become more complex due to camera motion. Suitable world coordinate reference systems are defined for three distinct situations: perspective camera with planar translation motion, perspective camera with pan and tilt rotation motion, and catadioptric imaging system rotating around an axis going through the effective viewpoint and the camera center. Position and velocity equations relating image motion, camera motion and target 3D motion are derived and discussed. Control laws to perform active tracking of moving targets using visual information are established.     

基于图像传感器的上下文快速压缩感知算法

针对快速压缩感知算法在目标被遮挡、光照变化较大时存在跟踪不稳定的问题,提出了基于图像传感器的上下文快速压缩感知跟踪（ FCT）算法。新算法首先在Haar-like特征中引入时空上下文特征,通过目标周围的空间信息和时间上的递推关系协助估计目标的位置。通过改进的随机测量矩阵同时提取目标的纹理特征和灰度特征,加强了特征的稳定性,提高跟踪的准确性。通过方差分类器预判定候选样本,减少判定的次数,并减少错误的候选样本。改进的FCT算法对光照、旋转、尺度缩放都有良好的不变性,且不易发生跟踪漂移。实验证明：改进的FCT算法优于压缩感知跟踪（ CT）算法和FCT算法。     

基于KCF和SIFT特征的抗遮挡目标跟踪算法

为了解决KCF目标跟踪中由于目标遮挡和目标尺度的变化造成跟踪目标丢失的问题,对核相关滤波器(KCF)目标跟踪的框架进行了研究,提出了一种基于KCF和SIFT特征的抗遮挡目标跟踪算法,引入了一种目标跟踪丢失后重新搜索定位目标的策略。利用尺度金字塔估计出目标的尺度,实现跟踪框自适应目标尺度大小,通过核相关滤波器(KCF)跟踪算法对目标进行跟踪。跟踪过程中对目标遮挡情况进行判断,当目标遮挡时,对当前帧跟踪框内的目标提取SIFT特征,生成模板特征。提取下一帧视频图像的SIFT特征并与模板特征进行匹配,框出与模板特征相匹配的目标,对目标继续进行跟踪。通过TB数据库标准视频序列和实际环境拍摄的视频序列进行测试。实验结果表明,跟踪框能适应目标的大小,在目标发生遮挡的情况下,能够重新找到目标并进行准确跟踪。     

基于目标信息量变化的自调整跟踪算法

针对视频跟踪中的传统Mean-Shift方法不能有效跟踪尺度有明显变化的目标这一问题,将图像信息量度量理论引入到了算法之中,提出了一种自适应窗宽的改进Mean-Shift跟踪算法。该算法利用均值漂移矢量对目标位置进行预测,然后结合目标信息量的变化来自适应的调整跟踪窗的尺度,从而快速稳定的对目标进行定位跟踪。实验结果表明改进算法能较好适应目标的尺度变化,跟踪效果良好。     

一种新型的并联机器人位姿立体视觉检测系统

建立了一种并联机器人位姿立体视觉测量系统框架,主要包括图像采集与传输、摄像机标定、尺度不变量特征变换（SIFT）匹配、空间点重建和位姿测量五个部分。该系统基于SIFT,能够很好地处理图像在大视角有遮挡、平移、旋转、亮度和尺度变化时的特征点匹配,有较高的匹配精度,特别适用于对并联机器人多自由度和空间复杂运动的检测。最后使用该方法对并联机器人位姿检测做了仿真实验。     

Proving the efficiency of template matching-based markerless tracking methods which consider the camera perspective deformations

Template matching techniques are often used for camera tracking. They provide a good balance between computational cost and robustness to illumination changes. However, they lack robustness to camera orientation and scale changes. Camera movement, and specially rotation, generates perspective deformations that affect the process of patch matching, so the number of inliers (3D–2D correspondences) decreases. This fact affects camera tracking stability. This paper provides the following statistical proof: considering surface normals associated with 3D points substantially increases the number of inliers. So, this paper shows that computing perspective compensation improves the tracking. For instance, in a particular camera path used for experiments in this paper, without compensation, only a \(14\%\) of 3D points projected into the image were found as inliers, while perspective compensation increased that figure up to a \(65\%\). These results must be contextualized in the analysis provided by the paper.