快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

基于图像多尺度熵的红外图像匹配跟踪算法

在对图像熵进行分析的基础上,引入图像多尺度熵的概念,定义了图像的多尺度熵及多尺度熵矢量,提出了一种基于区域的匹配跟踪算法—–基于图像多尺度熵的红外图像匹配跟踪算法.首先计算图像的多尺度熵,得到图像多尺度熵矢量;然后利用多尺度熵矢量间的绝对距离(AD)进行匹配跟踪.实验表明,该算法不仅具有稳定、精确的匹配跟踪性能,而且能在目标发生旋转时,较好地匹配跟踪目标,并具有良好的抗几何失真能力.     

适用于复杂环境下的实时目标跟踪技术

针对复杂环境下目标跟踪过程中目标存在旋转、视角、尺度等变化以及噪声干扰的问题,提出了一种基于尺度不变特征与快速模板匹配相结合的目标跟踪技术;该技术通过分别提取预先存储模板和实时采集图像的尺度不变特征,建立初始模板;采用菱形搜索策略对模板的低分辨率子图和待跟踪图像的低分辨率子图进行快速互相关检测,根据检测结果在该帧高分辨率图像中建立紧凑ROI,在此区域内进行模板匹配,对目标进行精确定位;在目标跟踪的过程中采用自适应模板更新策略,以保证在目标发生变化时跟踪的稳定性;实验结果表明,该技术在稳定性、准确性和实时性等方面均优于传统方法。     

增强现实中基于自然特征的实时跟踪方法

在增强现实系统的复杂场景中,对目标的实时跟踪受到场景中诸多因素的制约,导致实时跟踪方法效率低且不准确,为此提出一种基于自然特征的实时跟踪方法。设计了一种螺旋分割模型,对捕获的图像进行螺旋分割,利用SURF算法在分割子块中提取特征点,并进行匹配。在对目标进行跟踪定位时,利用前一帧来预测当前帧目标出现的位置,以减少SURF算法的扫描区域,加速系统运算效率。实验中分别对场景光线强弱、视点和仿射变化以及目标被部分遮挡等不同情况进行测试,该方法均表现出较高的跟踪效率。     

基于运动区域检测的运动目标跟踪算法*

针对传统基于模板匹配的运动目标跟踪算法存在着计算量大、模板漂移导致跟踪失败的问题,提出了一种基于运动区域检测的运动目标跟踪算法。该算法通过采用光流法对目标运动区域进行估计,计算出光流场区域的形心,确定待匹配图相匹配范围,再用模板框在已确定区域进行模板匹配跟踪。根据某开放实验室行人录像跟踪实验表明,本算法能够有效解决模板漂移问题,提高了跟踪实时性, 实现了视频对象目标的跟踪。     

序列图像中的目标区域跟踪算法的设计

在测量高炮在基于雷达信号对飞行目标的自动跟踪精度时,采用的是在火炮身管上安装摄像机,然后对所摄取的图像进行处理并最终测算出跟踪精度.此种情况下,摄像机和目标均处于运动状态,对所获得的序列图像,分析了其特点,首先对图像进行滤波降噪,然后对图像进行了分割并使用数学形态学算法修正了分割结果的形态,基于图像中区域的特征,最后设计了一个自动跟踪图像序列中目标区域的算法,给出了判断是否发生误跟踪的标准,并对跟踪错误的情况进行了处理.根据对实际图像序列中目标区域的跟踪结果验证,本算法是可行的.     

基于区域模板匹配的多目标实时跟踪

研究视频目标实时跟踪问题,在智能视频监测系统中,对运动目标的跟踪是后续工作的基础.为了实时准确地跟踪多运动目标,提出一种基于改进帧间差分与区域模板匹配相结合的快速运动目标跟踪方法.根据改进的帧间差分法找到运动目标的所在的区域,建立相应的搜索区域,采用目标模板逐个与搜索区域进行匹配,匹配到目标后对其进行标记,并且对相应的目标模板进行更新,从而实现多个目标的跟踪.对三个目标进行跟踪平均的第Ι类错误率为11.11%,结果表明,改进方法能够比较有效、实时地对多个运动目标进行跟踪.     

公共区域监控视频数据目标特征跟踪定位方法

为了提高公共区域监控视频的目标定位检测能力,需要进行目标特征跟踪定位算法设计,提出一种基于图像超分辨率重建的公共区域监控视频数据目标特征跟踪定位方法。构建公共区域监控视频的三维图像重建模型,采用边缘层的高分辨融合方法进行公共区域监控视频图像数据的三维结构重组,提取公共区域监控视频的关键特征点,用图像退化模型进行公共区域监控视频数据目标特征检测,结合线性滤波模型使得监测输出图像满足最优匹配特征解,提高对公共区域监控视频数据目标特征跟踪能力。引入引导滤波方法进行公共区域监控视频数据的图像超分辨重建,实现对目标特征准确跟踪定位。仿真结果表明,采用该方法进行公共区域监控视频数据目标特征跟踪定位的准确性较高,图像重建能力较强,归一化均方根误差较小。     

基于平面区域跟踪的目标位姿参数自动测量

提出一种从序列图像中自动跟踪测量目标位置和姿态参数的方法。利用单应性原理和上一帧图像中目标位姿参数的测量结果,将目标上的典型平面区域重建为同时含有几何信息和亮度信息的平面区域模板;然后根据投影方程,将该模板在一定的位置姿态参数下进行投影仿真成像,当模板的仿真成像结果与当前帧图像中的该平面区域达到最佳匹配时,认为此时仿真成像的位置姿态参数即为当前帧图像的测量结果。通过对该匹配问题进行最优化建模和求解,实现了序列图像中目标位姿参数的自动测量。实验结果表明,本文方法能够在序列图像中对含有典型平面区域的目标实现较高精度的自动跟踪测量。     

增强现实中基于视觉与磁力跟踪器的三维注册方法

讨论了如何实现了一种基于三个标志点的视觉式三维注册方法，对电磁式三维注册方法进行了必要的说明，给出了实验平台，同时对实验结果进行了必要的分析说明。实验表明，此方法比较有效。     

结合图像识别的移动增强现实系统设计与应用

目的 在移动互联网时代下,移动增强现实应用得到越来越快的发展。然而户外场景中存在许多相似结构的建筑,且手机的存储和计算能力有限,因此应用多集中于室内小范围环境,对于室外大规模复杂场景的适应性较弱。对此,建立一套基于云端图像识别的移动增强现实系统。方法 为解决相似特征的误匹配问题,算法中将重力信息加入到SURF和BRISK特征描述中去,构建Gravity-SURF和Gravity-BRISK特征描述。云端系统对增强信息进行有效管理,采用基于Gravity-SURF特征的VLAD方法对大规模图像进行识别;在智能终端上的应用中呈现识别图像的增强信息,并利用识别图像的Gravity-BRISK特征和光流结合的方法对相机进行跟踪,采用Unity3D渲染引擎实时绘制3维模型。结果 在包含重力信息的4 000幅户外图像的数据库中进行实验。采用结合重力信息的特征描述算法,能够增强具有相似特征的描述符的区分性,并提高匹配正确率。图像识别算法的识别率能达到88%以上,识别时间在420 ms左右;光流跟踪的RMS误差小于1.2像素,帧率能达到23 帧/s。结论 本文针对室外大规模复杂场景建立的基于图像识别的移动增强现实系统,能方便对不同应用的增强现实数据进行管理。系统被应用到谷歌眼镜和新闻领域上,不局限于单一的应用领域。结果表明,识别算法和跟踪注册算法能够满足系统的精度和实时性要求。     

Viewpoint image generation for head tracking 3D display using multi‐camera and approximate depth information

A simple and high image quality method for viewpoint image synthesis from multi‐camera images for a stereoscopic 3D display using head tracking is proposed. In this method, slices of images for depth layers are made using approximate depth information, the slices are linearly blended corresponding to the distance between the viewpoint and cameras at each layer, and the layers are overlaid from the perspective of viewpoint. Because the linear blending automatically compensates for depth error because of the visual effects of depth‐fused 3D (DFD), the resulting image is natural to observer's perception. Smooth motion parallax of wide depth range objects induced by viewpoint movement for left‐and‐right and front‐and‐back directions is achieved using multi‐camera images and approximate depth information. Because the calculation algorithm is very simple, it is suitable for real time 3D display applications.     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

Real-time face tracking and recognition by sparse eigentracker with associative mapping to 3D shape

This paper proposes a novel framework of real-time face tracking and recognition by combining two eigen-based methods. The first method is a novel extension of eigenface called augmented eigenface and the second method is a sparse 3D eigentemplate tracker controlled by a particle filter. The augmented eigenface is an eigenface augmented by an associative mapping to 3D shape that is specified by a set of volumetric face models. This paper discusses how to make up the augmented eigenface and how it can be used for inference of 3D shape from partial images. The associative mapping is also generalized to subspace-to-one mappings to cover photometric image changes for a fixed shape. A novel technique, called photometric adjustment, is introduced for simple implementation of associative mapping when an image subspace should be combined to a shape. The sparse 3D eigentemplate tracker is an extension of the 3D template tracker proposed by Oka et al. In combination with the augmented eigenface, the sparse 3D eigentemplate tracker facilitates real-time 3D tracking and recognition when a monocular image sequence is provided. In the tracking, sparse 3D eigentemplate is updated by the augmented eigenface while face pose is estimated by the sparse eigentracker. Since the augmented eigenface is constructed on the conventional eigenfaces, face identification and expression recognition are also accomplished efficiently during the tracking. In the experiment, an augmented eigenface was constructed from 25 faces where 24 images were taken in different lighting conditions for each face. Experimental results show that the augmented eigenface works with the 3D eigentemplate tracker for real-time tracking and recognition.     

结合模糊特征检测的鲁棒核相关滤波跟踪法

针对跟踪领域内由于图像模糊而导致跟踪失败的问题,提出一种结合模糊特征检测的鲁棒核相关滤波(kernelized correlation filter, KCF)跟踪法。首先,将尺度不变特征变换(scale invariant feature transform, SIFT)描述子与局部二值模式(local binary pattern, LBP)算法结合,提取模糊图像中的特征点,并采用圆形邻域描述该特征点,以降低特征向量的维度,综合构建出模糊特征检测器。其次,设置图像清晰度阈值,若当前图像清晰度低于阈值,则启动模糊特征检测器,通过特征向量间的匹配,得出跟踪目标的位置;否则,通过传统的核相关滤波法预测目标位置。最后,在公开数据集OTB-2013和OTB-2015中的测试结果表明:与其他实验算法相比,该算法可对模糊图像中的目标进行有效跟踪且精度较高。