定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

基于改进ORB特征点的LK光流算法

针对传统ORB特征点匹配准确率低和在光流算法中跟踪特性差的问题,提出了一种基于改进ORB特征点的LK光流算法。首先结合FAST特征点和rBRIEF特征描述符计算出ORB特征点;然后结合SURF算法在特征提取步骤中构建的Hessian矩阵对ORB特征点进行再提取;最后对改进ORB特征点进行特征匹配测试和LK光流跟踪测试。实验结果表明,相较于传统ORB特征点,改进ORB特征点的特征匹配准确率平均提升20.96%,LK光流跟踪成功率平均提升19.73%。本文提出的改进ORB特征点不仅拥有更好的特征匹配效果,同时具有更好的跟踪特性。     

基于特征预测与邻域一致性的视频特征快速配准

基于视频图像特征点配准的目标跟踪算法无法兼顾精确性、实时性和鲁棒性,针对该问题,提出一种基于特征位置预测与邻域一致性约束的视频特征快速配准算法。以标注点与目标标记框为模板,通过ORB特征匹配与邻域一致性检验,获得帧间标注点集的对应关系,并计算点集间的尺度变换以确定当前目标框,利用多帧已知标注点位置信息与运动连续性进行多项式回归预测,得到标注点集的位置。在此基础上,对特征点进行局部搜索、提取和描述,根据邻域一致性约束,利用邻域内的支持特征点集实现标注点的稳健匹配。实验结果表明,该算法可对多姿态目标特征点进行配准,与GMS、ORB、SIFT和SURF算法相比,该算法的实时性、准确性和鲁棒性明显提高。     

基于ORB自然特征的AR实时系统实现

针对当前基于自然特征的增强现实效率低,提出一种新的基于ORB自然特征的实时注册方法。提取视频帧与基准图像中的ORB特征点,使用汉明距离匹配,利用RANSAC算法筛选得到最佳匹配点对,确定摄像机的位姿。将三维虚拟物体叠加到真实场景中,达到虚实结合的效果。实验表明,在不同尺度角度、一定环境光变化、复杂背景和基准图像部分遮挡的情况下,该AR系统都具有良好的性能,跟踪定位准确度高,速度基本达到实时要求。     

一种结合ORB特征匹配的均值漂移目标跟踪算法

针对传统的mean-shift跟踪算法基于单一颜色特征空间,在复杂背景下难以对目标进行准确跟踪这问题,提出了一种结合ORB特征匹配的mean-shift目标跟踪算法。该算法在mean-shift算法的基础上利用改进的ORB特征匹配算法修正目标跟踪窗口并实时更新目标特征模板,通过计算前后两帧图像中目标中心的欧式距离与色彩模板的巴氏距离来判定跟踪是否失败,当目标跟踪失败时,不改变目标模板,继续搜索下一帧图像中的目标。实验结果表明,与均值漂移算法和基于其他同类特征的改进算法相比,该算法提高了在复杂背景下目标跟踪的精度,并能满足实时性要求。     

一种用于无人机室内定位的改进ORB光流算法

针对无人机室内无GPS的导航定位问题,结合ORB特征与LK金字塔光流,提出了一种改进的ORB特征光流算法。采用ORB算法提取每帧图像的特征点,送入金字塔中估计下一帧点集坐标;采用前后双向单追踪策略进行粗匹配;采用FLANN-KNN匹配规则和前后双向双追踪策略组成的精匹配,进行误匹配点集的滤除。通过多种场景提取效果和无人机实际应用两部分实验,从实时性和精确性对算法性能进行了验证分析。仿真结果表明,改进算法具有较好的定位效果和较好的实时性。     

多分辨率LK光流联合SURF的跟踪方法

针对交通监控中运动目标形变、雾霾天气、高速、光照不均、部分遮挡等复杂情况导致Lucas-Kanade（LK）算法跟踪不稳定问题,提出基于多分辨率LK光流算法联合快速鲁棒性特征（SURF）的跟踪算法。所提算法构建图像多分辨率小波金字塔,解决传统LK算法中同一像素点帧间大尺度运动易丢失问题;同时联合SURF尺度不变特征变换算法,提取特征点进行光流跟踪,并制定自适应模板实时更新策略;在减少光流计算量的同时增强运动目标抗复杂环境的能力。实验结果表明,新方法中特征点匹配准确快速,自适应性强,在交通复杂化境中跟踪稳定。     

基于改进ORB和对称匹配的图像特征点匹配

由于ORB算法所提取的特征点不具有尺度不变性,直接匹配会导致较多的错误发生,本文结合SURF和双向匹配算法的思想,提出了改进的ORB算法:SSORB.首先使用不同尺寸盒状滤波模板与积分图像生成多尺度空间,并从中检测出稳定的极值点,使得所提取出来的特征点具备尺度不变的特性;然后使用ORB描述子对特征点进行描述,得到旋转不变的二进制描述子;由于误匹配的存在,在Hamming距离的基础上进一步使用双向匹配来消除误匹配,提高匹配精度.实验结果表明,SSORB有效地解决了ORB不具备尺度不变性的缺陷,在保留ORB算法快速优越性的同时提高了匹配准确度.     

顾及影像尺度与旋转的光流点跟踪算法

传统的光流点跟踪算法在处理相机不规则运动和影像弱纹理场景时存在点位分布不均、匹配精度不高等问题,针对该问题提出一种尺度旋转不变的改进光流点跟踪算法.在光流跟踪点的基础上,构建匹配相似三角形;在匹配三角形内提取当前尺度图像的DOG特征点,基于角度交会原理获取待跟踪点的初始位置;利用匹配三角形间的尺度旋转参数计算DOG特征...     

基于SIFT自然特征的AR系统研究和实现

针对当前增强现实AR(Augmented Reality)系统中跟踪注册效率低,提出一种基于SIFT算子的自然特征的匹配改进方法。在利用DOG金字塔对关键帧图像和基准图像进行特征点的检测和提取后进行正反双向匹配,很好地提高了关键特征的匹配效率和稳定性。同时结合L-K光流跟踪算法,优化跟踪关键帧失败后的处理方法,减少重定位时关键点检测所需搜索区域。实验表明,由于改进后的SIFT匹配特征点更少更优,定位的精确度更高,跟踪匹配整体耗时减少近50%。因而该AR系统在光照不足、遮挡、抖动等特殊环境中都有很好的实时虚实融合的效果。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.     

MEEM跟踪和改进ORB特征检测的三维注册方法

针对增强现实系统三维注册在线跟踪模型漂移问题,以及特征检测算法耗时问题导致的注册失败。提出一种基于MEEM跟踪和改进ORB特征检测的三维注册方法。通过MEEM算法对移动对象区域跟踪。对跟踪的目标位置采用ORB算法检测特征点时,采用多尺度空间理论提取稳定特征点,并且采用改进决策树的递归调整方式,同时对特征检测参数设置。利用相邻帧之间特征点的匹配关系求得三维注册矩阵;将跟踪数据集与OpenGL生成的立方体模型进行跟踪注册仿真实验。仿真结果表明,改进ORB特征检测算法对待注册区域的检测具有尺度不变性、更高稳定性以及特征分布均匀,误差相比ORB算法降低约42%,该注册方法在运行过程中基本能够保证误差在7 mm以内;使得AR系统具有较好的实时性、精确性和鲁棒性。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

基于增强现实的自适应跟踪注册方法

针对增强现实跟踪注册过程中遮挡及尺度变换的问题,提出一种基于Camshift和ORB算法的自适应跟踪注册方法.将高斯背景建模和Camshift算法融入到跟踪过程中,实现对目标尺度变化的自适应跟踪;在特征匹配中,将图像与Gauss函数进行卷积和差分运算,得到稳定的尺度空间,使ORB算法提取的特征点具有尺度不变性.实验结果表明,该方法在遮挡、视角与旋转变化的情况下,具有良好的鲁棒性,满足了增强现实系统对实时性、稳定性和准确性的要求.     

融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

一种新的视频流动态目标跟踪算法

为了提高视频图像序列动态目标跟踪过程的跟踪效率,在分析现有算法的基础上,提出了一种基于卡尔曼预测和协方差模块更新相结合的动态目标跟踪新算法.通过卡尔曼预测,可以得到图像序列中下一帧的动态有效区域,实现了对目标区域的实时跟踪;同时,目标协方差矩阵的更新用于目标匹配区域的预测,提高了整个跟踪算法的抗干扰性能和鲁棒性.实验结果表明,与现有的基于静态模板的协方差跟踪算法相比,该算法在实时跟踪性能方面具有更好的跟踪效率.该方法用于视频图像序列动态目标跟踪是可行的、有效的.