定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

对数极坐标系下尺度不变特征点的检测与描述

目的 当前国际流行的SIFT算法及其改进算法在检测与描述特征点时基于高斯差分函数,存在损失图像高频信息的缺陷,从而导致图像匹配时其性能随着图像变形的增加而出现急剧下降。针对SIFT算法及其改进算法的这一缺陷,本研究提出了一种新的无图像信息损失的、在对数极坐标系下的尺度不变特征点检测与描述算法。方法 本研究提出的尺度不变特征点检测与描述算法首先将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,并以此矩形图块为基础对采样点进行特征点检测与描述符提取;该算法使用固定宽度的窗口在采样点的对数极坐标径向梯度图像的log_t^r轴上进行移动以判断该点是否为特征点并计算该点的特征尺度,并在具有局部极大窗口响应的特征尺度位置处提取特征点的描述符。该算法的描述符基于对数极坐标系下的矩形图块的灰度梯度的幅值与角度,是一个192维向量,并具有对于尺度、旋转、光照等变化的不变性。结果 本研究采用INRIA数据组和Mikolajczyk提出的匹配性能指标对SIFT算法、SURF算法和提出的尺度不变特征点检测与描述算法进行比较。与SIFT算法和SURF算法相比,提出的尺度不变特征点检测与描述算法在对应点数、重复率、正确匹配点数和匹配率等方面均具有一定优势。结论 提出了一种基于对数极坐标系的图像匹配算法,即将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,这样在特征点的检测过程中,可以有效规避SIFT算法因为采用DoG函数而造成的高频信息损失;在描述符提取过程中,对数极坐标系可以有效地减少图像的变化量,从而提高了匹配性能。     

实时鲁棒的特征点匹配算法

目的 针对传统的图像特征点匹配算法数据量大,计算耗时长的特点,提出一种实时鲁棒的特征点匹配算法（RRM）。方法 通过微分操作确定图像的边缘区域,找出边缘区域中很有可能成为特征点的锚点,即梯度局部最大的点。对于每个检测出来的特征点,通过计算Intensity Centroid来确定特征点的方向,并且使用改进的Brief来对特征点进行描述,使之具有旋转不变性。最后,结合Hamming距离和对称匹配检验对特征点进行匹配。结果 本文算法与多种算法进行对比,在光照发生变化的情况下,RRM表现出明显的优越性和稳定性,正确匹配率达到83%左右,而其他算法的准确匹配率随着光照的变暗明显下降;在视角、尺度和旋转变化条件下,RRM也具有较高的准确匹配率。结论 实验结果表明,RRM在保证匹配精度的前提下,有效地解决了传统特征点匹配方法中的缺点。因此,本文算法能更好地应用于图像拼接、目标跟踪和对象识别等领域。     

像对匹配的模板选择与匹配

目的 图像模板匹配法常用于寻找像对间区域的对应关系,目前尚存的问题有：1）随着摄影基线的增加,待匹配区域在目标影像中有效信息逐渐降低;2）匹配区域的选择对匹配结果准确性影响较大。为了解决上述问题,提出一种基于分值图的图像模板选择与匹配方法。方法 首先利用图像多通道特征,提出采用抽样矢量归一化相关算法SV-NCC （sampling vector-normalized cross correlation）度量两幅图像间区域一致性,增加多通道特征间的有效信息对比,以此降低噪声与光照对模板匹配的影响。其次,在矢量空间中对图像进行分块聚类,将模板区域根据颜色特征分为几类,统计匹配图像的每个区域类中心颜色在待匹配图像中相似数量的倒数作为度量值,其值越大则颜色或颜色组合在目标图像中相似的概率越小,以该位置为基础选取模板进行匹配的准确率越高。最后,给出依据分值图排序模板区域的方法,并选取高分值区域作为最终的模板选择区域。结果 实验采用公共数据集从两个方面对本文方法进行客观评价：1）在摄影基线变换不大的情况下,SAD与SV-NCC方法的准确率均较高,达到90%以上。随着摄影基线的增大,采用SAD方法匹配准确率降低速率更快,在第6幅Graf图像的测试中匹配准确率低于20%,而SV-NCC方法匹配准确率高于40%;2）随着摄影基线的增大,落在高分值图区域匹配的正确率高于未落在高分值图区域匹配的正确率,由此可见高分值图区域的合理选择将提高模板匹配方法的准确率,验证了本文分值图与选择最佳模板匹配位置方法的有效性。结论 该方法从定量和定性比较上都体现了较好的像对匹配能力,其匹配结果适用于影像融合、超分辨率重建及3维重建等技术中的先期处理步骤。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

基于相似三角形的SIFT错误匹配点剔除算法研究

图像匹配是图像处理应用于诸多领域的一项关键技术,基于不变特征的图像匹配是近年来图像匹配的研究热点。尺度不变特征是最有效的平移、尺度、旋转和亮度局部不变特征之一,但该算法一般会产生大量的错误匹配点。首先给出了交叉线和"一对多"类型的错误匹配点的剔除方法。然后针对一般性错误匹配点,提出了一种基于相似三角形的剔除方法,并通过实验将该算法与另外两种常用剔除算法进行了比较,证实本文提出的方法速度更快,且在剔除错误匹配点的同时保留了较多的正确匹配点。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

有约束Patch-Match框架下的非刚体匹配算法

目的 非刚性物体进行匹配时,往往需要对图像中存在的非刚性形变目标进行快速精确的配准,进而实现对图像的后续处理和分析,实现快速而准确的非刚体匹配显得尤为重要。针对传统特征点匹配方法在非刚性物体匹配中准确性差的问题,本文提出了一种基于DAISY算子和有约束Patch-Match的非刚体密集匹配算法。方法 首先对参考图像和待匹配图像生成DAISY特征描述子,其次对两幅图像进行超像素分割,形成相互邻接但没有重叠的超像素块结构,并以其为单元,计算初始位置上对应每一个像素的DAISY特征算子聚合代价。然后,采用Patch-Match算法对整幅图像进行传播和变异,在变异过程中,通过图像预处理和分析得到的先验知识对位置标签的变异窗口进行局部空间约束,使得每个像素的位置标签在该空间范围内随机更新,计算新的聚合代价,保留代价较小的位置标签,重复迭代此过程,直到聚合代价不发生变化或者达到最大迭代次数为止。结果 实验选取了标准数据集、10幅分别由TFDS（the trucking fault dynamic image detection system）线阵列相机和框幅式相机采集的包含非刚体的图像进行匹配,均取得了较好的匹配效果,经验证,本文方法的匹配精度为86%,误匹配点的平均匹配误差为5个像素左右,是传统基于SIFT特征光流匹配方法误差的一半,并且本文采用的DAISY算子在特征提取速度上是Dense SIFT（dense scale invariant feature transform）特征提取算法的2~3倍,大大提升了图像匹配的效率。结论 本文提出了一种非刚体密集匹配算法,针对非刚体变化的不确定性采用密集特征点进行最优化搜索匹配。本文算法对包含小范围非刚性变化的图像匹配上具有较好的适应性,且匹配精度高,视觉效果好,鲁棒性强。     

具有光照鲁棒的图像匹配方法

针对现有的基于局部特征的图像匹配算法对光照变化敏感、匹配正确率低等问题，提出一种具有光照鲁棒性的图像匹配算法。首先使用实时对比保留去色（RTCP）算法灰度化图像，然后利用对比拉伸函数模拟不同光照变换对图像的影响从而提取抗光照变换特征点，最后采用局部强度顺序模式建立特征点描述符，根据待匹配图像局部特征点描述符的欧氏距离判断是否为成对匹配点。在公开数据集上，所提算法与尺度不变特征变换（SIFT）算法、加速鲁棒特征（SURF）算法、"风"（KAZE）算法和ORB算法在匹配速度和匹配正确率上进行了对比实验。实验结果表明：随着图像亮度差异的增加，SIFT算法、SURF算法、"风"（KAZE）算法和ORB算法匹配正确率下降迅速，所提算法下降缓慢并且正确率均高于80%；所提算法特征点检测较慢和描述符维数较高，平均耗时为23.47 s，匹配速度不及另外四种算法，但匹配质量却远超过它们。对实时性要求不高的系统中，所提算法可以克服光照变化对图像匹配造成的影响。     

局部不变特征综述

局部不变特征是近年来计算机视觉领域的研究热点。局部不变特征在宽基线匹配、特定目标识别、目标类别识别、图像及视频检索、机器人导航、场景分类、纹理识别和数据挖掘等多个领域得到了广泛的应用。本文基于局部不变特征检测、局部不变特征描述和局部不变特征匹配3个基本问题,综述了文献中现有的局部不变特征研究方法,并比较了各类方法的优缺点。根据特征层次的不同,局部不变特征检测方法可以分为角点不变特征、blob不变特征和区域不变特征检测方法3类。局部不变特征的描述方法可以分为基于分布的描述方法、基于滤波的描述方法、基于矩的描述方法和其他描述方法。局部不变特征匹配的研究主要集中在相似性度量、匹配策略和匹配验证3个方面。最后在分析各类研究方法的基础上,总结了局部不变特征研究目前存在的一些问题及可能的发展方向。     

基于径向基神经网络的立体匹配算法*

针对双目视觉中的图像立体匹配问题,提出了一种基于径向基神经网络的立体匹配算法。该算法提取图像的尺度不变特征变换（SIFT）特征建立特征匹配矩阵,对特征匹配向量进行约简,最后将约简的特征匹配向量输入径向基神经网络进行识别输出。仿真和实际图像实验表明,该算法的匹配正确率比标准的SIFT有所到提高。     

结合轮廓与形状特征的仿射形状匹配

目的 针对仿射变换下形状匹配中存在的描述子对形状的描述能力不足,以及描述子计算耗时大的问题,改进基于所有图像点投影的方法,提出一种利用轮廓计算投影面积的仿射形状匹配算法。方法 该算法分为粗匹配和精匹配两个阶段。粗匹配阶段以CSS角点作为备选特征点,首先统计轮廓投影面积分布作为特征点描述子;然后利用动态规划蚁群算法匹配两幅图片公共特征点序列,并将匹配好的特征点序列记为对应的新特征点;最后采用该新特征点划分目标曲线,得到对应的轮廓曲线;这一阶段的目的是对形状的筛选以及寻找一致的轮廓特征点,同时完成轮廓曲线的划分。精匹配阶段,采用小波仿射不变描述子,对粗匹配阶段匹配代价最小的5%的目标进行对应曲线匹配,得到精匹配阶段的匹配代价,从而实现对仿射目标的识别;精匹配弥补了描述子对轮廓细节描述不足的问题。结果 算法的平均检索速度比传统基于形状投影分布描述子提高44.3%,在MPEG-7图像库上的检索效果为98.65%,在MPEG-7仿射图像库上的查准率与查全率综合评价指标比传统的基于形状投影分布描述子高3.1%,比形状上下文高25%。结论 本文算法匹配效果好,效率高,抗噪性强,解决了仿射描述子计算速度慢、描述能力不足的问题,能有效地应用于仿射形状匹配与检索领域。     

多重约束条件下的LBD描述子与直线段匹配

目的 针对直线描述子匹配算法缺乏有效的几何约束,且易受弱纹理、尺度变化的影响,提出一种结合多重约束条件的LBD描述子的直线段匹配算法（LBDs）。方法 该算法以LSD算法提取的直线段作为匹配基元,利用SIFT匹配得到的同名点构建同名三角网约束确定候选直线;参考影像上以目标直线段为中心轴建立该直线段的矩形支撑域;根据目标直线段端点及其支撑域四角点在搜索影像上的核线约束建立候选直线段的对应支撑域;利用仿射变换统一目标直线段及候选直线段支撑域的大小;将直线段支撑域分解为大小相等的条形带,通过计算每个条形带的描述符得到该直线段的描述子,依次完成目标直线段与候选直线段LBD描述子的构建;分别计算目标直线段与每个候选直线段描述子向量间的欧氏距离,将满足最近邻距离比准则的候选直线段作为匹配结果;最后选取角度约束对匹配结果检核,确定同名直线。结果 实验选取网上公开的3组分别存在角度、旋转、尺度变换的近景影像对作为实验数据,采用LBDs分别对其进行直线段匹配实验,并与其他直线段匹配算法进行对比分析,实验结果表明,LBDs获取同名直线数目约为其他算法的1.061.41倍,匹配正确率也提高了2.411.6个百分点,从匹配效率上来看,LBDs更为耗时,但兼顾该算法匹配获得同名直线数目、匹配正确率及运行时间,LBDs的鲁棒性更强,匹配结果的准确性与可靠性较高。结论 结合多重约束条件构建的LBD描述子对于存在角度、旋转和尺度变化的影像进行直线匹配过程中具有稳定性。     

点线特征融合的误匹配剔除算法

特征匹配作为计算机视觉的一项关键技术而备受关注。近年来,基于描述子的特征点匹配技术取得了一系列突破性进展,但曲线长度不一、端点定位不准确以及周围包含的重复性纹理较多等因素,导致了曲线匹配研究依旧是一个极具挑战性的热点研究课题,且现有曲线匹配方法大多出现匹配总数少、匹配正确率低的问题。为增加特征匹配的总数和正确率,利用特征点和特征曲线的位置关系提出一种点线特征融合的误匹配剔除算法(Point Line feature Fusion,PLF)。首先定义点到曲线的距离,利用点、曲线描述子提取图像的点、线特征;其次确定落入匹配曲线对应支撑区域内的匹配点对,并根据匹配点组和曲线间的距离约束剔除错误曲线匹配;最后利用点线距离约束剔除匹配曲线支撑区域内的错误点匹配。实验选取了3种不同的点线组合,即SIFT技术提取的点特征分别与IOCD曲线描述子、IOMSD曲线描述子、GOCD曲线描述子提取的曲线特征相融合, 验证算法 对多种点、线描述子具有适用性,且该算法不仅适用于特征点与特征曲线的融合,亦适用于特征点与特征直线的融合,从而验证了其对多种图像特征具有适用性。实验结果表明,在旋转、视角变化、光照变化、压缩、噪音、模糊等变换条件下,该算法均能有效提高曲线特征匹配的匹配总数和匹配正确率,同时提高点匹配的正确率。     

Harris相关与特征匹配

基于图像梯度提出一种图像特征,称为Harris相关.应用Harris相关特征,构造图像特征描述子,包括特征点描述子、直线描述子和曲线描述子.这些描述子的构造较简单,对图像旋转与图像亮度的线性变化具有不变性.直线与曲线描述子的构造方法为直线和曲线的匹配提供一种思路.实验表明,应用Harris相关构造的特征点描述子对图像变化表现出较好性能,直线与曲线描述子在实际图像中取得较好的匹配结果.     

一种起始点无关的小波系数形状匹配

小波变换的多分辨率特征使其在计算机视觉中得到广泛的应用,在形状匹配中,小波变换对起始点的依赖制约了小波变换的应用。为了克服小波变换对起始点的依赖,引入Zernike矩,提出一种起始点无关的小波系数形状匹配算法。对输入图像进行预处理后提取目标轮廓,生成具有平移、尺度不变的形状链状表达,并通过小波变换进行多尺度分析。最后计算各个尺度下的各阶Zernike矩,来解决小波变换的起始点问题,实现形状表达的旋转不变性。实验结果表明该算法适用于轮廓较明显的目标,同时具有速度快、精度高、鲁棒性强的优点。     

基于角仿射不变的特征匹配

同一场景的不同图像匹配是计算机视觉中的一个基本问题，在诸如三维重建、对象识别和分类、图像配准和相机自校正等应用中，特征匹配都是一个关键步骤。为解决三维场景重建问题，通过改进目前特征匹配的不足，提出了一种基于角仿射不变的特征匹配算法。该方法是使用角作为图像匹配选取的特征，通过仿射不变处理来消除图像缩放、扭曲、旋转和平移产生的影响，实验表明，该算法具有良好的匹配性能，可以对差异较大的图像对进行特征匹配。