图像匹配方法研究综述

目的 图像匹配作为计算机视觉的核心任务,是后续高级图像处理的关键,如目标识别、图像拼接、3维重建、视觉定位、场景深度计算等。本文从局部不变特征点、直线、区域匹配3个方面对图像匹配方法予以综述。方法 局部不变特征点匹配在图像匹配领域发展中最早出现,对这类方法中经典的算法本文仅予以简述,对于近年来新出现的方法予以重点介绍,尤其是基于深度学习的匹配方法,包括时间不变特征检测器（TILDE）、Quad-networks、深度卷积特征点描述符（DeepDesc）、基于学习的不变特征变换（LIFT）等。由于外点剔除类方法常用于提高局部不变点特征匹配的准确率,因此也对这类方法予以介绍,包括用于全局运动建模的双边函数（BF）、基于网格的运动统计（GMS）、向量场一致性估计（VFC）等。与局部不变特征点相比,线包含更多场景和对象的结构信息,更适用于具有重复纹理信息的像对匹配中,线匹配的研究需要克服包括端点位置不准确、线段外观不明显、线段碎片等问题,解决这类问题的方法有线带描述符（LBD）、基于上下文和表面的线匹配（CA）、基于点对应的线匹配（LP）、共面线点投影不变量法等,本文从问题解决过程的角度对这类方法予以介绍。区域匹配从区域特征提取与匹配、模板匹配两个角度对这类算法予以介绍,典型的区域特征提取与匹配方法包括最大稳定极值区域（MSER）、基于树的莫尔斯区域（TBMR）,模板匹配包括快速仿射模板匹配（FAsT-Match）、彩色图像的快速仿射模板匹配（CFAST-Match）、具有变形和多样性的相似性度量（DDIS）、遮挡感知模板匹配（OATM）,以及深度学习类的方法MatchNet、L2-Net、PN-Net、DeepCD等。结果 本文从局部不变特征点、直线、区域3个方面对图像匹配方法进行总结对比,包括特征匹配方法中影响因素的比较、基于深度学习类匹配方法的比较等,给出这类方法对应的论文及代码下载地址,并对未来的研究方向予以展望。结论 图像匹配是计算机视觉领域后续高级处理的基础,目前在宽基线匹配、实时匹配方面仍需进一步深入研究。     

像对匹配的模板选择与匹配

目的 图像模板匹配法常用于寻找像对间区域的对应关系,目前尚存的问题有：1）随着摄影基线的增加,待匹配区域在目标影像中有效信息逐渐降低;2）匹配区域的选择对匹配结果准确性影响较大。为了解决上述问题,提出一种基于分值图的图像模板选择与匹配方法。方法 首先利用图像多通道特征,提出采用抽样矢量归一化相关算法SV-NCC （sampling vector-normalized cross correlation）度量两幅图像间区域一致性,增加多通道特征间的有效信息对比,以此降低噪声与光照对模板匹配的影响。其次,在矢量空间中对图像进行分块聚类,将模板区域根据颜色特征分为几类,统计匹配图像的每个区域类中心颜色在待匹配图像中相似数量的倒数作为度量值,其值越大则颜色或颜色组合在目标图像中相似的概率越小,以该位置为基础选取模板进行匹配的准确率越高。最后,给出依据分值图排序模板区域的方法,并选取高分值区域作为最终的模板选择区域。结果 实验采用公共数据集从两个方面对本文方法进行客观评价：1）在摄影基线变换不大的情况下,SAD与SV-NCC方法的准确率均较高,达到90%以上。随着摄影基线的增大,采用SAD方法匹配准确率降低速率更快,在第6幅Graf图像的测试中匹配准确率低于20%,而SV-NCC方法匹配准确率高于40%;2）随着摄影基线的增大,落在高分值图区域匹配的正确率高于未落在高分值图区域匹配的正确率,由此可见高分值图区域的合理选择将提高模板匹配方法的准确率,验证了本文分值图与选择最佳模板匹配位置方法的有效性。结论 该方法从定量和定性比较上都体现了较好的像对匹配能力,其匹配结果适用于影像融合、超分辨率重建及3维重建等技术中的先期处理步骤。     

平滑约束与三角网比例剖分像对稠密匹配

目的 像对稠密匹配是视觉定位、影像融合、超分辨率重建等高级图像处理技术的基础,由于像对可能受多种摄影条件的影响,导致难以获得高效的稠密匹配结果,为此提出一种结合密度聚类平滑约束与三角网等比例剖分的像对稠密匹配方法。方法 为了快速获得同名点集,采用ORB（oriented FAST and rotated BRIEF）算法获取稀疏匹配点集,利用积分图筛选出以该特征点为中心的邻域中密度直达的特征点数目,计算像对间每个特征点对的偏移角、位置信息以及欧氏距离后进行密度估计聚类,通过平滑约束条件扩充聚类中的特征点对,从而快速获得内点集。证明了三角剖分在仿射变换下的等比例性质,以内点集为基础构建三角网,利用该性质分别计算像对中对应三角网内部等比例点的位置,并利用这些等比例点校验两个三角区域的相似性,进一步提纯内点集。最后,利用提纯后的内点集计算稠密匹配点位置,作为最后的稠密匹配结果。结果 在多个具有尺度缩放、重复纹理、旋转的公共数据集上进行像对匹配实验,实验结果表明,本文方法具备一定的抗旋转、尺度变化与重复纹理能力,能够较好地避免由于某些局部外点造成仿射变换矩阵估计不准确而影响整体平面稠密匹配准确率的情况,同时保证快速获得足够稠密的匹配结果。结论 实验结果验证了本文方法的有效性与实用性,其结果可应用于后期高级图像处理技术中。     

人体尺度在住宅室内设计中的应用

从客厅、卧室、书房、厨房、卫生间、贮藏室等各个住宅的功能分区阐述了人体尺度在住宅室内设计中的应用,以创造出更加合理、舒适的室内居住空间环境。     

面向重复纹理及非刚性形变的像对高效稠密匹配方法

目的 像对稠密匹配是3维重建和SLAM（simultaneous localization and mapping）等高级图像处理的基础,而摄影基线过宽、重复纹理、非刚性形变和时空效率低下等问题是影响这类方法实用性的主要因素,为了更好地解决这类问题,本文提出一种面向重复纹理及非刚性形变的高效稠密匹配方法。方法 首先,采用DeepMatching算法获得降采样后像对的匹配点集,并采用随机抽样一致算法剔除其中外点。其次,利用上一步得到的匹配结果估计相机位姿及缩放比例,以确定每个点对稠密化过程中的邻域,再对相应点对的邻域提取HOG描述符并进行卷积操作得到分数矩阵。最后,根据归一化后分数矩阵的数值以及下标距离的方差确定新的匹配点对以实现稠密化。结果 在多个公共数据集上采用相同大小且宽高比为4：3的像对进行实验,实验结果表明,本文方法具备一定的抗旋转、尺度变化与形变的能力,能够较好地完成宽基线条件下具有重复纹理及非刚性形变像对的匹配。与DeepMatching算法进行对比实验,本文方法在查准率、空间效率和时间效率上分别提高了近10%、25%和30%。结论 本文提出的稠密匹配方法具有较高的查准率和时空效率,其结果可以运用于3维重建和超分辨率重建等高级图像处理技术中。