一种基于成像光路的图像匹配技术

图像匹配是计算机视觉领域的一个关键技术。针对图像匹配过程中特征提取运算量大、速度慢、匹配精度低的问题,提出一种基于成像光路的图像匹配技术。建立一种基于双目视觉的摄像机模型,根据该摄像机模型的成像光路确定摄像机视场交汇的几何模型,由几何关系估算出两幅图像中可能存在图像重叠的最大区域,再采用传统的特征匹配算法在该区域内实现图像的特征匹配。实验结果表明,相较于在整幅图像中提取特征点进行匹配,该方法能有效地提高匹配的速度,降低误匹配的发生几率。     

立体视觉中的双目匹配方法研究

本文首先对已有的双目立体视觉方法进行分析和总结 ,并依所选取的匹配特征和匹配方法的不同而将其分为利用灰度图像区域间相似性、特征点相关、边界或二阶导数过零点、二值拉普拉斯图像匹配、校正透视形变、动态规划、利用区域分割的结果和立体视觉连续性原理的各种演绎等类 ;然后对用金字塔图匹配边界基元的双目立体视觉方法进行了重点探讨 ;本文还对利用基极线约束实现匹配进行详细分析与推导     

基于改进SURF算法的双目视觉测量系统研究

针对双目立体测量中所使用的图像匹配算法精度不高的问题,提出了一种基于SURF算法的改进图像匹配算法并运用到双目立体测量系统中。首先运用SURF算法检测和描述图像对特征点、特征向量;其次采用双向特征向量匹配策略对匹配点集进行初始过滤;最后采用PROSAC算法根据极线约束几何模型对初始过滤后的匹配点集进行二次筛选,得到最终的优质匹配集合。实验表明,改进的SURF算法具有更高的匹配准确性和较好的算法实时性,运用改进SURF匹配算法的双目测量系统可实现更准确的定位测距。     

基于非线性扩散滤波的双目视觉跟踪与测量研究实现

针对双目视觉跟踪与测量技术的研究主要集中在缩短时间,精确性问题考虑不够充分;结合KAZE特征提取算法,利用卡尔曼预测对目标进行跟踪,提出一种基于图像匹配的双目视觉跟踪与测量算法;将KAZE特征提取算法和SIFT、SURF等算法进行仿真对比,结果表明KAZE算法具有更加出色的匹配率,而跟踪速度相当;运用KAZE算法与卡尔曼预测跟踪技术实现了基于Visual Studio环境下的双目视觉测量与跟踪系统,测试结果表明,该系统可进行有效的高精度测量。     

基于图像增强的月面特征提取与匹配方法

针对月面巡视探测器自主导航中的障碍识别问题,为了采集清晰有效的图形,使用一种基于图像增强的方法结合尺度不变的特征点提取和匹配新的算法来识别障碍物。使用图像增强方法预处理图像,用多尺度特征极值点检测的SIFT方法,提取特征,进行左右双目图像的特征匹配。与传统视觉算法相比,可以解决仿真试验场较差的光源环境,并提高对不同光照环境图像的特征提取和匹配的鲁棒性。在仿真试验场的双目视觉图像匹配中,仿真实验取得较好的效果。     

基于显著性检测的双目测距系统

为了提高双目视觉测距系统中图像匹配的实时性与测距的精度,提出一种将显著性检测与焦距拟合相结合的双目测距方法。首先对双目相机进行畸变矫正,并利用双目相机成像的特点拟合相机焦距与目标距离的关系,随后对所得图像进行显著性检测,并提取目标区域,最后,利用surf算子对提取出的区域进行特征匹配,将匹配点代入测距模型中得到目标物体的距离。结果表明:显著性检测方法明显提升算法执行速度,焦距拟合降低双目测距模型误差,明显提升双目测距精度。     

双目视觉小波域SIFT匹配与极线约束算法研究

研究双目立体视觉技术,特征的提取和匹配是双目视觉的最基本的问题。目前,SIFT已经被证明鲁棒性最好的局部不变特征描述符。但是SIFT算法产生的误匹配较多,精度偏低,为了解决这一问题,同时降低算法特征提取与匹配的复杂度,达到双目立体视觉实时性的要求,文中提出了一种结合小波变换和SIFT特征点的双目立体视觉匹配方法。首先,对双目视觉系统采集的左、右图像进行小波分解,把分解得到的低频图像作为输入,用SIFT算法进行特征点的初始匹配,再利用极线约束的理论求得精确匹配。实验结果表明,该方法具有较强的适应性,能够在减少误匹配的同时,大大加快运算速度。     

图像匹配中的性能优化

图像匹配是计算机视觉和图像处理领域中一项非常重要工作。提高图像匹配的速度和匹配的结果精度是图像匹配研究要达到的最终目的。该文针对图像匹配方法进行了研究。主要研究了两类图像匹配算法:直接基于图像灰度信息的算法和基于图像特征的匹配算法。对传统的图像匹配理论中的常用的图像匹配技术和方法做一个归纳介绍,对具有代表性的算法进行了分析评价,归纳出一种图像匹配的改进策略。依据信息论的原理,发现图像模板匹配中存在着信息冗余,通过去除冗余信息,利用比较少的可利用点对进行匹配。先对要匹配的模板图像做个条件的判断,对满足条件判断的模板图像先选出信息含量大的行或列,然后在该行或行上进行匹配,这种算法的优点是特征序列的提取简单快速。它继承了特征提取的特点,同时也改进的传统模板匹配算法。实验结果表明,这种算法大大减少了冗余点之间的计算,从而加快了图像匹配的效率,同时匹配的精度也保持相对稳定。     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.     

基于奇异值分解结合Harris的快速匹配方法研究

针对室内环境下视觉图像匹配速度慢、精度低等问题,提出一种基于奇异值分解结合Harris的快速匹配新方法.随机采集两组相邻的视觉图像作为研究对象,利用奇异值分解(SVD)对视觉图像进行压缩与重构.利用Harris角点检测算法对重构后的视觉图像进行特征角点的检测,然后结合归一化互相关(NCC)算法对视觉图像的特征角点进行一次粗匹配,最后采用随机抽样一致性(RANSAC)方法对粗匹配结果进行校正,实现特征点对的精匹配.实验表明:与传统的归一化互相关模板匹配算法相比,该算法不仅将视觉图像在室内环境下的误匹配率降低至2.35％,而且图像匹配的速率提升了3倍.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于SIFT特征描述子的立体匹配算法

目前,立体匹配是计算机视觉领域最活跃的研究课题之一。为了克服传统的局部特征匹配算法对噪声和图像灰度的非线性变换敏感的缺点,本文提出了一种新的基于SIFT(Scale Invariant Feature Transform)特征描述子的立体匹配算法。该算法利用图像梯度信息,构造基于三维梯度方向直方图的SIFT特征描述子作为区域特征描述符,通过立体视觉理论中的极线约束将匹配特征的搜索空间从二维降到一维,最后以基于特征描述子欧氏距离的最近邻匹配得到匹配结果。实验结果表明,该方法匹配精度高,对图像灰度的非线性变换比较鲁棒,可以应用于对匹配算法鲁棒性要求比较高的立体视觉系统中。     

图像匹配方法研究综述

目的 图像匹配作为计算机视觉的核心任务,是后续高级图像处理的关键,如目标识别、图像拼接、3维重建、视觉定位、场景深度计算等。本文从局部不变特征点、直线、区域匹配3个方面对图像匹配方法予以综述。方法 局部不变特征点匹配在图像匹配领域发展中最早出现,对这类方法中经典的算法本文仅予以简述,对于近年来新出现的方法予以重点介绍,尤其是基于深度学习的匹配方法,包括时间不变特征检测器（TILDE）、Quad-networks、深度卷积特征点描述符（DeepDesc）、基于学习的不变特征变换（LIFT）等。由于外点剔除类方法常用于提高局部不变点特征匹配的准确率,因此也对这类方法予以介绍,包括用于全局运动建模的双边函数（BF）、基于网格的运动统计（GMS）、向量场一致性估计（VFC）等。与局部不变特征点相比,线包含更多场景和对象的结构信息,更适用于具有重复纹理信息的像对匹配中,线匹配的研究需要克服包括端点位置不准确、线段外观不明显、线段碎片等问题,解决这类问题的方法有线带描述符（LBD）、基于上下文和表面的线匹配（CA）、基于点对应的线匹配（LP）、共面线点投影不变量法等,本文从问题解决过程的角度对这类方法予以介绍。区域匹配从区域特征提取与匹配、模板匹配两个角度对这类算法予以介绍,典型的区域特征提取与匹配方法包括最大稳定极值区域（MSER）、基于树的莫尔斯区域（TBMR）,模板匹配包括快速仿射模板匹配（FAsT-Match）、彩色图像的快速仿射模板匹配（CFAST-Match）、具有变形和多样性的相似性度量（DDIS）、遮挡感知模板匹配（OATM）,以及深度学习类的方法MatchNet、L2-Net、PN-Net、DeepCD等。结果 本文从局部不变特征点、直线、区域3个方面对图像匹配方法进行总结对比,包括特征匹配方法中影响因素的比较、基于深度学习类匹配方法的比较等,给出这类方法对应的论文及代码下载地址,并对未来的研究方向予以展望。结论 图像匹配是计算机视觉领域后续高级处理的基础,目前在宽基线匹配、实时匹配方面仍需进一步深入研究。     

Absence importance and its application to feature detection and matching

Feature detection and matching play important roles in many fields of computer vision, such as image understanding, feature recognition, 3D-reconstruction, video analysis, etc. Extracting features is usually the first step for feature detection or matching, and the gradient feature is one of the most used selections. In this paper, a new image feature-absence importance (AI) feature, which can directly characterize the local structure information, is proposed. Greatly different from the most existing features, the proposed absence importance feature is mainly based on the consideration that the absence of the important pixel will have a great effect on the local structure. Two absence importance features, mean absence importance (MAI) and standard deviation absence importance (SDAI), are defined and used subsequently to construct new algorithms for feature detection and matching. Experiments demonstrate that the proposed absence importance features can be used as an important complement of the gradient feature and applied successfully to the fields of feature detection and matching.     

局部不变特征综述

局部不变特征是近年来计算机视觉领域的研究热点。局部不变特征在宽基线匹配、特定目标识别、目标类别识别、图像及视频检索、机器人导航、场景分类、纹理识别和数据挖掘等多个领域得到了广泛的应用。本文基于局部不变特征检测、局部不变特征描述和局部不变特征匹配3个基本问题,综述了文献中现有的局部不变特征研究方法,并比较了各类方法的优缺点。根据特征层次的不同,局部不变特征检测方法可以分为角点不变特征、blob不变特征和区域不变特征检测方法3类。局部不变特征的描述方法可以分为基于分布的描述方法、基于滤波的描述方法、基于矩的描述方法和其他描述方法。局部不变特征匹配的研究主要集中在相似性度量、匹配策略和匹配验证3个方面。最后在分析各类研究方法的基础上,总结了局部不变特征研究目前存在的一些问题及可能的发展方向。     

基于邻域灰度信息的Hausdorff距离图像匹配方法

针对可见光与红外图像由于成像机理不同引起的图像灰度值差异大、边缘轮廓不一致、传统基于灰度和基于特征的匹配方法匹配概率不高等问题,在分析了各种Hausdorff距离算法的前提下,引入可见光与红外图像的灰度信息,提出一种基于邻域灰度信息Hausdorff距离的图像匹配方法。该方法在计算图像边缘特征点相似性的基础上,增加了邻域归一化灰度方差计算,有效解决了由于边缘差异引起的Hausdorff距离算法对可见光/红外图像匹配概率不高的问题。经可见光与红外图像匹配的仿真实验表明,在各种条件下,该算法与传统Hausdorff距离算法相比,有效提高了在不同光照下图像的匹配效率以及对噪声的抗干扰性能。     

VisFM: Visual Analysis of Image Feature Matchings

Feature matching is the most basic and pervasive problem in computer vision and it has become a primary component in big data analytics. Many tools have been developed for extracting and matching features in video streams and image frames. However, one of the most basic tools, that is, a tool for simply visualizing matched features for the comparison and evaluation of computer vision algorithms is not generally available, especially when dealing with a large number of matching lines. We introduce VisFM, an integrated visual analysis system for comprehending and exploring image feature matchings. VisFM presents a matching view with an intuitive line bundling to provide useful insights regarding the quality of matched features. VisFM is capable of showing a summarization of the features and matchings through group view to assist domain experts in observing the feature matching patterns from multiple perspectives. VisFM incorporates a series of interactions for exploring the feature data. We demonstrate the visual efficacy of VisFM by applying it to three scenarios. An informal expert feedback, conducted by our collaborator in computer vision, demonstrates how VisFM can be used for comparing and analysing feature matchings when the goal is to improve an image retrieval algorithm.     

图像拼接中特征块的选取

在总结现有算法的基础上，对其不足进行了补充，提出了在二维直方图上用双门限对原始图像进行分割，经过标记，筛选等处理后，快速提取出匹配过程中所需的匹配模板，为后续匹配提供包含图像信息较多的特征块，使得最终能够成功匹配，并且提高了准确度。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。