图像匹配方法研究综述

目的 图像匹配作为计算机视觉的核心任务,是后续高级图像处理的关键,如目标识别、图像拼接、3维重建、视觉定位、场景深度计算等。本文从局部不变特征点、直线、区域匹配3个方面对图像匹配方法予以综述。方法 局部不变特征点匹配在图像匹配领域发展中最早出现,对这类方法中经典的算法本文仅予以简述,对于近年来新出现的方法予以重点介绍,尤其是基于深度学习的匹配方法,包括时间不变特征检测器（TILDE）、Quad-networks、深度卷积特征点描述符（DeepDesc）、基于学习的不变特征变换（LIFT）等。由于外点剔除类方法常用于提高局部不变点特征匹配的准确率,因此也对这类方法予以介绍,包括用于全局运动建模的双边函数（BF）、基于网格的运动统计（GMS）、向量场一致性估计（VFC）等。与局部不变特征点相比,线包含更多场景和对象的结构信息,更适用于具有重复纹理信息的像对匹配中,线匹配的研究需要克服包括端点位置不准确、线段外观不明显、线段碎片等问题,解决这类问题的方法有线带描述符（LBD）、基于上下文和表面的线匹配（CA）、基于点对应的线匹配（LP）、共面线点投影不变量法等,本文从问题解决过程的角度对这类方法予以介绍。区域匹配从区域特征提取与匹配、模板匹配两个角度对这类算法予以介绍,典型的区域特征提取与匹配方法包括最大稳定极值区域（MSER）、基于树的莫尔斯区域（TBMR）,模板匹配包括快速仿射模板匹配（FAsT-Match）、彩色图像的快速仿射模板匹配（CFAST-Match）、具有变形和多样性的相似性度量（DDIS）、遮挡感知模板匹配（OATM）,以及深度学习类的方法MatchNet、L2-Net、PN-Net、DeepCD等。结果 本文从局部不变特征点、直线、区域3个方面对图像匹配方法进行总结对比,包括特征匹配方法中影响因素的比较、基于深度学习类匹配方法的比较等,给出这类方法对应的论文及代码下载地址,并对未来的研究方向予以展望。结论 图像匹配是计算机视觉领域后续高级处理的基础,目前在宽基线匹配、实时匹配方面仍需进一步深入研究。     

基于双分支特征融合的医学报告生成方法

医学图像的全局特征在基于深度学习的医学影像报告自动生成任务中发挥着重要作用,传统方法通常仅使用单分支卷积神经网络提取图像语义特征,注重局部细节特征的提取,但缺乏对医学图像全局特征的关注。提出一种新的医学影像报告生成方法 DBFFN,基于双分支特征融合,结合卷积神经网络与视觉Transformer各自在图像特征提取上的优势,分别提取给定医学图像的全局特征和局部特征,在计算图像全局关系的同时关注局部细微的语义信息。针对医学图像的特征融合问题,设计一种多尺度特征融合模块,对来自两个分支的图像特征进行自适应尺度对齐,并结合矩阵运算方法和空间信息增强方法有效融合全局特征与局部特征内部包含的语义信息。在IU-X-Ray数据集上的实验结果表明,DBFFN方法的BLEU-1～BLEU-4,METEOR,ROUGE-L指标平均值分别为0.496,0.331,0.234,0.170,0.214,0.370,优于HRNN、HRGR、CMAS-RL等方法,在医学影像报告自动生成任务上具有有效性。     

光栅立体视觉三维表面重建系统及其图像处理方法(一)

文章对基于立体视觉与网格光栅投影的三维表面重建系统及其图像处理中的一部分:图像特征提取进行了介绍。该方法基于立体视觉,结合网格光栅投影,把被动的立体视觉与主动的非结构光光栅投影相结合,为后续的特征提取与立体图像匹配制造了方便。在网格图像的特征提取中,该文根据系统特点及图像特征,采用一种简单的谷底提取算法即可有效实现网格图像的特征线、特征点的提取。     

基于局部小波矩的图像匹配算法

该文将图像的视觉不变矩特征引入到图像匹配领域中,通过提取图像的局部小波矩,提出了一种基于局部小波矩的图像匹配算法。并分别对所提出的算法,基于一般不变矩特征的匹配算法有关实验数据进行了对比分析,结果表明了该文所提出算法的可行性和有效性。     

基于视觉感知特征的手机应用流量识别方法

由于大多数手机应用通过HTTP协议进行通信,传统的端口识别方法已经基本失效。另外,深度包检测和基于流统计特征的机器学习方法均存在手工设计特征和标记样本的困难。借鉴计算机视觉领域的优势,提出了一种基于视觉感知特征的手机应用流量识别方法。首先,将应用层载荷数据转换为视觉上有意义的图像,并从网络关口采集真实数据,建立了样本数据集IMTD17;然后,设计了具有视觉特征提取能力的卷积感知网络模型2D-CPN,利用卷积自编码实现了对大量无标记样本的学习,并通过多类型回归建立起从隐层特征到应用类型的映射。实验结果表明,该方法的流量识别准确率满足实际使用的需求。     

一种基于成像光路的图像匹配技术

图像匹配是计算机视觉领域的一个关键技术。针对图像匹配过程中特征提取运算量大、速度慢、匹配精度低的问题,提出一种基于成像光路的图像匹配技术。建立一种基于双目视觉的摄像机模型,根据该摄像机模型的成像光路确定摄像机视场交汇的几何模型,由几何关系估算出两幅图像中可能存在图像重叠的最大区域,再采用传统的特征匹配算法在该区域内实现图像的特征匹配。实验结果表明,相较于在整幅图像中提取特征点进行匹配,该方法能有效地提高匹配的速度,降低误匹配的发生几率。     

距离图像局部特征提取方法综述

基于距离图像的三维目标识别是计算机视觉领域的研究热点,而局部特征提取则是实现遮挡和复杂场景下三维目标识别的关键。文中首先介绍距离图像及其表示形式,详细分析法向量、曲率和形状索引等微分几何属性。进而将局部特征检测方法分类为固定尺度和自适应尺度方法,将局部特征描述方法分类为基于深度信息、基于点云空间分布和基于几何属性分布的方法,并对各种具体算法进行阐述、分析和定性评价。最后对现有方法进行归纳总结,并指出所面临的挑战及进一步研究的方向。     

基于Harris角点匹配的工具识别方法

图像匹配对于工具识别过程具有重要意义,传统的图像匹配算法匹配过程复杂导致匹配速度慢,在实际应用中有局限。为了提高工具识别的效率,通过分析工具图像特征,设计出一种基于Harris角点特征的图像匹配方法进行工具识别。首先用Harris算法提取工具模板图像与搜索图像角点特征,然后使用归一化互相关匹配算法计算工具模板图像与搜索图像角点特征的相关值,进而确定匹配点对,最后采用RANSAC去除错误匹配点对。通过实际数据验证,基于Harris角点特征的图像匹配方法与传统方法相比,不仅识别速度快,鲁棒性好,而且在实际工程应用中更具适用性。     

一种基于随机亮度差量化的二进制特征描述算法-HHME2013（80）

目的：传统的基于浮点型向量表示的图像局部特征描述子（如SIFT、SURF等）已经成为计算机视觉研究和应用领域的重要工具,然而传统的高维特征向量在基于内容的大规模视觉检索应用中存在着维度灾难的问题,这使得传统浮点型视觉特征在大规模多媒体数据应用中面临严峻挑战。为了解决浮点型特征的计算复杂度高以及存储空间开销大的问题,越来越多的计算机视觉研究团队开始关注和研究基于二进制表达的局部特征并取得了重要进展。方法：本文首先介绍了二进制特征的相关工作,并对这些方法进行了分类研究,在此基础上提出了基于亮度差量化的特征描述算法。有别于传统二进制特征描述算法,本文提出的方法首先对图像局部进行随机像素点对采样,并计算像素点对之间的亮度差,通过对亮度差值作二进制量化得到图像的局部二进制特征。结果：本文提出的算法在公共数据集上与目前主流的几种二进制特征提取算法进行了比较评价,实验结果表明,本文提出的二进制特征在特征匹配准确率和召回率上超过目前主流的几种二进制描述子,并且同样具有极高的计算速度和存储效率。结论：通过实验验证,本文提出的二进制特征在图像条件发生变化时仍然能保持一定的鲁棒性。     

基于改进CNN-RANSAC的水下图像特征配准方法

水对光的吸收和散射效应降低了水下图像的质量,水下图像的可视范围受到限制,复杂水下场景下的鲁棒性和精确性问题使得特征提取与匹配成为一项具有挑战性的任务。为了更好地配准水下图像,提出了一种改进CNN-RANSAC的水下图像特征配准方法,首先通过基于深度卷积神经网络的水下图像增强方法对水下图像进行增强预处理,通过水下图像分类数据集迁移学习训练VGGNet-16网络框架,利用修改后的网络框架进行特征提取,生成鲁棒的多尺度特征描述符与特征点,经过特征粗匹配与动态内点选择,使用改进的RANSAC方法剔除误匹配点。在大量水下图像数据集上进行了充分的特征提取和特征匹配实验,与基于SIFT和SURF的配准方法相比,该方法能够检测到更多的特征点,实现了匹配正确率的大幅度提高。     

基于深度学习LoFTR算法的路面图像拼接

相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR (detector-free local feature matching with Transformers)算法实现路面图像的拼接,并结合路面图像的特点,提出局部拼接方法缩短算法运行的时间.先对相邻图像做分割处理,再通过LoFTR算法产生密集特征匹配,根据匹配结果计算出单应矩阵值并实现像素转换,然后通过基于小波变换的图像融合算法获得局部拼接后的图像,最后添加未输入匹配网络的部分图像,得到相邻图像的完整拼接结果.实验结果表明,与基于SIFT (scale-invariant feature transform)、SURF (speeded up robust features)、ORB (oriented FAST and rotated BRIEF)的图像拼接方法比较,研究所提出的拼接方法对路面图像的拼接效果更佳,特征匹配阶段产生的匹配结果置信度更高.对于两幅路面图像的拼接,采...     

参数合成空间变换网络的遥感图像一致性配准

目的 遥感图像配准是对多组图像进行匹配和叠加的过程。该技术在地物检测、航空图像分类和卫星图像融合等方面发挥着重要作用，主要有传统方法和基于深度学习的方法。其中，传统遥感图像配准算法在进行配准时会耗费大量人力，并且运行时间过长。而基于深度学习的遥感图像配准算法虽然减少了人工成本，提高了模型自适应学习的能力，但是算法的配准精度和运行时间仍有待提高。针对基于深度学习的配准算法存在的问题，本文提出了参数合成的空间变换网络对遥感图像进行双向一致性配准。方法 通过增加空间变换网络的深度、合成网络内部的参数对空间变换模型进行改进，并将改进后的模型作为特征提取部分的骨干网络，有效地提高网络的鲁棒性。同时，将单向配准方法改为双向配准方法，进行双向的特征匹配和特征回归，保证配准方向的一致性。然后将回归得到的双向参数加权合成，提高模型的可靠性和准确性。结果 将本文实验结果与两种经典的传统方法SIFT（scale-invariant feature transform）、SURF（speeded up robust features）对比，同时与近3年提出的CNNGeo（convolutional neural network architecture for geometric matching）、CNN-Registration（multi-temporal remote sensing image registration）和RMNet（robust matching network）3种最新的方法对比，配准结果表明本文方法不仅在定性的视觉效果上较为优异，而且在定量的评估指标上也有不错的效果。在Aerial Image Dataset数据集上，本文使用"关键点正确评估比例"与以上5种方法对比，精度分别提高了36.2%、75.9%、53.6%、29.9%和1.7%；配准时间分别降低了9.24 s、7.16 s、48.29 s、1.06 s和4.06 s。结论 本文所提出的配准方法适用于时间差异变化（多时相）、视角差异（多视角）与拍摄传感器不同（多模态）的3种类型的遥感图像配准应用。在这3种类型的配准应用下，本文算法具有较高的配准精度和配准效率。     

基于SSD算法的轻量化仪器表盘检测算法

在使用传统的图像识别算法对仪器表盘中的数字进行识别时,存在着流程繁琐,处理时间较长和检测效果不佳等问题。针对上述不足,提出了一种基于深度学习的轻量化仪器表盘检测算法,该算法以单发多尺度检测算法为基础,使用深度可分离卷积代替标准卷积设计特征提取网络,以提升特征表达能力和轻量化性能;同时提出了一种基于真实框分布构建锚框的流程,设计了能量化表达锚框匹配程度的指标——匹配率,促进构建匹配度更高且锚框数量更少的锚框方案。实验结果表明,所提算法具有较少的模型参数量和计算量,具有较高的检测精度,并且可在CPU环境下满足实时检测需求。     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world task-driven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)上与最新的5种散射去除方法进行了比较,相比于各指标中性能第2的算法,本文方法结果中梯度比指标R值平均提高了50.83%,属于感知质量指标的集成自然图像质量评价指标(integrated local natural image quality evaluator, IL-NIQE)值平均提高了6.33%,属于跨域目标检测指标的平均精准率(mean average precision, MAP)值平均提高了6.40%,平均查全率Recall值平均提高了7.79%。实验结果表明,本文方法结果在视觉质量和目标可识别层面都优于对比方法,并且本文方法对于高清视频的处理速度达50帧/s,且无需标注数据,因而在监控系统具有更高的实用价值。结论 本文方法可以同时满足雾霾天候下对采集视频进行人眼观看和使用识别算法进行跨域目标检测的需求,具有较强的应用意义。     

垃圾图像判别中的特征提取与选择研究*

对垃圾图像判别问题中的特征提取和特征选择研究现状进行了总结。从特征的可区分性、鲁棒性和提取效率三个方面比较了垃圾图像判别中的主要特征,分析了特征的优缺点。结合分类学习算法、仿真实验结果,对已有的主要特征选择和分析方法进行比对,为进一步研究特征提取、特征选择方法,提高垃圾图像分类器的性能和效率提供有价值的参考。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

基于多级金字塔卷积神经网络(MLPCNN)的快速特征表示方法

近年来,在机器视觉中基于卷积神经网络(CNN)的特征提取方法取得了令人惊叹的成果,主要原因是深度学习在多层和低维的特征表示上有着很大的优势。但是由于在大尺度图像中卷积滤波的过程速度过慢,导致CNN参数调节困难、训练时间过长,针对这一问题,本文基于传统卷积神经网络(TCNN, Traditional convolution neural network)提出一种快速有效的多级金字塔卷积神经网络MLPCNN(Multi-level pyramid CNN)。这一网络使用权值共享的方法将低级的滤波权值共享到高级,保证CNN的训练只在较小尺寸的图像块上进行,加快训练速度。实验表明,在特征维数比较低的情况下,MLPCNN提取到的特征比传统的特征提取方法更加有效,在Caltech101数据库上,MLPCNN识别率达到81.32%,而且训练速度较TCNN网络提高了约2.5倍。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.