视差图像配准技术研究综述

传统图像配准技术受限于严苛的初始输入已难以满足人们的需求,近年来,视差图像的配准逐渐成为图像拼接技术中的研究热点。基于视差形成原理介绍了视差图像配准的难点与一般流程。主要研究了基于特征的视差图像配准技术,对近年来视差图像配准的研究成果进行了归纳梳理,并从基于多平面对齐的图像配准、基于网格变形的图像配准以及缝合线驱动的图像配准三个方面进行阐述。通过对各种典型的视差图像配准算法的算法思想、特点以及局限性进行描述和比较,提供该领域研究现状的系统综述,并对视差图像配准技术的研究趋势进行了展望。     

特征点聚类高精度视差图像拼接

目的 针对不同视点下具有视差的待拼接图像中,特征点筛选存在漏检率高和配准精度低的问题,提出了一种基于特征点平面相似性聚类的图像拼接算法。方法 根据相同平面特征点符合同一变换的特点,计算特征点间的相似性度量,利用凝聚层次聚类把特征点划分为不同平面,筛选误匹配点。将图像划分为相等大小的网格,利用特征点与网格平面信息计算每个特征点的权重,通过带权重线性变换计算网格的局部单应变换矩阵。最后利用多频率融合方法融合配准图像。结果 在20个不同场景图像数据上进行特征点筛选比较实验,随机抽样一致性（random sample consensus, RANSAC）算法的平均误筛选个数为30,平均误匹配个数为8,而本文方法的平均误筛选个数为3,平均误匹配个数为2。对20个不同场景的多视角图像,本文方法与AutoStitch（automatic stitching）、APAP（as projective as possible）和AANAP（adaptive as-natural-as-possible）等3种算法进行了图像拼接比较实验,本文算法相比性能第2的算法,峰值信噪比（peak signal to noise ratio,PSNR）平均提高了8.7%,结构相似性（structural similarity,SSIM）平均提高了9.6%。结论 由本文提出的基于特征点平面相似性聚类的图像拼接算法处理后的图像保留了更多的特征点,因此提高了配准精度,能够取得更好的拼接效果。     

基于特征聚类的大视差图像拼接算法

针对大视差图像拼接过程中出现的错位、重影等问题,提出一种基于特征聚类的图像拼接算法。首先,以已匹配的特征点分布为依据在目标图像重叠区域构造泰森多边形。然后使用改进的AGNES层次聚类算法对特征点聚类,合并对应组内特征点所代表的泰森多边形,得到目标图像重叠区域的各个子平面。最后,求解对应子平面的单应性矩阵,并采取就近原则分配非重叠区域的单应性矩阵,对目标图像进行投影变换,得到拼接图像。实验结果表明,所提算法具有较高的配准精度,可有效改善大视差图像拼接过程中出现的误配准和局部失真问题。     

图像配准技术研究

图像配准技术是图像拼接技术最关键的步骤,图像配准的好坏直接决定了图像拼接结果的优劣。对图像配准工作进行了总结,介绍了基于区域的图像配准和基于特征的图像配准方法,并分析了各个方法的优缺点,同时指出了现有图像配准算法存在的问题和发展的方向。     

双目视差测距中的图像配准技术研究

双目视差测距是被动光电测距中的一种重要方法。主要就双目视差测距中的图像配准问题进行了探讨,找出了一种基于区域的快速匹配算法,同时比较了OpenCV中Block Matching块匹配法和Graph Cut图切割法,从而实现了基于Block Matching块匹配的双CCD测距系统,最后对实验结果进行了分析验证,结果证明该系统有效而实用。     

宽基线视差图像的拼接算法

针对两幅视差图像的拼接问题,提出了一种新算法,即利用Hessian仿射不变检测算子检测出特征区域,利用SIFT特征描述算子提取特征区域特征矢量,根据特征矢量的欧几里德距离来建立图像间的稀疏对应关系;由这些对应点稀疏地确定场景中的一些点,以这些点为顶点建立场景的三角面片近似,再据此将重叠区域重投影生成推扫式成像的中间部分图像。将中间部分推扫式成像图像和原左图像的左半部分以及原右图像的右半部分一起拼接生成大图像。利用实际图像进行的拼接实验表明该算法是一个有效的视差图像拼接算法。     

图像拼接中直线段配准的色彩细节融合方法

基于原始照片中存在的直线段信息, 以多融合源的直线段配准为融合约束, 提出一种用于图像拼接的色彩细节融合新方法。该方法在保证较好实时性的同时, 能较好地解决因不同光照条件和不同拍摄模式产生的多幅接接图像间的色彩不一致问题。实验结果验证了新算法的有效性。     

使用线约束运动最小二乘法的视差图像拼接

目的 图像配准是影响拼接质量的关键因素。已有的视差图象拼接方法没有解决匹配特征点对间的错误配准问题,容易引起不自然的拼接痕迹。针对这一问题,提出了使用线约束运动最小二乘法的配准算法,减少图像的配准误差,提高拼接质量。方法 首先,计算目标图像和参考图像的SIFT（scale-invariant feature transform）特征点,应用RANSAC（random sample consensus）方法建立特征点的匹配关系,由此计算目标到参考图像的最佳单应变换。然后,使用线约束运动最小二乘法分别配准两组图像：1）第1组是目标图像和参考图像;2）第2组是经单应变换后的目标图像和参考图像。第1组用逐点仿射变换进行配准,而第2组配准使用了单应变换加上逐点仿射变换。最后,在重叠区域,利用最大流最小割算法寻找最优拼接缝,沿着拼接缝评估两组配准的质量,选取最优的那组进行融合拼接。结果 自拍图库和公开数据集上的大量测试结果表明,本文算法的配准精度超过95%,透视扭曲比例小于17%。与近期拼接方法相比,本文配准算法精度提高3%,拼接结果中透视扭曲现象减少73%。结论 运动最小二乘法可以准确地配准特征点,但可能会扭曲图像中的结构对象。而线约束项则尽量保持结构,阻止扭曲。因此,线约束运动最小二乘法兼顾了图像结构的完整性和匹配特征点的对准精度,基于此配准模型的拼接方法能够有效减少重影和鬼影等人工痕迹,拼接结果真实自然。     

基于相关性的病理切片图像配准

尽管病理切片图像对配准的要求比较高,而现存的配准方法却难免会产生失配现象。为解决这一问题,提出了一种基于相关性的病理切片图像配准新算法。该算法是采用基于图片中两平行列(行)间的数据来抽取特征的方法。为了避免“干扰”的累积,该算法选择了差值曲线中最强的特征——最大包来作为模板的基元,并根据图片内容的相关性,利用最大包的分布作为模板来进行图像配准,从而降低了“干扰”的影响,使算法配准的稳定度比以前一些算法有较大的提高。实验证明,该算法不仅比较规整,稳定性高,而且计算速度也较快,是一种比较实用的图像配准算法。     

图像拼接方法综述

概述了图像拼接的基本理论和一般过程,分类介绍了各种图像配准方法的原理和优缺点,重点分析了基于特征的图像配准技术,详细阐述了随机采样一致算法在基于特征的图像配准技术中的应用.     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于控制点配准算法的无人机遥感影像自动无缝拼接技术

传统无人机遥感影像自动无缝拼接技术无法精准匹配影像信息,导致无人机遥感影像拼接结果出现大量缝隙,拼接效果差。因此提出了基于控制点配准算法的无人机遥感影像自动无缝拼接技术。遵循无人机影像成像原理,获取无人机遥感影像,并将数据以图像格式文件形式存储。设置阈值,剔除最邻近域和次邻域比值大于阈值的控制点,对影像坐标平移和缩放数据标准化处理,彻底消除坐标变换对图像配准影响。构建相似变换矩阵,获取新的控制点集,使用直接线性变换算法预估变换矩阵,得到线性解。经过粗、细配准,确定不同图像重叠区域。搜索最佳拼接线,使用加权平均融合法消除拼接缝,由此设计拼接流程。由实验结果可知,该技术能够精准匹配影像信息,检测到影像最大分辨率为1000*800,具有良好拼接效果。     

视差互信息引导下的立体航空影像与LiDAR点云自动配准

目的 从视差图反映影像景物深度变化并与LiDAR系统距离量测信息"同源"这一认识出发,提出一种基于视差互信息的立体航空影像与LiDAR点云自动配准方法.方法 本文方法分为3个阶段:第一、通过半全局匹配SGM(semi-gdabal matching)生成立体航空影像密集视差图;第二、利用航空影像内参数及初始配准参数(外方位元素)对LiDAR点云进行"针孔"透视成像,生成与待配准的立体航空影像空间分辨率、几何形变相接近且具有相同幅面大小的模拟灰度影像-LiDAR深度影像,以互信息作为相似性测度依据估计航空影像视差图与LiDAR深度影像的几何映射关系,进而以之为基础实现LiDAR点云影像概略相关;第三、以LiDAR点云影像概略相关获得的近似同名像点为观测值,以视差互信息为权重,实施摄影测量空间后方交会计算获得优化的影像外方位元素,生成新的LiDAR深度影像并重复上述过程,直至满足给定的迭代计算条件.结果 选取重叠度约60%、幅面大小7 216×5 428像素、空间分辨率约0.5 m的立体航空像对与平均点间距约1.5 m、水平精度约25 cm的LiDAR"点云"进行空间配准实验,配准精度接近1个像素.结论 实验结果表明,本文方法自动化程度高且配准精度适中,理论上适用于不同场景类型、相机内参数已知立体航空影像,具有良好的应用价值.     

彩色图像最优拼接线的改进算法研究

讨论了彩色图像的精确拼接问题,针对拼接时重叠区域和拼接线附近出现的模糊、错位、穿越等问题,提出了根据待拼接图像重叠区域像素点邻域内的颜色和纹理作为特征的能量计算公式,并提出树形搜索方向的动态寻找最优拼接线算法。实验部分将提出的算法与其他方法进行了对比,结果表明,该方法不仅可以很好地克服掉上述“鬼影”问题,解决寻找拼接线时出现的穿越现象,也可以最大限度地实现拼接线两侧图像间的过渡连续。     

基于深度学习的图像拼接算法研究综述

图像拼接是计算机视觉和计算机图形学中的一个重要分支,在三维成像等方面具有广泛的应用。相较于传统基于特征点检测的图像拼接框架,基于深度学习的图像拼接框架具有更强的场景泛化表现。目前虽然关于基于深度学习的图像拼接研究成果众多,但仍缺少相应研究的全面分析和总结。为了便于该领域后续工作的开展,梳理了该领域近10年的代表性成果。在对传统拼接方法与基于深度学习的图像拼接方法对比的基础上,从图像拼接研究领域中的单应性估计、图像拼接和图像矩形化三个子问题出发,进行了学习策略及模型架构设计、经典模型回顾、数据集等方面的整理与分析。总结了基于深度学习的图像拼接研究方法的一些特点和当前该领域的研究现状,并对未来研究前景进行了展望。