图像拼接方法综述

概述了图像拼接的基本理论和一般过程,分类介绍了各种图像配准方法的原理和优缺点,重点分析了基于特征的图像配准技术,详细阐述了随机采样一致算法在基于特征的图像配准技术中的应用.     

图像拼接技术研究

随着人们对获取视觉信息的要求的提高,图像拼接技术成为了当前图形图像学领域的研究热点。图像拼接是将若干个具有重叠区域的图像进行拼接最终形成大场景图像的技术,相比单张图像,它能提供更大尺寸的图像画面,从而可以同时展现更多的内容。     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

遥感图像拼接系统

提出和实现了一种图像配准方法,利用OpenCV库开发了一个低空遥感图像拼接系统. 将SIFT作为图像拼接特征向量,实现了图像局部尺度空间中极值点的计算和SIFT特征点的提取. 使用特征向量的欧氏距离实现特征点的粗匹配,结合随机抽样一致RANSAC算法对匹配点进行优化,并精确估算出投影变换矩阵,实现两幅图像的拼接. 最后实现对重合区域的图像融合. 实验结果表明本文方法较好的解决了遥感图像中常出现的图像的平移、缩放、旋转等变换下的配准问题,达到较好的拼接效果.     

图像拼接方法探讨

本文系统的阐述了图像拼接技术的由来、现状,应用领域以及拼接方法,对图像拼接的两个主要过程:图像配准和图像融合分别进行了详细介绍.图像配准是图像拼接的核心技术,本文还对现有的图像配准方法进行归类总结,对每个配准算法进行优缺点描述。对目前现有以及常用的图像融合方法也进行了详细的介绍。最后提出了图像拼接技术的不足.     

利用SIFT特征的非对称匹配图像拼接盲检测

复制粘贴伪造图像鉴定检测图像中的疑似相似区域。传统的逐像素或逐块的鉴定方式耗时冗长。提出一种利用SIFT(尺度不变特征转换)特征的非对称搜索的复制粘贴伪造图像盲检测算法,算法利用图像SIFT特征初步定位复制粘贴伪造疑似区域,利用非对称特征搜索方式进行方向性的特征匹配,准确定位复制粘贴伪造区域。实验结果表明,本文算法能够准确检测复制粘贴伪造区域,检测结果不受高斯、椒盐等噪声的影响,检测效率比传统算法提高了1～2个数量级。     

基于特征点的图像拼接方法

提出了一种基于特征点匹配的全景图像拼接方法.该方法首先利用sift算法提取各图像中的特征点并利用Harris算法对图像特征点提取进行了优化,然后采用基于K-d树的BBF算法查找和确定初始匹配点对,完成特征点的粗匹配,再根据图像配准结果使用稳健的RANSAC算法对粗匹配的特征点进行筛选,计算出图像间变换矩阵H,最后采用渐入渐出的加权平均的融合算法对两幅图像进行无缝拼接,形成一幅完整的全景画面.实验结果验证了该方法的有效性,拼接效果较好.     

基于区域的图像拼接算法

为了在实时视频监控中能够有效地检测和跟踪目标,提出了一种基于区域的图像拼接算法.该算法根据空间几何知识建立摄像机旋转投影模型,对需要拼接的图像进行二维空间坐标变换,使所有的图像都转换到同一坐标系下.最后,根据已知的云台旋转参数来设定配准特征空间,进而对图像进行配准和拼接.算法中建立了一种新的摄像机旋转投影模型,可以有效地进行图像的空间坐标转换,并且通过设定配准特征空间,有效地改进了配准和拼接算法.在PC机上的实验结果表明了该算法的准确性和有效性.     

特征点聚类高精度视差图像拼接

目的 针对不同视点下具有视差的待拼接图像中,特征点筛选存在漏检率高和配准精度低的问题,提出了一种基于特征点平面相似性聚类的图像拼接算法。方法 根据相同平面特征点符合同一变换的特点,计算特征点间的相似性度量,利用凝聚层次聚类把特征点划分为不同平面,筛选误匹配点。将图像划分为相等大小的网格,利用特征点与网格平面信息计算每个特征点的权重,通过带权重线性变换计算网格的局部单应变换矩阵。最后利用多频率融合方法融合配准图像。结果 在20个不同场景图像数据上进行特征点筛选比较实验,随机抽样一致性（random sample consensus, RANSAC）算法的平均误筛选个数为30,平均误匹配个数为8,而本文方法的平均误筛选个数为3,平均误匹配个数为2。对20个不同场景的多视角图像,本文方法与AutoStitch（automatic stitching）、APAP（as projective as possible）和AANAP（adaptive as-natural-as-possible）等3种算法进行了图像拼接比较实验,本文算法相比性能第2的算法,峰值信噪比（peak signal to noise ratio,PSNR）平均提高了8.7%,结构相似性（structural similarity,SSIM）平均提高了9.6%。结论 由本文提出的基于特征点平面相似性聚类的图像拼接算法处理后的图像保留了更多的特征点,因此提高了配准精度,能够取得更好的拼接效果。     

边缘特征点的多分辨率图像拼接

提出一种映速有效的边缘特征点提取方法,实现多分辨率图像融合从而完成拼接.构建边缘图像的Gauss金字塔,从中提取稳定的特征点完成图像配准.复用金字塔信息实现图像融合,缩短整体拼接的时间.对方法进行仿真,实验结果表明误匹配特征点个数极大减少,配准精度提高到亚像素水平,同时配准和拼接的时间也大幅减少.最后从实验上分析精度提高的原因.     

基于改进SSD算法的双目鱼群图像检测

针对水下鱼群图像对比度低、鱼群尺寸不一致以及双目图像拼接出现的伪影问题,通过改进SSD (single shot MultiBox detector)算法提高图像拼接精度,实现不同尺寸鱼群快速准确检测。借助卷积层重叠相加法融合多个卷积特征,增强各个特征层的特征强度;构建特征金字塔模型,实现低卷积层的高分辨率特征与高卷积层的语义特征的融合,提高水下低对比度图像中小目标鱼群的检测精度;利用两个相同的卷积模型进行特征匹配,依据反向传播机制将第六层匹配特征逐级映射到第四层,提高特征匹配精度。在Labeled fish in the wild数据集上对本文算法进行验证,对小目标鱼群的检测精度在90%以上。     

多幅图像的自动拼接算法研究

提出一种基于特征点的多幅图像自动拼接算法。根据SIFT或SURF算法在图像的尺度空间中提取特征点,对特征点进行亚像素定位,并赋予主方向。根据特征点邻域信息分布计算得到特征向量后,基于k-d树进行最近邻和次最近邻搜索,利用最近邻特征点距离与次近邻特征点距离之比得到初始匹配点对。使用RANSAC（Random Sample Consensus）算法剔除错误匹配特征点对,同时对图像之间的变换参数进行鲁棒估计,使用多频带融合算法消除拼接痕迹。实验验证了该算法能够完成多幅图像的自动无缝拼接。     

针对大视差图像拼接的显性子平面配准

目的 针对图像拼接中大视差图像难以配准的问题,提出一种显性子平面自动配准算法。方法 假设大视差图像包含多个显性子平面且每个平面内所含特征点密集分布。对该假设进行了验证性实验。所提算法以特征点分布为依据,通过聚类算法实现子平面分割,进而对子平面进行局部配准。首先,使用层次聚类算法对已匹配的特征点聚类,通过一种本文设计的拼接误差确定分组数目,并以各组特征点的聚类中心为新的聚类中心对重叠区域再聚类,分割出目标图像的显性子平面。然后,求解每个显性子平面的投影参数,并采用就近原则分配非重叠区域的单应性矩阵。结果 采用公共数据集对本文算法进行测试,并与Auto-Stitching、微软Image Composite Editor两种软件及全局投影拼接方法（Baseline）、尽可能投影算法（APAP）进行对比,采用均方根误差作为配准精度的客观评判标准。实验结果表明,该算法在拼接大视差图像时,能有效地配准局部区域,解决软件和传统方法由误配准引起的鬼影、错位等问题。其均方根误差比Baseline方法平均减小55%左右。与APAP算法相比,均方根误差平均相差10%左右,但可视化配准效果相同且无需调节复杂参数,可实现自动配准。结论 提出的显性子平面自动配准算法,通过分割图像所含子平面进而实现局部配准。该方法具有较高的配准精度,在大视差图像配准方面,优于部分软件及算法,可应用于图像拼接中大视差图像的自动配准。     

基于图结构的全景图自动识别与拼接方法

针对多幅图像的匹配和识别问题,提出了一种基于图结构的全自动识别与拼接方法.该方法能够根据用户输入的多幅无序图像,自动判别图像之间是否具有重叠部分,并对具有重叠的图像进行拼接.对输入的每一幅图像进行MOPS特征检测,通过k-d树的最近邻搜索完成不同图像特征之间的快速匹配.其次基于图像特征之间的对应关系使用RANSAC算法建立任意两幅图像之间的匹配模型,并用概率算法进行鲁棒校验.通过构建与图像匹配关系对应的无向连通图结构,实现多幅全景图像的自动识别.使用递归算法对无向连通图进行深度优先遍历,并用多频带融合算法消除拼接痕迹,合成相应的全景图像序列.     

基于特征块与小波变换的图像拼接算法

为了改进现有的基于灰度的图像拼接方法速度过慢的缺点,综合考虑了图像拼接过程中速度与精度两个因素,提出了一种基于小波变换和特征块的图像拼接算法.该算法对图像进行小波变换,在高频信号上利用简单边缘阈值法提取特征块,在低频信号上进行配准,并根据低频图像配准位移完成原始图像的配准.最后将实验结果与传统的基于灰度的图像拼接方法进行比较,结果表明了该算法在保证图像拼接精度的同时,大大提高了图像拼接速度.     

字典重建和空间分布关系约束下的特征选择与图像拼接

目的 针对大型图像检索领域中,复杂图像中SIFT特征描述子的冗余和高维问题,提出了一种基于字典重建和空间分布关系约束的特征选择的方法,来消除冗余特征并保留最具表现力的、保留原始空间结构性的SIFT特征描述子。方法 首先,实验发现了特征选择和字典学习方法在稀疏表示方面的内在联系,将特征选择问题转化为字典重构任务;其次,在SIFT特征选择问题中,为了保证特征空间中特征的鲁棒性,设计了新型的字典学习模型,并采用模拟退火算法进行迭代求解;最后,在字典学习的过程中,加入熵理论来约束特征的空间分布,使学习到的特征描述子能最大限度保持原始SIFT特征空间的空间拓扑关系。结果 在公开数据集Holiday大型场景图片检索数据库上,通过与国际公认的特征选择方法进行实验对比,本文提出的特征选择方法在节省内存空间和提高时间效率（30%~ 50%）的同时,还能保证所筛选的特征描述子的检索准确率比同类特征提高8%~ 14.1%;在国际通用的大型场景图片拼接数据库IPM上,验证本文方法在图像拼接应用中特征提取和特征匹配上的有效性,实验表明本文方法能节省（50% ~70%）图像拼接时间。结论 与已有的方法比较,本文的特征选择方法既不依赖训练数据集,也不丢失重要的空间结构和纹理信息,在大型图像检索、图像拼接领域和3D检索领域中,能够精简特征,提高特征匹配效率和准确率。     

矿井监控图像自动快速拼接算法研究

针对煤矿井下环境的复杂性及图像拼接算法本身的局限性,提出了一种矿井监控图像自动快速拼接算法。该算法在结合Harris算法和SIFT算法优点的基础上,利用改进的RANSAC算法对提取出来的特征点进行提纯匹配以及模型参数估计,使算法抗尺度变化能力和抗噪性能得到很大改善,同时采用位置敏感散列算法,提高了图像拼接的成功率与实时性。实验结果表明,该算法具有很好的鲁棒性和快速拼接能力,能够应用于矿井监控图像的自动拼接。     

基于深度学习的图像拼接算法研究综述

图像拼接是计算机视觉和计算机图形学中的一个重要分支,在三维成像等方面具有广泛的应用。相较于传统基于特征点检测的图像拼接框架,基于深度学习的图像拼接框架具有更强的场景泛化表现。目前虽然关于基于深度学习的图像拼接研究成果众多,但仍缺少相应研究的全面分析和总结。为了便于该领域后续工作的开展,梳理了该领域近10年的代表性成果。在对传统拼接方法与基于深度学习的图像拼接方法对比的基础上,从图像拼接研究领域中的单应性估计、图像拼接和图像矩形化三个子问题出发,进行了学习策略及模型架构设计、经典模型回顾、数据集等方面的整理与分析。总结了基于深度学习的图像拼接研究方法的一些特点和当前该领域的研究现状,并对未来研究前景进行了展望。