特征点聚类高精度视差图像拼接

目的 针对不同视点下具有视差的待拼接图像中,特征点筛选存在漏检率高和配准精度低的问题,提出了一种基于特征点平面相似性聚类的图像拼接算法。方法 根据相同平面特征点符合同一变换的特点,计算特征点间的相似性度量,利用凝聚层次聚类把特征点划分为不同平面,筛选误匹配点。将图像划分为相等大小的网格,利用特征点与网格平面信息计算每个特征点的权重,通过带权重线性变换计算网格的局部单应变换矩阵。最后利用多频率融合方法融合配准图像。结果 在20个不同场景图像数据上进行特征点筛选比较实验,随机抽样一致性（random sample consensus, RANSAC）算法的平均误筛选个数为30,平均误匹配个数为8,而本文方法的平均误筛选个数为3,平均误匹配个数为2。对20个不同场景的多视角图像,本文方法与AutoStitch（automatic stitching）、APAP（as projective as possible）和AANAP（adaptive as-natural-as-possible）等3种算法进行了图像拼接比较实验,本文算法相比性能第2的算法,峰值信噪比（peak signal to noise ratio,PSNR）平均提高了8.7%,结构相似性（structural similarity,SSIM）平均提高了9.6%。结论 由本文提出的基于特征点平面相似性聚类的图像拼接算法处理后的图像保留了更多的特征点,因此提高了配准精度,能够取得更好的拼接效果。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

基于特征聚类的大视差图像拼接算法

针对大视差图像拼接过程中出现的错位、重影等问题,提出一种基于特征聚类的图像拼接算法。首先,以已匹配的特征点分布为依据在目标图像重叠区域构造泰森多边形。然后使用改进的AGNES层次聚类算法对特征点聚类,合并对应组内特征点所代表的泰森多边形,得到目标图像重叠区域的各个子平面。最后,求解对应子平面的单应性矩阵,并采取就近原则分配非重叠区域的单应性矩阵,对目标图像进行投影变换,得到拼接图像。实验结果表明,所提算法具有较高的配准精度,可有效改善大视差图像拼接过程中出现的误配准和局部失真问题。     

使用线约束运动最小二乘法的视差图像拼接

目的 图像配准是影响拼接质量的关键因素。已有的视差图象拼接方法没有解决匹配特征点对间的错误配准问题,容易引起不自然的拼接痕迹。针对这一问题,提出了使用线约束运动最小二乘法的配准算法,减少图像的配准误差,提高拼接质量。方法 首先,计算目标图像和参考图像的SIFT（scale-invariant feature transform）特征点,应用RANSAC（random sample consensus）方法建立特征点的匹配关系,由此计算目标到参考图像的最佳单应变换。然后,使用线约束运动最小二乘法分别配准两组图像：1）第1组是目标图像和参考图像;2）第2组是经单应变换后的目标图像和参考图像。第1组用逐点仿射变换进行配准,而第2组配准使用了单应变换加上逐点仿射变换。最后,在重叠区域,利用最大流最小割算法寻找最优拼接缝,沿着拼接缝评估两组配准的质量,选取最优的那组进行融合拼接。结果 自拍图库和公开数据集上的大量测试结果表明,本文算法的配准精度超过95%,透视扭曲比例小于17%。与近期拼接方法相比,本文配准算法精度提高3%,拼接结果中透视扭曲现象减少73%。结论 运动最小二乘法可以准确地配准特征点,但可能会扭曲图像中的结构对象。而线约束项则尽量保持结构,阻止扭曲。因此,线约束运动最小二乘法兼顾了图像结构的完整性和匹配特征点的对准精度,基于此配准模型的拼接方法能够有效减少重影和鬼影等人工痕迹,拼接结果真实自然。     

具有直线结构保护的网格化图像拼接

目的 基于网格变形的图像配准方式,针对待拼接图片重叠区域的视差具有一定的容忍性,并且能够适应更复杂的图像拼接场景。在NISwGSP （natural image stitching with the global similarity prior）算法基础上提出了一种具有直线结构保护的图像拼接算法（MISwLP）,该算法通过提取图片中的直线结构并施加约束,可以得到视觉效果自然、畸变较小的图像拼接结果。方法 首先对图片进行网格划分,建立网格优化模型,针对网格顶点坐标集定义能量函数,在保证图片重叠区域高度对齐的同时,对网格进行相似性连续约束,并辅以直线结构约束,最后使用共轭梯度最小二乘法求解得到最优网格顶点集,指导网格变形。结果 针对不同场景下的图片进行拼接实验,同时和几种比较流行的图像拼接软件和算法进行比较。结果表明,同经典拼接算法,比如Autostitch相比,基于网格优化的图像拼接算法能够适应更加复杂的多平面场景,在减小投影失真和对齐误差方面表现更好;同现在比较好的几种网格拼接算法,比如SPHP （shape-preserving half-projective warps for image stitching）、APAP （as-projective-as-possible image stitching with moving DLT）、NISwGSP等的比较,MISwLP算法不仅能够很好地对齐图像和避免投影失真,并且能够保持图像重叠区域到非重叠区域的一致性,即保护原图中的直线结构。结论 提出了一种基于网格优化的直线约束方法,对于具有显著几何结构的图像拼接场景,能够较好地保护拼接后图像中原有的直线结构,具有较好的应用价值。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

电力巡线图像纹理复杂且具有视差变化,针对传统算法获取成对匹配点数量较少、配准精度较低,严重影响电力巡线无人机图像拼接效果等问题,提出了一种基于改进OANet的图像拼接算法。首先,借助加速“风”（AKAZE）算法对待拼接电力巡线图像进行粗匹配;其次,对OANet中Order-Aware模块添加挤压和激励网络（SENet）,从而增强网络对局部和全局上下文信息的抓取能力,得到更精确的成对匹配点;然后,通过MPA算法配准待拼接图像;最后,借助内容压缩感知算法计算重叠区域的最佳缝合线以完成图像拼接。改进OANet相较原OANet的正确匹配点数量增加了10%左右,耗时平均增加了10 ms;与APAP算法、AANAP算法、MPA算法等配准拼接算法相比,所提算法的拼接质量最好,其待拼接图像的重叠区域的均方根误差为0,非重叠区域未发生畸变。实验结果表明,所提算法可快速、稳定地拼接电力巡线航拍图像。     

统筹图像变换与缝合线生成的无参数影像拼接

目的 为解决小重叠度、大视角影像自然拼接问题,提出一种统筹图像变换和缝合线生成过程的影像拼接新方法。方法 主要包括两部分：1）将单应性映射引入到薄板样条变换（thin plate spline,TPS）并建立二次图像变换模型,在同一变换框架下进行全局单应性透视变换及基于径向基函数的局部映射调整,实现拼接影像透视特性良好保持与减少局部变形,且有效满足缝合线控制点无误差配准计算需要;2）根据控制点像素配准精度优于非控制点像素配准精度,对基准影像控制点集进行三角构网,并从中搜索初始缝合线,结合二次配准模型参数和动态规划匹配过程,获得控制点更密集且配准误差总体最小的最终缝合线,有效抑制图像融合时鬼影现象的产生,且计算实现上更简单。结果 对两组标准影像进行拼接测试,并与3种方法（双单应性变换（dual-homography warping,DHW）、平滑变化的仿射拼接（smoothly varying affine stitching,SVA）、尽可能投影（as-projective-as-possible, APAP）的移动直接线性变换拼接（image stitching with moving direct linenr transform（DLT））对比,本文方法拼接影像局部变形失真最小、匹配控制点配准精度最高：在railtracks影像训练集（trarning set, TR）、测试集（test set）上分别为0和2.27;在temple影像训练集TR、测试集TE上分别为0和1.46;不同场景多路采集视频影像拼接透视特性保持良好,视觉效果自然。结论 本文方法影像拼接时无先验知识要求、参数可线性求解,整体视觉效果流畅、重叠区域与非重叠区域过渡平滑,具有较好的应用价值。     

基于微观图像的图像拼接算法研究

针对传统图像拼接算法不适用于局部特征点多的微观图像实时拼接问题,结合Harris角点、SURF算法和K-Means算法提出了一种改进的算法。具体的算法流程如下：通过Harris角点提取微观图像中的特征点,并在形成SURF描述子后利用最近近邻算法对这些特征点进行粗配准。通过K-Means算法对初次配准的特征点进行聚类分簇获取聚类中心,并提取有效聚类区域的特征点。对有效的特征点进行精确配准,并校验配准后特征点的斜率一致性和距离一致性,从而实现精确的特征点匹配。实验结果证明,该算法克服了特征点多造成图像拼接时间长和拼接误差大的问题,具有较强的鲁棒性和稳定性,可应用于微观图像实时拼接领域。     

网格形变细分的大视差图像拼接算法

针对大视差图像拼接后重叠区域出现重影、非重叠区域发生透视失真等问题,提出一种改进的大视差图像拼接算法。利用尽可能投影算法(APAP)建立低密度网格形变,根据待拼接图像成对匹配点的分布对重叠区域内的网格形变进行细分。通过随机采样一致性算法计算全局最优相似矩阵,校正非重叠区域发生的透视失真现象。将全局最优相似矩阵与网格单应矩阵加权叠加,实现目标图像形变。在此基础上,对目标图像重叠区域进行内容感知,保留重要度较低的区域并完成拼接,以避免重叠区域出现重影问题。实验结果表明,相对APAP、SPHP等算法,该算法的拼接效果更能还原真实场景,且拼接图像的均方根误差值较低。     

基于SIFT算法的红外图像拼接方法改进

针对红外图像拼接误匹配点过多、耗时过长等问题, 对基于SIFT算法的红外图像拼接方法进行改进. 首先利用高斯差分金字塔建立尺度空间, 然后利用FAST算法对高斯差分金字塔图像进行特征点提取, 提高了算法运行效率, 随后以特征向量的欧式距离作为特征点的相似性度量, 从而找到初始匹配点对, 并利用结合了方向一致性判断的Ransac算法剔除错误匹配点对, 最后用加权平衡算法实现图像的快速融合. 通过红外人物图像拼接实验, 证明改进后的算法在旋转、缩放、光照等情况下更稳定、效率更高, 有较大的理论和应用价值.     

基于ASIFT的无缝图像拼接方法

传统图像拼接方法对尺度、视差和光照变化较大的图像配准效果不佳。为此,提出一种基于仿射-尺度不变特征转换(ASIFT)算法的无缝图像拼接方法。采用能够抵抗强仿射情况的ASIFT算法检测特征点,并对特征点进行提取与匹配。利用随机抽样一致算法反复迭代,找到精确的变换矩阵初始值,根据变换矩阵进行2幅图像之间的统一坐标变换,使用加权平滑算法完成图像的无缝拼接。实验结果表明,与基于SIFT特征的拼接方法相比,该方法的图像拼接效果较好。     

基于直线特征约束网格变形的航拍图像拼接

针对常用航拍图像拼接算法在处理存在视差的复杂图像时会出现鬼影、失真、不自然的问题,在APAP(as-projective-as-possible)算法的基础上,添加全局相似性和直线结构保护约束,提出一种基于直线特征约束网格变形的航拍图像拼接方法.首先,在图像重叠区域检测点、直线特征,并估计单应性扭曲;然后,使用网格将图像划分成多个局部图像块,建立网格优化模型,根据网格顶点坐标集定义一个包含图像扭曲不同特征的总能量函数,在APAP算法提供的局部单应性保证重叠区域对齐的前提下,对非重叠区域借鉴NISwGSP算法的全局相似性约束思想,并辅以直线结构约束提高拼接自然度;最后,在稀疏线性系统中求解能量误差最小化问题,得到最优网格顶点集,指导网格变形并完成航拍图像拼接.实验结果表明,所提出的变形方法能够减少重叠区域鬼影和非重叠区域失真问题,相比AutoStitch、APAP、AANAP、SPHP等经典算法拼接效果更自然,更能适应大视角的航拍图像拼接任务.     

航空遥感图像拼接算法及其精度评价

针对航空遥感成像范围小、视差角大的特点,提出一种航空遥感图像拼接算法。通过估算图像相对方位矩阵,使用透视变换实现图像校正,解决大视差角下的畸变问题。利用SIFT算法和基于概率密度的错误匹配点剔除方法,实现高精度图像配准,并通过小波变换完成图像融合工作。实验结果表明,在不同地表情况下,该算法的拼接性能均优于传统SIFT算法。     

改进的实时图像拼接方法

通过分析比较不同配准算法的优缺点,提出一种基于灰度相关与特征点相结合的实时图像拼接方法。算法首先对图像进行自适应缩放,调整为需要输出的大小,然后用基于特征边缘点方法确定配准方向和大体位置,用基于灰度相关方法准确定位最佳匹配点,最后通过加权平均法对重叠图像进行融合处理。实验结果表明,算法能准确地对图像进行拼接,具有实时性和高效性。