无人机航拍图像拼接重影消除技术研究

为了解决拼接图像中的模糊、畸形,运动物体图像拼接后会出现重影错位等问题,首先在图像配准阶段通过感知哈希值相似度量准则选取变换效果最佳的权重ωi,j来计算局部投影变换矩阵;然后利用帧间差分法和区域生长算法对差异图像中的运动物体进行分割,对差异性区域进行单采样,其他区域采用线性加权融合;最后,构建了一个用于图像拼接的航空影像数据集并进行实验。实验结果证明,该方法运行耗时增加量较小,不仅有效抑制了重叠区域出现的拼接模糊、严重畸形现象,还能消除包含运动物体图像出现的重影错位,显著提高无人机航拍图像的拼接质量。     

基于特征聚类的大视差图像拼接算法

针对大视差图像拼接过程中出现的错位、重影等问题,提出一种基于特征聚类的图像拼接算法。首先,以已匹配的特征点分布为依据在目标图像重叠区域构造泰森多边形。然后使用改进的AGNES层次聚类算法对特征点聚类,合并对应组内特征点所代表的泰森多边形,得到目标图像重叠区域的各个子平面。最后,求解对应子平面的单应性矩阵,并采取就近原则分配非重叠区域的单应性矩阵,对目标图像进行投影变换,得到拼接图像。实验结果表明,所提算法具有较高的配准精度,可有效改善大视差图像拼接过程中出现的误配准和局部失真问题。     

网格驱动的双向图像拼接算法

图像拼接是将不同视角下的多幅图像合并成一幅宽视角图像的技术。该技术不仅要求拼接后的重叠区域重影尽可能少,而且要求非重叠区域的扭曲尽可能小。在Moving DLT(Moving Direct Linear Transformation)的基础上,文中提出了网格驱动的双向图像拼接算法。对于重叠区域,利用双向Moving DLT做特征点对齐,并通过定量评估的方式来判断图像叠加的方式,进而得到拼接准确、重影少的结果;对于非重叠区域,利用网格在单应变换和相似变换后的顶点插值进行矫正,进而减小非重叠区域的扭曲。实验结果显示,提出的双向拼接算法比单向拼接算法更准确,对应点的MAE(Mean Absolute Error)会下降0.2个点,而且得到的拼接结果更加自然平滑。     

基于对齐与优化的图像拼接

图像拼接技术将存在重叠区域的多幅图像经过配准和融合后得到单幅宽视场图像。由于误差的积累,多幅图像拼接后在重叠区域会有明显的拼接痕迹,所以需要对拼接后的图像进行优化。首先研究了变换矩阵及其参数,然后提出一种图像对齐方法,完成图像拼接,最后用全局优化策略消除累积误差。实验证明,该方法在存在较大光照强度变化,重叠区域小的情况下能够鲁棒地完成多幅图像的拼接。     

针对无人机图像特殊性的图像融合技术

为提高无人机图像拼接效果,降低机身抖动和环境色差对图像融合的影响,提出了一种基于透视变换的改进图像拼接融合算法,该算法针对无人机采集图像的特殊性,利用直方图规定化和直方图均衡化对图像进行预处理,由surf算法提取特征点信息并构建变换矩阵,再使用三种融合方法融合拼接图像。对比了透视变换与传统仿射变换,改进的加权平均融合法与传统融合方法,通过对多组样本进行测试和评价,证明该模型有效解决了无人机图像拼接色差、错位和畸变的问题,提升了拼接和融合的视觉效果。     

一种基于区域检测特征描述子的静态图像拼接算法

图像拼接技术是当前图像处理领域的一个热门研究课题。它将一组相互存在重叠部分的图像进行空间匹配对准,经融合后成为一幅包含各图像信息的大视场的完整图像。提出了一种基于区域检测特征描述子的图像拼接算法。算法由以下几部分组成：首先,在图像配准方面,主要采用区域检测特征描述子来寻找特征点和特征描述子并据此对图像进行匹配;然后,利用统计学方法寻找高效匹配点;接下来,运用单应性矩阵投影方法对图像做投影变换;最后,基于变换结果的图像融合拼接。     

基于质量评价的无人机航拍图像拼接方法

针对大视差无人机航拍图像拼接中出现的错位、伪影问题,提出一种基于质量评价寻找最佳拼接缝的方法QEB-U。首先通过常规拼接缝估计得到初始拼接缝,然后根据无人机航拍图像的特点,综合考虑结构相似性、色差、纹理复杂度,提出一种新的质量评价函数对拼接缝上的每个像素进行评价,进而根据评价结果更新差异代价,之后再重新估计拼接缝。估计和评价过程重复执行,直到拼接缝趋于稳定则停止迭代,最后通过梯度融合生成最终结果。实验结果表明,所提方法可以避免大视差无人机航拍图像拼接中出现错位、伪影,优于目前几种无人机航拍图像拼接方法,且得到的拼接缝优先穿过道路、林地等区域,更加符合人类视觉感知,在常见的图像清晰度评价指标上表现良好。     

网格形变细分的大视差图像拼接算法

针对大视差图像拼接后重叠区域出现重影、非重叠区域发生透视失真等问题,提出一种改进的大视差图像拼接算法。利用尽可能投影算法(APAP)建立低密度网格形变,根据待拼接图像成对匹配点的分布对重叠区域内的网格形变进行细分。通过随机采样一致性算法计算全局最优相似矩阵,校正非重叠区域发生的透视失真现象。将全局最优相似矩阵与网格单应矩阵加权叠加,实现目标图像形变。在此基础上,对目标图像重叠区域进行内容感知,保留重要度较低的区域并完成拼接,以避免重叠区域出现重影问题。实验结果表明,相对APAP、SPHP等算法,该算法的拼接效果更能还原真实场景,且拼接图像的均方根误差值较低。     

遥感图像拼接系统

提出和实现了一种图像配准方法,利用OpenCV库开发了一个低空遥感图像拼接系统. 将SIFT作为图像拼接特征向量,实现了图像局部尺度空间中极值点的计算和SIFT特征点的提取. 使用特征向量的欧氏距离实现特征点的粗匹配,结合随机抽样一致RANSAC算法对匹配点进行优化,并精确估算出投影变换矩阵,实现两幅图像的拼接. 最后实现对重合区域的图像融合. 实验结果表明本文方法较好的解决了遥感图像中常出现的图像的平移、缩放、旋转等变换下的配准问题,达到较好的拼接效果.     

基于相对定向和小区域融合的视频图像拼接

针对视频图像拼接中拼接面选取不当造成的畸变问题和图像融合阶段视差带来的残影问题,借助半角纠正法选取合适的拼接面,使用小区域融合法解决融合残影问题.首先,利用摄影测量的相对定向法计算图像姿态参数;然后,根据姿态参数对待拼接图像进行半角纠正并旋转到同一中介平面;接着,利用匹配的同名点对齐图像;最后,在图像重叠区域的中间部分选取一条形区域作为过渡区并采用渐入渐出法进行融合.实验结果表明,在双摄像头视频拼接系统中,半角纠正法比传统平面拼接法的畸变要小;同时与渐入渐出融合法相比,小区域融合法能避免由视差引起的大面积残影问题.经分析,半角纠正和小区域融合法能有效解决视频拼接中图像变换的畸变和重叠区域融合残影问题.     

基于控制点配准算法的无人机遥感影像自动无缝拼接技术

传统无人机遥感影像自动无缝拼接技术无法精准匹配影像信息,导致无人机遥感影像拼接结果出现大量缝隙,拼接效果差。因此提出了基于控制点配准算法的无人机遥感影像自动无缝拼接技术。遵循无人机影像成像原理,获取无人机遥感影像,并将数据以图像格式文件形式存储。设置阈值,剔除最邻近域和次邻域比值大于阈值的控制点,对影像坐标平移和缩放数据标准化处理,彻底消除坐标变换对图像配准影响。构建相似变换矩阵,获取新的控制点集,使用直接线性变换算法预估变换矩阵,得到线性解。经过粗、细配准,确定不同图像重叠区域。搜索最佳拼接线,使用加权平均融合法消除拼接缝,由此设计拼接流程。由实验结果可知,该技术能够精准匹配影像信息,检测到影像最大分辨率为1000*800,具有良好拼接效果。     

针对大视差图像拼接的显性子平面配准

目的 针对图像拼接中大视差图像难以配准的问题,提出一种显性子平面自动配准算法。方法 假设大视差图像包含多个显性子平面且每个平面内所含特征点密集分布。对该假设进行了验证性实验。所提算法以特征点分布为依据,通过聚类算法实现子平面分割,进而对子平面进行局部配准。首先,使用层次聚类算法对已匹配的特征点聚类,通过一种本文设计的拼接误差确定分组数目,并以各组特征点的聚类中心为新的聚类中心对重叠区域再聚类,分割出目标图像的显性子平面。然后,求解每个显性子平面的投影参数,并采用就近原则分配非重叠区域的单应性矩阵。结果 采用公共数据集对本文算法进行测试,并与Auto-Stitching、微软Image Composite Editor两种软件及全局投影拼接方法（Baseline）、尽可能投影算法（APAP）进行对比,采用均方根误差作为配准精度的客观评判标准。实验结果表明,该算法在拼接大视差图像时,能有效地配准局部区域,解决软件和传统方法由误配准引起的鬼影、错位等问题。其均方根误差比Baseline方法平均减小55%左右。与APAP算法相比,均方根误差平均相差10%左右,但可视化配准效果相同且无需调节复杂参数,可实现自动配准。结论 提出的显性子平面自动配准算法,通过分割图像所含子平面进而实现局部配准。该方法具有较高的配准精度,在大视差图像配准方面,优于部分软件及算法,可应用于图像拼接中大视差图像的自动配准。     

多摄像机图像拼接视觉归一化技术研究

视觉归一化是多视点图像拼接领域的一个关键技术,在对大量图像处理算法研究的基础上,提出了一种针对多摄像机图像拼接的视觉归一化处理方法。该方法主要包括图像颜色校正和图像边缘融合两个模块;在图像颜色校正模块中,引入了图像区域划分策略和自适应颜色调节因子,使不同的像素点都有不同的颜色调节因子,并充分利用相邻图像间的颜色关联性对目标图像的颜色进行自适应校正;在图像边缘融合模块中,利用反映射矩阵计算出拼接图像的重叠区域,利用自适应边缘融合因子对重叠区域进行边缘融合处理。实验结果表明,该方法能够较好地减少甚至消除拼接图像间的视觉差异,较好地改善了图像拼接的视觉效果。     

结合最佳缝合线和多分辨率融合的图像拼接

目的 针对图像拼接过程中,缝合线通过运动物体或配准不准确区域等情况导致融合图像出现鬼影、重影的问题,提出了一种基于差异图像加权的改进最佳缝合线算法,采用基于多分辨率和加权平均的分区图像融合算法解决了拼接线问题。方法 首先将两幅图像的重叠区域划分为缝合线区域和过渡区域;在缝合线区域内,使用差异图像加权的最佳缝合线搜索准则构建准则值图像,基于动态规划思想来搜索得到最佳缝合线;基于缝合线生成掩码图像,并对重叠区域图像进行扩展,采用多分辨率融合算法实现了非严格重叠区域的融合;在过渡区域采用加权平均算法来消除拼接线。结果 采用含有大量运动物体的图像序列对算法进行测试,实验结果表明,基于差分图像加权的最佳缝合线有效避开了大部分运动物体,当缝合线难以绕开运动物体时,能够尽量少地穿过运动物体;通过多分辨率和加权平均融合算法消除了拼缝等问题。结论 提出的最佳缝合线算法能够有效地避免缝合线通过运动物体、配准不准确的区域,将多分辨率图像融合算法应用于非严格重叠图像融合,能够合成高质量的全景图像。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

基于ASIFT算法的低重叠度无人机影像拼接方法

在无人机平台上采用低重叠方式成像能够大大提高数据获取效率,可满足包括应急救援和航空侦察等时效性要求很高的特殊领域应用需求。然而,此类影像具有重叠度低和旋转角大的特点,利用常规正射影像镶嵌的方法进行拼接往往带来较大的拼接误差。提出了基于ASIFT算法的低重叠图像配准方法,并对序列影像做光束法平差处理,得到最优变换矩阵后,结合多分辨率样条融合算法进行全景影像输出。实验结果表明:该方法可以获取足够数量稳定的匹配点对,较好地约束了序列影像之间的几何关系,得到的拼接影像无缝清晰,适应于低重叠度无人机影像的快速拼接。     

一种多方向感知的高实时性视频融合算法

针对多路视频融合阶段拼缝线两侧范围内出现的虚影、色彩亮度差异以及高分辨率下无法实时拼接等问题,本文提出一种多方向感知的视频融合算法。首先,在图像配准阶段,采用SIFT提取特征点与特征描述子对图像进行配准;然后,在图像融合阶段,使用指数函数构建的权值查找表指导融合过渡,结合视频帧投影位置与拼接缝之间的距离,利用形态学操作自适应地融合图像拼缝;最后,利用GPU平台大量多线程并行运算,整合投影与融合等矩阵运算从而掩盖延时达到实时目的。实验结果表明,该算法能消除重叠区域内出现的虚影、模糊现象,并且具有良好的实时拼接效果。