多源图像融合技术在无人机中的应用

随着无人机技术的发展,无人机多源图像融合是一个日益受到关注的研究领域。在研究传统算法的基础上,针对经典HIS变换融合算法产生的光谱失真问题,通过引入压缩感知技术对传统算法进行改进,提出了一种融入压缩感知技术的图像融合算法并应用到无人机数码照片和SAR图像融合处理中。实验表明,该方法在引入SAR图像纹理信息的同时,能够有效保持可见光图像光谱信息,取得了较好的融合效果。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于多特征动态融合模型的海陆分割算法

海陆分割是遥感图像中进行海上目标检测、监视的关键技术.传统的基于灰度的海陆分割算法没有充分利用图像中的梯度、纹理等灰度变化及空间分布信息;而基于梯度或纹理的海陆分割算法又没有考虑到图像本身灰度特性.由此提出基于多特征动态融合模型的海陆分割算法,该算法通过动态融合模型提取多种图像特征,生成综合特征图,并对综合特征图进行分...     

基于Curvelet变换与分形的遥感图像融合

基于Curvelet变换对于图像的光谱信息保留和分形原理,针对图像的纹理信息提取的特性,提出了一种基于Curvelet变换与改进的分形布朗运动分维数计算的新的融合算法。对多光谱与全光谱图像进行了融合实验,并与传统的基于小波变换和高频系数取大算法进行了对比。实验证明,文中算法在图像光谱信息保留和纹理细节信息等方面具有良好的性能。     

多尺度超像素纹理特征保持与融合的高光谱图像分类

高光谱图像的低空间分辨率特性往往导致全局纹理提取技术难以获取地物要素的精准纹理信息,同时,单一尺度的局部纹理提取技术难以达到有效识别地物的目的。基于此,该文设计了一种多尺度超像素纹理保持与融合(MSuTPF)的高光谱图像分类方法,主要架构如下:首先,利用2D Gabor滤波器对高光谱图像进行多方向与尺度的全局纹理提取,并通过融合各尺度的纹理特征,增强纹理结构表征能力;其次,融合纹理与光谱主成分特征以形成光谱-纹理联合判别特征;再次,采用形状自适应的超分割方法,作用至光谱-纹理联合特征进行局部纹理信息保持与融合,尤其是,为克服超像素邻域像元的隐性不相关问题,该文定义了基于密度最近邻相似性评价准则,使超像素纹理进一步趋于一致性;最后,将各更新的光谱-纹理联合特征输入像素级分类器获取其对应的类标签,并采用多数表决的决策融合机制取得最终分类结果。Indian Pines和Pavia University真实数据集的实验表明,该方法在小样本条件下的分类精度优于基准分类器(SVM)、深度学习方法(GFDN)以及最新的空-谱分类方法(S3-PCA)等8个对比方法,充分证明了该文所提方法的实用性和有效性。     

改进的基于àtrous小波的遥感图像融合方法

针对多光谱与全色图像的融合,提出了一种改进的基于àtrous小波变换的图像融合方法。首先对多光谱图像进行IHS(intensity-hue-saturation)变换,然后对PAN图像进行àtrous小波变换,再将PAN图像的细节分量添加到多光谱图像的强度分量中。为了控制添加的数量,从小波系数中提取出一个重要性测度函数,并根据阈值选择重要的PAN特征,用新的强度分量来取代多光谱图像的强度分量。最后再做IHS逆变换得到融合图像。实验结果表明,和IHS变换算法及常用的小波融合算法相比,本文提出的融合方法在光谱信息的保持与空间细节信息的增强两个方面的综合性能得到提高,具有更好的效果。     

基于多聚类中心和PCNN的医学图像融合算法

提出一种基于K-means Clustering和脉冲耦合神经网络(PCNN)的图像融合的方法,首先,以多特征信息为聚类方式利用K-means Clustering分割提取源图像的对应特征点,通过归类合并建立多模医学图像的特征点集合,根据特征点分布将图像划分为纹理区域和非纹理区域,纹理区域对应系数输入PCNN得到点火映射图,根据点火次数选择融合系数,非纹理区域的系数通过双通道PCNN进行融合。实验结果表明,该算法能够精确划分图像纹理区域,进而利用PCNN和双通道PCNN在图像不同区域系数选择各自的优势,融合图像纹理清晰,质量改善。     

基于水平集方法的多源遥感数据融合及城区道路提取

该文发展了一种将多光谱遥感图像和雷达遥感图像进行特征融合,实现城区道路半自动提取的方法。通过水平集(Level Set, LS)快速行进 (Fast Marching, FM) 算法中的速度函数,将道路在多光谱图像中的光谱和纹理特征与其在雷达图像中后向散射和空间自相关尺度相结合。雷达图像中的道路信息弥补了多光谱图像中城市道路受高大建筑物、植被等地物阴影的覆盖而使图像容易断裂的缺点,而多光谱图像的道路信息则有助于降低雷达图像中噪声的干扰以及线性水体与道路的混淆。该文方法分别用于上海市不同区域、不同分辨率、不同极化方式的卫星遥感雷达图像(ERS-2, Radarsat-1 SAR)与陆地卫星多光谱图像(Landsat ETM+)的融合,进行道路信息的提取,取得了较好的效果。     

基于多级引导滤波器的图像区域融合算法

为了提高多光谱图像与全色图像的融合质量,研究了多种滤波器和融合算法,提出了基于多级引导滤波器的区域融合方法。采用该方法对多光谱图像进行插值,利用改进的分水岭算法对全色图像进行区域划分,并将划分结果映射至每个多光谱图像,然后将多光谱图像与全色图像利用多级引导滤波器分别进行滤波,得到各自的细节信息,最后根据每个区域中全色图像和多光谱图像的关系指标局部相关系数与4阶相关系数的大小,对细节信息进行区域融合,得到融合后的多光谱图像。结果表明,该算法充分保留了多光谱图像的光谱信息,并尽可能多地注入了全色图像的细节信息,成功地提高了多光谱图像的融合效果。     

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。     

Multi-spectral and hyperspectral image fusion using 3-D wavelet transform

Image fusion is performed between one band of multi-spectral image and two bands of hyperspectral image to produce fused image with the same spatial resolution as source multi-spectral image and the same spectral resolution as source hyperspeetral image. According to the characteristics and 3-Dimensional （3-D） feature analysis of multi-spectral and hyperspectral image data volume, the new fusion approach using 3-D wavelet based method is proposed. This approach is composed of four major procedures： Spatial and spectral resampling, 3-D wavelet transform, wavelet coefficient integration and 3-D inverse wavelet transform. Especially, a novel method, Ratio Image Based Spectral Resampling （RIBSR）method, is proposed to accomplish data resampling in spectral domain by utilizing the property of ratio image. And a new fusion rule, Average and Substitution （A＆S） rule, is employed as the fusion rule to accomplish wavelet coefficient integration. Experimental results illustrate that the fusion approach using 3-D wavelet transform can utilize both spatial and spectral characteristics of source images more adequately and produce fused image with higher quality and fewer artifacts than fusion approach using 2-D wavelet transform. It is also revealed that RIBSR method is capable of interpolating the missing data more effectively and correctly, and A＆S rule can integrate coefficients of source images in 3-D wavelet domain to preserve both spatial and spectral features of source images more properly.     

基于Contourlet系数局部特征的选择性遥感图像融合算法

为了使融合后的多光谱图像在显著提高空间分辨率的同时,尽可能多地保持原始多光谱特性,提出了一种基于Contourlet变换系数局部特征的选择性遥感图像融合方法。根据多光谱和全色图像融合过程中Contourlet变换后的低频和高频部分融合目的的不同,对得到的近似和各层各方向的细节分量分别运用窗口邻域移动模板逐一计算相应区域Contourlet系数阵的不同局部特征量,然后选择适当的准则,对图像的近似和细节分量分别应用不同的策略在Contourlet系数域内进行选择性融合,通过Contourlet和亮度-色调-饱和度(IHS)逆变换得到融合的高分辨率多光谱图像。采用Landsat TM多光谱和SPOT全色图像进行的融合实验结果表明:提出的算法在显著提高空间分辨率的同时,又能很好地保持原始图像的光谱特征,并优于传统的融合方法。     

一种多光谱红外舰船图像多级融合方法

针对复杂背景下多光谱红外舰船目标图像融合问题,根据不同谱段中目标与背景,杂波光谱特性的差异性,结合杂波产生随机性特点和不同谱段信息的相关性,提出了一种红外多谱段图像多级融合算法。首先根据不同谱段信息相互间关系进行融合分级,然后对同一级中图像分别进行NSCT分解,再采用基于局部能量比和基于局部能量加权的方法进行低频系数融合,采用基于尺度方差选大法进行高频系数融合,最后通过NSCT重构得到融合图像。实验结果表明,本文提出的多级融合算法有效保留目标细节信息,增加信息量,利于目标检测。     

基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于多分辨率Trace变换的纹理图像分类

针对Trace变换提取的图像特征缺乏对纹理边缘信息描述和计算代价高的问题,利用小波变换对图像轮廓的表征优势,提出了多分辨率Trace变换并应用于纹理图像分类.首先,将小波变换引入到Trace变换中,对纹理图像进行非下采样小波变换,得到不同频率的低频特征子图及高频边缘子图;其次,在各级子图上进行一组泛函的Trace变换,获取纹理图像的融合特征,在获得图像边缘信息的同时避免了Trace变换不同泛函组合计算代价过高的问题;最后,把融合特征送入支持向量机对图像进行分类.实验结果表明,对图像采用多分辨率Trace变换提取的融合特征具有更好的纹理描述能力,相对于传统Trace变换及MCM等对比方法具有更高的鉴别性能,且在时间效率上相对于传统Trace变换有大幅提升.     

Contourlet变换耦合特征投票的遥感图像融合算法

为了解决图像系数融合问题,设计了基于非下采样Contourlet变换与特征投票机制的遥感图像融合算法。采用色相饱和度(HSV)变换从多光谱图像中提取其亮度成分。随后,对该亮度成分与全色图像进行非下采样Contourlet变换,以计算相应的高频、低频系数。再建立特征投票机制,完成低频系数的融合。通过构造高频系数融合规则,获取融合高频系数。最后,对融合系数进行处理,生成融合图像。实验结果显示,所设计算法具有更好的光谱特性以及清晰度。     

联合辐射指数的多流融合网络空谱融合方法

结合遥感图像融合的特点,提出一种联合辐射指数的多流融合生成对抗网络的遥感图像融合方法。该方法从初始的多光谱图像和全色图像中按照特定的规则提取特征图,利用生成器子网络分别提炼输入的多源图像,在特征域上叠加特征后通过生成器的主网络进行融合。根据遥感领域中多光谱图像和全色图像在波段上的特性,在判别器中引入调制传递函数(MTF)来判别融合图像的光谱信息和空间结构信息。为评估所提方法的有效性,进行视觉分析,并与其他算法进行客观评价的比较。实验结果表明,该方法在视觉效果和客观评价上优于其他算法。