多光谱图像与全色图像的像素级融合研究

以高空间分辨率的全色图像与高光谱分辨率的多光谱图像进行像素级双源融合为例，详细地总结了卫星多源遥感图像融合领域像素级融合的步骤、基本融合模型和优缺点，重点分析了各种常见像素级融合方法的原理和特点，并归纳了像素级融合结果的主客观评价标准和评价方法，以及像素级融合的主要应用领域，最后讨论了像素级融合目前存在的问题和今后的发展方向。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合,可以获得具有高空间分辨率和高光谱分辨率的光谱图像,提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好,但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性,提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块,通过光谱注意力机制提取高光谱图像的光谱相关性特征,通过空间注意力机制提取多光谱图像的空间相似性特征,将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合;随后,将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中,探索融合特征的长距离依赖信息,学习深度先验融合知识;最后,特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验,实验结果表明,与对比方法相比,本文方法从定量指标和视觉效果上,都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network）,在CAVE数据集上峰值信噪比提高了0.5 dB,在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息,显著提升高光谱融合超分图像的质量。     

融合多尺度低秩表示与双向递归滤波的高光谱图像分类

针对高光谱图像信噪比较低导致图像分类精度较差的问题,提出一种融合多尺度低秩表示与双向递归滤波的高光谱图像分类方法。首先,对高光谱图像进行不同尺度的超像素分割,获得空间邻域信息并得到分割图像;其次,在各尺度分割区域内执行低秩表示和主成分分析（Principal Component Analysis,PCA）降维,低秩表示可对分割区域内光谱间高相关性进行低秩约束,移除混合噪声;再次,利用双向递归滤波进一步消除图像中噪声和地物细节纹理;最后,根据支持向量机对各尺度特征图像的分类结果采用多数投票方法得到最终分类。实验在Indian Pines、PaviaU和Salinas公开数据集上进行,各地物类别随机选取10个训练样本,结果表明：与仅利用光谱信息的分类方法（支持向量机、PCA）对比,该方法分别在3个数据集上总体精度平均提高了32.03%、28.04%和16.80%;与空间—光谱残差网络和顶点成分分析网络的分类方法对比,平均提高10.99%、8.45%和7.08%;与其他空—谱联合分类方法对比,平均提高8.28%、18.77%和10.19%,证明了本文方法能在训练样本较少的情况下取得更优的总体...     

结合纹理分析的多光谱图像分类研究

为了有效抑制同谱异物和同物异谱对多光谱遥感图像分类的影响,提出了一种宏观与微观相结合的两级多光谱地物分类算法:首先,通过基于纹理特征的动态聚类形成地形地貌相同或相似的区域分块,降低地物复杂度对后续基于光谱特征鼢的地物分类的影响,然后,再根据每个区域分块中地物的光谱特征分层次进行再分类,从而得到对整幅图像的分类结果.最后,以大庆遥感数据为例,给出了实验结果和精度评价.     

光谱重建约束非负矩阵分解的高光谱与全色图像融合

基于光谱重建约束的非负矩阵分解,提出了一种高光谱与全色图像的有效解混方法.首先在高光谱图像的非负矩阵分解中引入光谱重建误差最小化的正则项,通过多目标寻优寻找最佳的正则项参数,以鼓励分解的光谱特征矩阵包含更真实的光谱特征;然后对全色图像进行非负矩阵分解,以获得描述图像细节的丰度矩阵;最后利用光谱特征矩阵和丰度矩阵重建得到...     

基于自适应分割的多曝光图像融合算法

针对传统多曝光图像融合存在颜色和细节信息保留不完整的问题,提出了一种新的基于自适应分割的多曝光图像融合算法。首先,采用超像素分割将输入图像分割为颜色一致的图像块,再利用结构分解将图像块分解为三个独立分量。根据各分量特点设计不同融合规则,以保留源图像中的颜色和细节信息。然后,采用引导滤波平滑各分量的权重图以及信号强度分量和亮度分量,有效地克服块效应缺陷,保留源图像中的边缘信息,减少伪影。最后,重构融合后的三个分量,得到最终的融合图像。实验结果表明,与传统的融合算法相比,所提算法在互信息（MI）上平均提升了53.6%、标准差（SD）上平均提升了24.0%。该算法能够有效地保留输入图像的颜色和细节纹理信息。     

图像融合在高光谱遥感数据处理中的应用

图像融合近年来成为图像处理领域的热点之一,广泛应用于军事、民用的各个领域。而高光谱遥感是遥感领域里新兴的方向,具有波段多,信息量大的特点,对高光谱图像进行融合可以进一步提高图像的利用率,减少信息的相关性和冗余。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

知识型遥感图像光谱特征融合探讨

介绍了多源遥感图像融合的趋势,分析了多源遥感图像融事的现状和层次,提出一种基于光谱特知识的光谱特征融合方案,并给出了部分实验结果。     

一种面向多光谱遥感图像的动态尺度梯度调制融合算法

针对多光谱遥感图像,提出一种新的动态尺度梯度调制融合算法;该算法首先根据需求选取不同波段上的光谱图像,然后在多尺度梯度塔形分解数据结构下,分析、选择合适尺度上的一幅梯度图像作为融合的引导,再经过动态的阈值选取和二值化得到调制因子,对另一幅光谱图像进行调制,获得最终的融合图像;实验结果表明,与传统的对比度调制算法和多尺度调制融合算法相比,该算法能够有效地保留、增强各个波段光谱图像中最显著的地貌特征.     

可解译深度网络的多光谱遥感图像融合

目的 多光谱图像融合是遥感领域中的重要研究问题,变分模型方法和深度学习方法是目前的研究热点,但变分模型方法通常采用线性先验构建融合模型,难以描述自然场景复杂非线性关系,导致成像模型准确性较低,同时存在手动调参的难题;而主流深度学习方法将融合过程当做一个黑盒,忽视了真实物理成像机理,因此,现有融合方法的性能依然有待提升。为了解决上述问题,提出了一种基于可解译深度网络的多光谱图像融合方法。方法 首先构建深度学习先验描述融合图像与全色图像之间的关系,基于多光谱图像是融合图像下采样结果这一认知构建数据保真项,结合深度学习先验和数据保真项建立一种新的多光谱图像融合模型,提升融合模型准确性。采用近端梯度下降法对融合模型进行求解,进一步将求解步骤映射为具有明确物理成像机理的可解译深度网络架构。结果 分别在Gaofen-2和GeoEye-1遥感卫星仿真数据集,以及QuickBird遥感卫星真实数据集上进行了主客观对比实验。相对于经典方法,本文方法的主观视觉效果有了显著提升。在Gaofen-2和GeoEye-1遥感卫星仿真数据集,相对于性能第2的方法,本文方法的客观评价指标全局相对无量纲误差(relat...     

Recent advances and new guidelines on hyperspectral and multispectral image fusion

Hyperspectral image (HSI) with high spectral resolution often suffers from low spatial resolution owing to the limitations of imaging sensors. Image fusion is an effective and economical way to enhance the spatial resolution of HSI, which combines HSI with higher spatial resolution multispectral image (MSI) of the same scenario. In the past years, many HSI and MSI fusion algorithms are introduced to obtain high-resolution HSI. However, it lacks a full-scale review for the newly proposed HSI and MSI fusion approaches. To tackle this problem, this work gives a comprehensive review and new guidelines for HSI–MSI fusion. According to the characteristics of HSI–MSI fusion methods, they are categorized as four categories, including pan-sharpening based approaches, matrix factorization based approaches, tensor representation based approaches, and deep convolution neural network based approaches. We make a detailed introduction, discussions, and comparison for the fusion methods in each category. Additionally, the existing challenges and possible future directions for the HSI–MSI fusion are presented.     

整合超像元分割和峰值密度的高光谱图像聚类

目的 传统图像聚类算法多利用像元的光谱信息,较少考虑图像的空间信息,容易受到噪声干扰。针对该问题,提出一种整合超像元分割（SLIC）和峰值密度（DP）的高光谱图像聚类算法。方法 首先,利用超像元分割技术对高光谱图像进行分割并提取超像元光谱特征;然后,根据提取的超像元光谱特征,计算其峰值密度信息,搜索超像元光谱簇,构建像元与类别间的隶属度关系。最后,利用高光谱模拟数据以及两组真实高光谱图像评价算法的鲁棒性和精度。结果 在不同信噪比的模拟数据中,SLIC-DP算法在调整芮氏指标（ARI）最优的条件下,较K-means和SLIC-Kmeans的方差降低61.86%和41.61%,体现优越的鲁棒性。在高光谱数据集Salinas-A和Indian Pines中,SLIC-DP算法的ARI为0.777 1和0.325 7,较K-Means和SLIC-KMeans聚类算法分别增长10.71%,5.01%与78.86%,25.27%。结论 本文算法抗噪声能力强,充分利用空间信息与光谱信息,有效提升高光谱图像聚类精度。经验证,能满足高光谱图像信息提取和分析的要求,可进一步推广和研究。     

基于未标签信息主动学习算法的高光谱影像分类

针对高光谱遥感影像分类中,传统的主动学习算法仅利用已标签数据训练样本,大量未标签数据被忽视的问题,提出一种结合未标签信息的主动学习算法。首先,通过K近邻一致性原则、前后预测一致性原则和主动学习算法信息量评估3重筛选得到预测标签可信度高并具备一定信息量的未标签样本;然后,将其预测标签当作真实标签加入到标签样本集中;最后,训练得到更优质的分类模型。实验结果表明,与被动学习算法和传统的主动学习算法相比,所提算法能够在同等标记的代价下获得更高的分类精度,同时具有更好的参数敏感性。     

提升五株形小波在多光谱图像融合中的应用

提出一种基于IHS变换和提升五株形小波变换相结合的融合方法,并把它应用于多光谱图像与高分辨图像的融合中。该算法对多光谱图像进行IHS变换,将得到的亮度分量I和高分辨率图像做多尺度提升五株形小波分解,采用不同的融合算子对高低频分量进行融合,对融合后图像进行提升五株形小波重构和IHS逆变换得到融合结果图像,并采用客观性能指标对融合结果图像进行了客观评价。实验结果表明,该方法对多光谱图像和高分辨率图像的融合有较好的融合效果,能从原图像中获得更多的信息,同时又能保持较高的空间分辨率。该方法的融合算法和分解层数的选取,是简便有效的,适用于多光谱图像融合。     

非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合

由于获取地物波谱信息的波段范围及成像方式的不同,SAR与多光谱图像所得到的信息有很大差异,而且SAR图像会受到严重的相干斑噪声干扰,因此SAR与多光谱图像的融合很难获得满意的效果。考虑到非下采样Contourlet变换(NSCT)相比于其他多尺度几何分析方法的优势,提出了一种NSCT与脉冲耦合神经网络(PCNN)相结合的SAR与多光谱图像融合方法。源图像首先经过NSCT分解获得不同尺度多个方向下的分解系数,将分解系数的高斯拉普拉斯算子能量作为脉冲耦合神经网络模型的输入,具有较大点火频率的系数将被选择作为融合图像的系数,最后经过NSCT重构得到最终的融合图像。实验结果表明,这种算法无论在主观视觉还是在客观指标上都要优于之前的许多算法。     

基于深度学习的图像融合方法综述

图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面表征成像场景,并促进后续的视觉任务。随着深度学习的兴起,基于深度学习的图像融合算法如雨后春笋般涌现,特别是自编码器、生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。本文对不同融合任务场景下的前沿深度融合算法进行全面论述和分析。首先,介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合、数字摄影图像融合以及遥感影像融合等不同的融合场景,从网络架构和监督范式等角度全面阐述各类方法的基本思想,并讨论各类方法的特点。其次,总结各类算法的局限性,并给出进一步的改进方向。再次,简要介绍不同融合场景中常用的数据集,并给出各种评估指标的具体定义。对于每一种融合任务,从定性评估、定量评估和运行效率等多角度全面比较其中代表性算法的性能。本文提及的算法、数据集和评估指标已汇总至https://github.com/Linfeng-Tang/Image-Fusion。最后,给出了本文结论以及图像融合研究中存在的一些严峻挑战,并对未来可能的研究方向进行了展望。     

基于图像分解和稀疏表示的多聚焦图像融合

针对多聚焦图像融合中缺乏细节保护和结构不连续的不足,提出了一种基于图像分解的多聚焦图像融合算法.首先,源图像采用卡通纹理图像分解得到卡通部分和纹理部分;其次,卡通部分采用卷积稀疏表示的方法进行融合,纹理部分采用字典学习进行融合;最后,将卡通和纹理部分融合得到融合图像.实验建立在标准的融合数据集中,并与传统和最近的融合方法进行比较.实验结果证明,该算法所获得的融合结果在方差和信息熵上具有更好的表现,该算法能够有效克服多聚焦图像融合中缺乏细节保护和结构不连续的缺点,同时有更好的视觉效果.     

基于结构组稀疏表示的遥感图像融合

目的 稀疏表示在遥感图像融合上取得引人注目的良好效果,但由于经典稀疏表示没有考虑图像块与块之间的相似性,导致求解出的稀疏系数不够准确及字典学习的计算复杂度高。为提高稀疏表示遥感图像融合算法的效果和快速性,提出一种基于结构组稀疏表示的遥感图像融合方法。方法 首先,将相似图像块组成结构组,再通过组稀疏表示算法分别计算亮度分量和全色图像的自适应组字典和组稀疏系数;然后,根据绝对值最大规则进行全色图像稀疏系数的部分替换得到新的稀疏系数,利用全色图像的组字典和新的稀疏系数重构出高空间分辨率亮度图像;最后,应用通用分量替换（GCOS）框架计算融合后的高分辨率多光谱图像。结果 针对3组不同类型遥感图像的全色图像和多光谱图像分别进行了退化和未退化遥感融合实验,实验结果表明：在退化融合实验中,本文方法的相关系数、均方根误差、相对全局融合误差、通用图像质量评价指标和光谱角等评价指标比传统的融合算法更优越,其中相对全局融合误差分别是2.326 1、1.888 5和1.816 8均远低于传统融合算法;在未退化融合实验中,除了在绿色植物融合效果上略差于AWLP（additive wavelet luminance proportional）方法外,其他融合结果仍占有优势。与经典稀疏表示方法相比,由于字典学习的优越性,计算复杂度上要远低于经典稀疏表示的遥感图像融合算法。结论 本文算法更能保持图像的光谱特性和空间信息,适用于不同类型遥感图像的全色图像和多光谱图像融合。