形态学滤波和改进PCNN的NSST域多光谱与全色图像融合

目的 全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的,如何能够在这对矛盾中实现最佳融合效果一直以来都是遥感图像融合领域的研究热点与难点。为了有效结合光谱信息与空间细节信息,进一步改善多光谱与全色图像的融合质量,提出一种形态学滤波和改进脉冲耦合神经网络（PCNN）的非下采样剪切波变换（NSST）域多光谱与全色图像融合方法。方法 该方法首先分别对多光谱和全色图像进行非下采样剪切波变换;对二者的低频分量采用形态学滤波和高通调制框架（HPM）进行融合,将全色图像低频子带的细节信息注入到多光谱图像低频子带中得到融合后的低频子带;对二者的高频分量则采用改进脉冲耦合神经网络的方法进行融合,进一步增强融合图像中的空间细节信息;最后通过NSST逆变换得到融合图像。结果 仿真实验表明,本文方法得到的融合图像细节信息清晰且光谱保真度高,视觉效果上优势明显,且各项评价指标与其他方法相比整体上较优。相比于5种方法中3组融合结果各指标平均值中的最优值,清晰度和空间频率分别比NSCT-PCNN方法提高0.5%和1.0%,光谱扭曲度比NSST-PCNN方法降低4.2%,相关系数比NSST-PCNN方法提高1.4%,信息熵仅比NSST-PCNN方法低0.08%。相关系数和光谱扭曲度两项指标的评价结果表明本文方法相比于其他5种方法能够更好地保持光谱信息,清晰度和空间频率两项指标的评价结果则展示了本文方法具有优于其他对比方法的空间细节注入能力,信息熵指标虽不是最优值,但与最优值非常接近。结论 分析视觉效果及各项客观评价指标可以看出,本文方法在提高融合图像空间分辨率的同时,很好地保持了光谱信息。综合来看,本文方法在主观与客观方面均具有优于亮度色调饱和度（IHS）法、主成分分析（PCA）法、基于非负矩阵分解（CNMF）、基于非下采样轮廓波变换和脉冲耦合神经网络（NSCT-PCNN）以及基于非下采样剪切波变换和脉冲耦合神经网络（NSST-PCNN）5种经典及现有流行方法的融合效果。     

自适应权重注入机制遥感图像融合

目的 遥感图像融合是将一幅高空间分辨率的全色图像和对应场景的低空间分辨率的多光谱图像,融合成一幅在光谱和空间两方面都具有高分辨率的多光谱图像。为了使融合结果在保持较高空间分辨率的同时减轻光谱失真现象,提出了自适应的权重注入机制,并针对上采样图像降质使先验信息变得不精确的问题,提出了通道梯度约束和光谱关系校正约束。方法 使用变分法处理遥感图像融合问题。考虑传感器的物理特性,使用自适应的权重注入机制向多光谱图像各波段注入不同的空间信息,以处理多光谱图像波段间的差异,避免向多光谱图像中注入过多的空间信息导致光谱失真。考虑到上采样的图像是降质的,采用局部光谱一致性约束和通道梯度约束作为先验信息的约束,基于图像退化模型,使用光谱关系校正约束更精确地保持融合结果的波段间关系。结果 在Geoeye和Pleiades卫星数据上同6种表现优异的算法进行对比实验,本文提出的模型在2个卫星数据上除了相关系数CC（correlation coefficient）和光谱角映射SAM（spectral angle mapper）评价指标表现不够稳定,偶尔为次优值外,在相对全局误差ERGAS（erreur relative globale adimensionnelle de synthèse）、峰值信噪比PSNR（peak signal-to-noise ratio）、相对平均光谱误差RASE（relative average spectral error）、均方根误差RMSE（root mean squared error）、光谱信息散度SID（spectral information divergence）等评价指标上均为最优值。结论 本文模型与对比算法相比,在空间分辨率提升和光谱保持方面都取得了良好效果。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

傅里叶变换通道注意力网络的胆管癌高光谱图像分割

目的 胆管癌高光谱图像的光谱波段丰富但存在冗余,造成基于深度神经网络高光谱图像分割方法的分割精度下降,虽然一些基于通道注意力机制的网络能够关注重要通道,但在处理通道特征时存在信息表示不足问题,因此本文研究构建一种新的通道注意力机制深度网络,以提高分割准确性。方法 提出了傅里叶变换多频率通道注意力机制（frequency selecting channel attention,FSCA）。FSCA对输入特征进行2维傅里叶变换,提取部分频率特征,再通过两层全连接层得到通道权重向量,将通道权重与对应通道特征相乘,获得了融合通道注意力信息的输出。针对患癌区域和无癌区域数据不平衡问题引入了Focal损失,结合Inception模块,构建基于Inception-FSCA的胆管癌高光谱图像分割网络。结果 在采集的胆管癌高光谱数据集上进行实验,Inception-FSCA网络的准确率（accuracy）、精度（precision）、敏感性（sensitivity）、特异性（specificity）、Kappa系数分别为0.978 0、0.965 4、0.958 6、0.985 2、0.945 6,优于另外5种对比方法。与合成的假彩色图像的分割结果相比,高光谱图像上的实验指标分别提高了0.058 4、0.105 8、0.087 5、0.039 0、0.149 3。结论 本文所提出的傅里叶变换多频率通道注意力机制能够更有效地利用通道信息,基于Inception-FSCA的胆管癌高光谱图像分割网络能够提升分割效果,在胆管癌医学辅助诊断方面具有研究和应用价值。     

改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。     

基于多种变换的遥感图像新型融合方法

针对多光谱图像空间分辨率低这一特点,提出一种在PCA变换基础上,利用小波变换和高通滤波相结合的图像融合算法。实现了ETM+全色波段与ETM+多光谱波段图像的融合,并从空间纹理信息,光谱真实性两个方面进行定性和定量评价。研究表明,该融合算法产生的光谱失真较小,同时很大程度地保持了高分辨率全色波段的空间纹理细节信息,是一种较好的图像融合方法。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

图像分解与色彩先验下的多曝光图像融合

目的 多曝光图像融合（multi-exposure fusion，MEF）是利用一组不同曝光度的低动态范围（low dynamic range，LDR）图像进行合成，得到类似高动态范围（high dynamic range，HDR）图像视觉效果图像的过程。传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题。为了充分综合待融合图像的有效信息，提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法。方法 使用快速导向滤波进行图像分解，分离出细节层对其进行增强处理，保留更多的细节信息，同时减少融合图像的光晕伪影；根据色彩先验，利用亮度和饱和度之差判断图像曝光程度，并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重，同时保障融合图像的亮度和对比度；利用导向滤波对权重图进行优化，抑制噪声，增加像素之间的相关性，提升融合图像的视觉效果。结果 在24组多曝光图像序列上进行实验，从主观评价角度来看，该融合方法能够提升图像整体对比度及色彩饱和度，并兼顾过曝光区域和欠曝光区域的细节提升。从客观评价标准分析，采用两种不同的多曝光图像序列融合结果的质量评估算法，评价结果显示融合性能均有所提高，对应的指标均值分别为0.982和0.970。与其他对比算法的数据结果比较，在两种不同的结构相似性指标上均有所提升，平均提升分别为1.2%和1.1%。结论 通过主观和客观评价，证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著，具有良好的融合性能。     

非下采样剪切波变换的医学图像融合

目的 由于单模态医学图像所提供的信息有限,不能反映相关组织所有细节信息,可能会造成临床医学误诊。针对这一问题,提出一种基于非下采样剪切波变换（NSST）的医学图像融合算法,对多模态医学图像进行融合,丰富融合图像信息,提高图像质量,为临床诊断提供依据。方法 首先,将源图像进行NSST变换得到低频子带和若干高频方向子带;其次,根据低频子带图像的特点,提出低频系数与脉冲耦合神经网络PCNN （pulse coupled neural network）相结合的方法;根据高频子带间结构相似度SSIM （structure similarity）不同,分为低相似和高相似子带图像;对低相似子带系数采用视觉敏感度系数VSC （visual sensitivity coefficient）与改进梯度能量相结合的策略;高相似子带系数采用VSC与区域能量相结合的方法;进而,选取结构相似度与边缘信息评价因子Q^ABF（edge based similarity measure）之和作为目标函数,自适应地优化可调参数;最后,经逆NSST变换重构图像。结果 对灰度图像和彩色图像进行实验仿真,并与其他4种融合方法进行比较,在主观视觉效果和客观评价标准,本文方法取得良好的融合效果,其中边缘评价因子和标准差都是最好的,其他指标相对较好;与靳珍怡提出的基于非下采样轮廓波变换的多模态医学图像融合相比,5组实验空间频率分别提高了11.8%、24.7%、83.4%、11.9%、30.3%;边缘评价因子分别提高了6.7%、15%、40%、50%、12%;结构相似度分别提高了0.7%、7.3%、2.4%、-3.6%、2.1%;交叉熵分别降低了16.9%、1.6%、-27.4%、6.1%、0.4%。结论 本文算法有效提高多模态医学图像融合质量,增加不同模态间的互补信息;与现有医学图像融合算法相比,本文算法更加优越。融合图像细节信息更为突出,整体信息更丰富,更符合人眼视觉特性。     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

基于非子采样Contourlet变换的遥感图像融合算法

针对人类视觉特性, 以及全色高分辨图像和多光谱遥感自身的特点, 提出一种非下采样 Contourlet (NSCT) 域的图像融合新策略. NSCT 具有好的多分辨、移不变和多方向等特性, 能对图像中的边缘和围线信息给出渐近最优表示. 为了更好地保持空间分辨率和颜色分量, 引入基于 LHS 变换的亮度成分叠加策略. 实验结果表明: 本文提出的融合方法在提高空间分辨率的同时较好地保持了光谱信息. 与传统的 PCA 方法、基于 IHS 的融合方法、基于小波加权的融合方法, 以及同样采用本文的融合策略、分别基于小波变换和基于 Contourlet 变换的融合策略相比较, 本文方法在视觉效果和客观衡量指标两方面都有所改善.     

Recent advances and new guidelines on hyperspectral and multispectral image fusion

Hyperspectral image (HSI) with high spectral resolution often suffers from low spatial resolution owing to the limitations of imaging sensors. Image fusion is an effective and economical way to enhance the spatial resolution of HSI, which combines HSI with higher spatial resolution multispectral image (MSI) of the same scenario. In the past years, many HSI and MSI fusion algorithms are introduced to obtain high-resolution HSI. However, it lacks a full-scale review for the newly proposed HSI and MSI fusion approaches. To tackle this problem, this work gives a comprehensive review and new guidelines for HSI–MSI fusion. According to the characteristics of HSI–MSI fusion methods, they are categorized as four categories, including pan-sharpening based approaches, matrix factorization based approaches, tensor representation based approaches, and deep convolution neural network based approaches. We make a detailed introduction, discussions, and comparison for the fusion methods in each category. Additionally, the existing challenges and possible future directions for the HSI–MSI fusion are presented.     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

基于改进NSCT和IHS变换的遥感影像融合方法

目的 为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I+分量;然后通过NSCT变换分别对I+分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。     

Sentinel-2 Satellite Image Fusion Methodand Quality Evaluation Analysis

Sentinel-2 satellite sensors acquire three kinds of optical remote sensing images with different spatial resolutions.How to improve the spatial resolution of lower spatial resolution bands by fusion method is one of the problems faced by Sentinel-2 applications.Taking the Sentinel\|2B image as the data source,a high spatial resolution band was generated or selected from the four 10m spatial resolution bands by four methods:the maximum correlation coefficient,the central wavelength nearest neighbor,the pixel maximum and the principal component analysis.We fused the one high spatial resolution band produced and six multispectral bands with 20 m spatial resolution by the five fusion methods of PCA,HPF,WT,GS and Pansharp to produce six multispectral bands with 10 m spatial resolution and the fusion results were evaluated from three aspects:qualitative and quantitative (information entropy,average gradient,spectral correlation coefficient,root mean square error and general image quality index) and classification accuracy of fused images.Results show that the fusion quality of Pansharp with the maximum correlation coefficient is better than other fusion methods,and the classification accuracy is slightly lower than the GS with the pixel maximum of the highest classification accuracy and far higher than the original four multispectral image with 10 m spatial resolution.According to the classification accuracy of experimental data,different fusion methods have different advantages in extraction of different ground objects.In application,appropriate schemes should be selected according to actual research needs.This research can provide reference for Sentinel-2 satellite and similar satellite data processing and application.     

高光谱图像超分辨率重建技术研究进展

不同于传统图像（如灰度图像、RGB图像等）专注于保存目标场景的空间信息,高光谱图像蕴含丰富的空—谱信息,不仅可以保存目标的空间信息,还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中,如目标检测、场景分类和目标追踪等。然而,在高光谱图像获取以及重建过程中仍然存在许多问题与瓶颈。如传统高光谱成像仪器在成像过程中通常会引入噪声,且获得的图像往往具有较低的空间分辨率,极大地影响了高光谱图像的质量,对后续数据分析任务造成了极大的困难。近年来,高光谱图像超分辨率重建技术研究得到了极大的发展,现有超分辨率重建方法可以大致分为两类,一类为空间超分辨率重建方法,可以通过直接提升高光谱图像的空间分辨率来获得高质量高光谱图像;另一类为光谱超分辨率重建方法,可以通过提升高空间分辨率图像的光谱分辨率来生成高质量高光谱图像。本文从高光谱图像超分辨率重建领域的新设计、新方法和应用场景出发,通过综合国内外前沿文献来梳理该领域的主要发展,重点论述高光谱图像超分辨率重建领域的发展现状、前沿动态、热点问题及趋势。     

基于PCA和NSCT的多光谱图像和全色图像的融合

研究了主分量分析（PCA）和非下采样Contourlet变换（NSCT）,提出一种新的多光谱图像和全色图像的融合算法。该方法对多光谱图像进行PCA变换,对所得的第一主分量（PC1）以及全色图像进行NSCT变换。对二者的低频近似系数再次进行PCA变换以寻求多光谱信息和空间信息的平衡;对于高频细节系数,通过结构相似性指标（SSIM）和局部Sobel梯度进行融合,进一步提高空间信息量;经过逆NSCT和逆PCA变换得到融合图像。实验结果表明,提出的方法在增强融合图像空间细节表现能力的同时,尽可能地保留了多光谱图像的光谱信息,优于传统的基于IHS、PCA、小波变换和Contourlet变换的融合方法,是有效可行的。     

基于NSCT变换的红外与可见光图像融合技术研究

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像的融合算法。采用对低频系数取平均,对高频系数中最大分解尺度选择系数最大值,其他尺度系数采用局部方差最大的规则,通过对所得到的融合系数进行逆变换即可得到融合后的图像。实验表明:该算法结合了NSCT的多尺度、多方向和平移不变性的优点,能够更好地提取源图像特征,增强融合图像的空间细节表现能力。融合后的图像具有较好的主观视觉效果,标准差和熵值较传统的融合方法有所提高。