结合未标签样本和CNN的高光谱遥感图像分类

针对卷积神经网络(convolutional neural networks,CNNs)需求的训练样本量多,而高光谱图像中存在大量的未标签样本未得到充分利用的问题,文章充分挖掘标签样本及其近邻的未标签样本的空谱信息,提出了一种基于灰度共生矩阵(gray-level co-occurrence matrix,GLCM)和三维卷积神经网络的空谱特征联合训练的高光谱图像分类方法。首先,通过灰度共生矩阵提取高光谱图像的纹理特征;然后,利用相关性分析剔除近邻未标签样本中的冗余信息,将标签样本与未标签样本的信息融合;最后,利用三维卷积神经网络提取深空谱特征进行分类。该方法不但充分挖掘了高光谱图像的深度空谱联合特征,而且利用近邻未标签样本的信息实现对样本信息的增强,降低了对训练样本数量的要求,具有较好的分类性能。在3个公共数据集上的实验结果表明,相比其他方法,该方法可以利用较少的训练样本获得较高的分类精度。     

基于SE-Res2Net与多尺度空谱融合注意力机制的高光谱图像分类

为了提取更具有判决力的高光谱图像特征,并防止网络因加深导致退化,在新维度残差网络(Res2Net)和压缩激活网络(squeeze and excitation network,SENet)的基础上,提出新型多尺度特征提取模块SE-Res2Net,并设计多尺度空谱融合注意力模块.为了克服网络加深带来的退化问题,SE-Res2Net模块利用通道分组提取高光谱图像细粒度的多尺度特征得到多个不同粒度的感受野,并采用通道优化模块从通道层面量化特征图的重要性.为了进一步从空间维和光谱维同时优化特征,构建多尺度空谱融合的注意力模块,利用非对称卷积在不同尺度上挖掘不同空间位置和不同光谱维特征的关系,不但能减少计算量,还能有效地提取具有判决力的空谱融合特征,从而提高高光谱图像分类的精度.在3个公共数据集Indian Pines,University of Pavia和Grss_dfc_2013上的对比实验表明,与其他较新的深度网络相比,该方法具有更高的总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系数.     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

高光谱图像含有数百个波段,包含丰富的光谱信息,因此被广泛应用于地物分类中,但仍存在 着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息,有效利用纹理信息能够显著提高分类精度。三 维 Gabor 滤波器不仅能够保留图像丰富的光谱信息,还能提取到图像的纹理特征。为了充分利用高光谱图像的 特征,提出一种基于三维 Gabor 和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN) 能够直接对三维立方体数据进行处理,提取到深层纹理-光谱信息,然而随着网络层的加深会产生网络退化问 题,因此利用残差思想对 3DCNN 模型进行改进。在 PaviaU,Indian Pines 和 Salinas 3 个公共高光谱图像数据 集上进行实验,分别取得 99.17%,97.40%,98.56%的平均分类精度,结果表明该方法能有效提高高光谱图像 的地物分类精度。     

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。     

基于独立空谱残差融合的联合稀疏表示高光谱图像分类

针对高光谱图像分类中存在的空间信息与光谱信息融合问题,提出一种基于独立空谱残差融合的联合稀疏表示高光谱图像分类算法。使用类独立的光谱角初分类图像,获得像元初始标记后按特定条件进行筛选再构造像元邻域空间。提取图像的全局空间信息,并将其引入到空谱联合稀疏表示模型中,使用单独的光谱信息字典与空间信息字典分别进行图像光谱与空间的联合稀疏表示残差计算。在此基础上,使用残差融合算法确定图像类别。实验结果表明,相对SVM、KNN等算法,该算法能够提升高光谱图像的分类精度,且分类结果更稳定。     

基于空谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络（SSF-Net）的高光谱图像分类方法。首先,利用双通道卷积神经网络（Two-CNN）同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化（MCB）将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。     

双判别器深度残差GAN高光谱图像融合

目的 为了解决高空间分辨率多光谱图像与高光谱图像融合时的多波段对多波段问题,以及高空间分辨率多光谱图像波谱范围不能完全涵盖高光谱图像波谱范围而导致的光谱失真问题,本文利用深度学习的数据驱动优势,基于高分 5 号（GF-5）高光谱数据和 Sentinel-2 多光谱数据,提出一种基于生成对抗网络（generative adversarialnetwork,GAN）的高光谱图像空谱融合方法——双判别器深度残差 GAN 网络（two discriminator deep residual GAN,2DDRGAN）。方法 考虑待融合图像间的波谱范围关系,采用分组融合策略,利用波段间的相关性,将多对多的融合问题转变为多个一对多的融合问题。使用深度残差模块深度提取图像的光谱和空间特征,用两个判别网络对融合图像的空间和光谱质量分别进行判断,改善生成网络生成的融合图像质量。另外,本文的深度学习网络不需要制作额外的融合结果标签,待融合图像本身就是标签,这大大降低了高光谱融合的工作量,也是目前深度学习遥感图像融合的根本改变。结果 与常用传统空谱融合方法和经典深度学习方法比较的实验结果表明,对于不同地物类型数据,该网络得到的融合结果在提升空间分辨率的同时,有较高的光谱保真度。光谱曲线评价也验证了该网络对于高空间分辨率图像波谱范围以外的高光谱图像波段进行融合时有良好的光谱保真度。结论 本文方法通过深度残差模块提取高光谱图像光谱特征和高空间分辨率图像空间特征,同时引入双判别网络,使得融合结果在保持光谱信息的同时更好地提升空间信息。     

深度迁移学习在高光谱图像分类中的运用

针对高光谱图像分类中，样本空间特征利用不足的问题。将深层残差网络作为特征提取器运用到高光谱图像分类中，利用深层残差网络更深的网络结构，挖掘样本邻域空间中的深层特征，实验证明此特征具有更好的可分性。同时，针对深层卷积网络有监督训练的过程中，由于有标签样本不足导致的过拟合现象，提出基于深度迁移学习方法的训练策略，通过迁移网络在另一相关数据集中训练得到的网络浅层卷积核参数，再使用目标数据集对深层卷积核参数进行微调，提高了残差网络在少量有标签样本情况下的分类效果。     

基于Transformer的高光谱图像超分辨率重建

高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

基于多尺度空谱鉴别特征的高光谱图像分类

为了应对高光谱图像同质区域面积分布不均的问题,同时更充分地挖掘空间和光谱信息之间的内在联系,提出了一种基于多尺度空谱鉴别特征的高光谱图像分类方法。该算法首先对图像进行不同尺度的滤波操作,接着分别从得到的多幅图像中提取鉴别的空谱特征,并使用支持向量机(SVM)进行分类。最后,该算法采取“决策级融合”的策略,来综合不同滤波尺度图像的分类结果。在Indian Pines,Kennedy Space Center和University of Pavia数据集上的实验表明,该算法能够提取较为有效的空间信息,当随机选取10%的像素作为训练样本时,该算法的总体分类准确率均能达到96%以上,其分类精度和Kappa系数均优于其他分类算法。     

基于全卷积网络和自编码的高光谱图像分类

针对高光谱图像空间信息利用不足、标记样本数量较少的问题,提出一种基于全卷积网络和堆栈稀疏自编码的高光谱图像分类算法.基于迁移学习的思想,利用预训练好的全卷积网络FCN-8s,挖掘图像潜在的多尺度几何结构特征;选取其特征的像素邻域信息,采用拼接融合的方法与原光谱信息进行融合;利用堆栈稀疏自编码网络完成最终的多尺度空谱特征...     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

一种新的空谱联合高光谱图像分类方法

为了充分利用高光谱遥感图像的空间信息和光谱信息,以提高分类精度,文章研究了分别采用二维和三维Gabor滤波对高光谱遥感图像进行特征提取,然后与高光谱遥感图像的光谱信息进行融合,并基于堆栈式稀疏自编码器的深度学习网络对融合图像进行分类的方法.研究结果表明,所提出的空谱联合分类器与传统的光谱信息分类器相比,分类性能得到了显...     

面向肺炎CT图像识别的DL-CTNet模型

肺炎常缺乏明显呼吸系症状,症状多不典型,易发生漏诊、错诊.利用深度学习技术辅助医务人员安全、高效地检测感染者是一种有效途径.针对COVID-19感染者CT图像的磨玻璃影、铺路石征、血管扩张等特点,提出一种可有效地提取CT图像中的局部与全局特征的轻量级模型——DL-CTNet.输入预处理的CT图像后,首先采用空洞卷积和动态双路径多尺度特征融合(D-DMFF)模块的2个支路提取浅层特征;然后使用局部与全局特征拼接模块(LGFC)中的D-DMFF模块提取局部特征、Swin Transformer提取全局特征,并通过拼接获得深层特征;最后经过全连接层输出分类标签.实验结果表明,在2个CT图像数据集上,验证了LGFC模块以及DL-CTNet的低复杂度与有效性; DL-CTNet的分类准确率高达98.613%,与其他方法相比,其能更准确地识别肺炎的CT图像.