基于SE-Res2Net与多尺度空谱融合注意力机制的高光谱图像分类

为了提取更具有判决力的高光谱图像特征,并防止网络因加深导致退化,在新维度残差网络(Res2Net)和压缩激活网络(squeeze and excitation network,SENet)的基础上,提出新型多尺度特征提取模块SE-Res2Net,并设计多尺度空谱融合注意力模块.为了克服网络加深带来的退化问题,SE-Res2Net模块利用通道分组提取高光谱图像细粒度的多尺度特征得到多个不同粒度的感受野,并采用通道优化模块从通道层面量化特征图的重要性.为了进一步从空间维和光谱维同时优化特征,构建多尺度空谱融合的注意力模块,利用非对称卷积在不同尺度上挖掘不同空间位置和不同光谱维特征的关系,不但能减少计算量,还能有效地提取具有判决力的空谱融合特征,从而提高高光谱图像分类的精度.在3个公共数据集Indian Pines,University of Pavia和Grss_dfc_2013上的对比实验表明,与其他较新的深度网络相比,该方法具有更高的总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系数.     

基于空谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络（SSF-Net）的高光谱图像分类方法。首先,利用双通道卷积神经网络（Two-CNN）同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化（MCB）将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。     

混合深度CNN联合注意力的高光谱图像分类

深度学习中的卷积神经网络（CNN）能充分利用计算机的计算能力,高效地提取遥感图像的特征,取得很好的成果,特别是在高光谱图像分类方面取得了很大的进展。为了在有限的高光谱样本上充分提取光谱和空间特征,提高高光谱图像分类的精度,提出了混合深度卷积联合注意力（HDC-Attention）的模型。首先利用核主成分分析（KPCA）和小批量K均值（MBK-means）对高光谱图像进行组合降维,有效地消除数据冗余并保留主要信息量,使得降维后的数据具有最佳区分度。然后将降维后的数据输入HDC网络进行充分的光谱-空间特征提取。最后利用光谱-空间注意力,重新分配光谱-空间特征的权重,增强有用的空谱特征,抑制无用的特征。提出的模型在三个公开数据集上进行了多次实验,在有限的标记样本下,三个数据集的OA、AA、Kappa分类指标均超过99%。     

3D密集全卷积的高光谱地物分类算法研究

针对高光谱遥感图像训练样本较少、光谱维度较高、空间特征与频谱特征存在差异性而导致高光谱地物分类的特征提取不合理、分类精度不稳定和训练时间长等问题,提出了基于3D密集全卷积（3D-DSFCN）的高光谱图像（HSI）分类算法。算法通过密集模块中的3D卷积核分别提取光谱特征和空间特征,采用特征映射模块替换传统网络中的池化层和全连接层,最后通过softmax分类器进行分类。实验结果表明,基于3D-DSFCN的HSI分类方法提高了地物分类的准确率、增强了低频标签的分类稳定性。     

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley (SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.     

基于 DenseNet-Attention 模型的高光谱图像分类

摘 要：针对高光谱图像标记样本量少，提取特征不充分以及提取到的特征不区分贡献度 的问题，提出一个新型的 DenseNet-Attention 网络模型(DANet)。首先，该模型利用三维卷积核 同步提取联合光谱空间特征，同时密集连接网络(DenseNet)的稠密连接块除了能够充分提取更 加鲁棒的特征外，还减少了大量参数；其次，自注意力(self-attention)机制作为一个模块加入到 稠密连接块中，可以使上层提取到的特征在进入下一层网络之前，经过该模块对其进行权重分 配，使具有丰富的物类别信息的特征得到加强，进而区分特征的贡献度。网络模型以原始高光 谱图像邻域块作为输入，无需任何预处理，是一个端对端学习的深度神经网络。在印第安松树 林和帕维亚大学数据集上进行对比试验，网络模型的分类精度分别能够达到 99.43%和 99.99%， 有效提高了高光谱图像分类精度。     

基于加权K近邻和卷积神经网络的高光谱图像分类

传统的谱空联合分类算法通常定义一个邻域空间作为空间信息,忽略空间中非邻域空间信息,且容易将异类像元也考虑在内。针对于高光谱图像分类问题,提出了一种加权K近邻算法能够自适应地提取空间信息,首先定义光谱和空间坐标组成的特征空间,利用该特征空间寻找目标像元的K个相似像元,并对这些像元根据特征空间进行加权;将加权后的像元按照一定方式组合成三维张量表示最终的谱空联合信息,使用三维卷积神经网络对其进行训练,得到最终分类结果。从实验结果来看,相对于改进前的算法,在总体分类精度上得到了一定的提升,与原始的三维卷积神经网络相比,在收敛速度上也得到大大提升,为高光谱图像的谱空联合分类提供了一种更加实用的方法。     

多尺度融合注意力机制的胆囊癌显微高光谱图像分类

目的 胆囊癌作为胆道系统中一种恶性程度极高的肿瘤,早期诊断困难、预后极差,因此准确鉴别胆囊病变对早期发现胆囊癌具有重要意义。目前胆囊癌的诊断主要依赖于超声、CT(computed tomography)等传统影像学方法,但准确性较低。显微高光谱能够在获取生物组织图像信息的同时从生化角度对生物组织进行分析,从而实现对胆囊癌的早期诊断,相比于传统医学图像更具优势。因此,本文基于胆囊癌显微高光谱图像设计了一种基于多尺度融合注意力机制的网络模型,以提高分类准确率。方法 提出多尺度融合注意力模块（multiscale squeeze-andexcitation-residual, MSE-Res）。MSE-Res模块引入改进的多尺度特征提取模块实现通道维上特征的融合,用一个最大池化层和一个上采样层代替1×1的卷积层来提取图像的显著特征。为了弥补池化层丢失的局部信息,在跳跃连接中加入一个1×1的卷积层。在多尺度特征提取模块后,引入注意力机制来学习不同通道间特征的相关性,实现通道间特征的融合,并通过残差连接使网络在提取图像深层特征的同时避免出现过拟合现象。结果 在胆囊癌高光谱数据集上进行实验,本文模...     

基于注意力机制的乳腺X线摄影分类方法

环境的日益恶化导致癌症的发病率不断升高,2018年全球乳腺癌的发病率在所有癌症中已经位居首位。乳腺X线摄影价格实惠且易于操作,目前被认作是最好的乳腺癌筛查方法,也是早期发现乳腺癌最有效的方法。针对乳腺X线摄影不容易分辨、特征不明显等特点,提出了基于RNN+CNN的注意力记忆网络对其进行分类。注意力记忆网络包含注意力记忆模块和卷积残差模块。注意力记忆模块中,注意力模块提取乳腺X线摄影的特征,记忆模块在RNN网络加入注意力权重来模拟人对所提取关键信息的重点突出;卷积残差模块使用CNN对图像进行分类。该方法创新之处在于：提出注意力记忆网络用于乳腺X线摄影图像分类;所设计网络在RNN+CNN结构上引入注意力权重,提取图像关键信息以增强特征描述。在乳腺X线摄影INbreast数据集上的实验结果显示,注意力记忆网络的运行时间比预训练的Inceptionv2、ResNet50、VGG16网络少50%以上,同时达到更高的分类准确率。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于混合卷积与三重注意力的高光谱图像分类网络

针对高光谱图像光谱维度高、现有网络无法提供深度级的多层次特征,从而影响分类精度和速度的问题。首先采用核主成分分析对高光谱图像进行降维,使降维后的数据具有最佳区分度,提出了一种基于混合卷积与三重注意力的卷积神经网络(hybrid convolutional neural network with triplet attention, HCTA-Net)模型,该模型设计了一种基于三维、二维和一维卷积的混合卷积神经网络,通过不同维度卷积神经网络的融合,提取高光谱图像精细的光谱–空间联合特征。在二维卷积中加入深度可分离卷积,减少了模型参数,同时引入三重注意力机制,使用三分支结构实现跨维度信息交互,抑制无用的特征信息。在Indian Pines、Salinas和Pavia University数据集上的实验结果表明,本文提出的模型优于其他对比方法,总体分类精度分别达到了99.16%、99.87%和99.76%。     

基于小波卷积网络的高光谱图像分类

高光谱图像波段多、波段之间关联性强, 但其空间纹理和几何信息的表达较弱, 传统分类模型存在空间光谱特征提取不充分、计算量大的问题, 分类性能有待提高. 针对此问题, 提出一种基于小波变换的多尺度多分辨率注意力特征融合卷积网络 (wavelet transform convolutional attention network, WTCAN), 采用小波变换思想对光谱波段进行4次分解, 通过层次性提取光谱特征可减少计算量. 该网络设计了空间信息提取模块, 同时引入金字塔注意力机制, 通过设计逆向跳跃连接网络结构利用多尺度获取空间位置特征, 增强空间纹理表达能力, 可以有效改进传统2D-CNN特征提取尺度单一、忽略空间纹理细节等缺陷. 本文对所提出的WTCAN模型分别在不同空间分辨率高光谱数据集Indian Pines (IP)、WHU_Hi_HanChuan (HanChuan)、WHU_Hi_HongHu (HongHu)进行实验, 通过对比SVM、2D-CNN、DBMA、DBDA、HybridSN模型效果, WTCAN模型取得较好的分类效果, 3个数据集的分类总体精度分别达到了98.41%、99.64%、99.67%, 可为高光谱图像的分类研究提供参考依据.     

双分支多维注意特征融合的高光谱图像分类

为改善高光谱图像小样本类别的分类性能,提高模型特征表达的稳健性,提出了双分支多维注意力特征融合的神经网络分类模型（DBMD）。DBMD采用两个分支分别进行光谱特征提取和混合特征提取。光谱分支通过密集连接的扩张卷积逐级提取特征,然后融合低、中、高级语义信息作为特征输出。混合分支采用3D-2D网络架构,并通过改进的Inception块提取空间尺度特征。此外,注意力机制分别应用于光谱、空间和空谱特征,进行特征细化,增强重要区域的特征响应。最后,将不同维度的细化特征联合输入至分类器进行分类。在Indian Pines和Salinas Valley数据集上利用5%和1%的样本进行实验,分别取得了98.40%和99.78%的总体精度,与其他六种网络架构相比,该模型在准确性和稳定性上都具有更优的表现。     

结合注意力和改进样本选取方法的少样本高光谱分类孪生网络

针对高光谱图像(hyperspectral image)样本人工标记困难导致的样本数量不足的问题, 本文提出了一个结合注意力和空间邻域的少样本孪生网络算法. 它首先对高光谱图像进行PCA预处理, 实现数据降维; 其次, 对模型训练样本采用间隔采样和边缘采样的方式进行选取, 以有效减少冗余信息; 之后, Siamese network以大小不同的patch形式进行两两结合, 构建出样本对作为训练集进行训练, 不仅实现了数据增强的效果, 还能在提取光谱信息特征的同时, 充分提取目标像素光谱信息以及其周围邻域空间信息; 最后, 添加光谱维度的注意力模块以及空间维度的相似度度量模块, 分别对光谱信息和空间邻域信息进行权重分布, 以达到提升分类性能的目的. 实验结果表明, 本文提出的方法在部分公开数据集上对比常用方法取得了较好的实验效果.     

基于全卷积网络和自编码的高光谱图像分类

针对高光谱图像空间信息利用不足、标记样本数量较少的问题,提出一种基于全卷积网络和堆栈稀疏自编码的高光谱图像分类算法.基于迁移学习的思想,利用预训练好的全卷积网络FCN-8s,挖掘图像潜在的多尺度几何结构特征;选取其特征的像素邻域信息,采用拼接融合的方法与原光谱信息进行融合;利用堆栈稀疏自编码网络完成最终的多尺度空谱特征...     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

双判别器深度残差GAN高光谱图像融合

目的 为了解决高空间分辨率多光谱图像与高光谱图像融合时的多波段对多波段问题,以及高空间分辨率多光谱图像波谱范围不能完全涵盖高光谱图像波谱范围而导致的光谱失真问题,本文利用深度学习的数据驱动优势,基于高分 5 号（GF-5）高光谱数据和 Sentinel-2 多光谱数据,提出一种基于生成对抗网络（generative adversarialnetwork,GAN）的高光谱图像空谱融合方法——双判别器深度残差 GAN 网络（two discriminator deep residual GAN,2DDRGAN）。方法 考虑待融合图像间的波谱范围关系,采用分组融合策略,利用波段间的相关性,将多对多的融合问题转变为多个一对多的融合问题。使用深度残差模块深度提取图像的光谱和空间特征,用两个判别网络对融合图像的空间和光谱质量分别进行判断,改善生成网络生成的融合图像质量。另外,本文的深度学习网络不需要制作额外的融合结果标签,待融合图像本身就是标签,这大大降低了高光谱融合的工作量,也是目前深度学习遥感图像融合的根本改变。结果 与常用传统空谱融合方法和经典深度学习方法比较的实验结果表明,对于不同地物类型数据,该网络得到的融合结果在提升空间分辨率的同时,有较高的光谱保真度。光谱曲线评价也验证了该网络对于高空间分辨率图像波谱范围以外的高光谱图像波段进行融合时有良好的光谱保真度。结论 本文方法通过深度残差模块提取高光谱图像光谱特征和高空间分辨率图像空间特征,同时引入双判别网络,使得融合结果在保持光谱信息的同时更好地提升空间信息。     

融合雷达数据的高光谱图像分类

高光谱图像分类是高光谱遥感的一项重要内容。然而,由于高光谱数据光谱波段信息丰富,且仅对材质信息敏感等特性,导致高光谱分类中易出现“维度灾难”、对高度信息不敏感等问题,这使得高光谱图像分类面临巨大的挑战。为解决上述问题,论文设计了一种双路DenseNet网络（Double-Branch DenseNet,DBD）。该网络其中一路对高光谱数据进行特征处理,压缩光谱维度,降低“维度灾难”的影响,并同步提取高光谱数据的光谱特征和空间特征;另一路通过密集连接提取雷达数据的高程特征。两路特征进行特征级融合,得到具有高程信息的高光谱特征,从而进行分类。通过实验证明,将富含高程信息的雷达数据与富含光谱信息的高光谱数据融合后进行分类的分类结果要优于单纯使用高光谱数据进行分类。     

结合未标签样本和CNN的高光谱遥感图像分类

针对卷积神经网络(convolutional neural networks,CNNs)需求的训练样本量多,而高光谱图像中存在大量的未标签样本未得到充分利用的问题,文章充分挖掘标签样本及其近邻的未标签样本的空谱信息,提出了一种基于灰度共生矩阵(gray-level co-occurrence matrix,GLCM)和三维卷积神经网络的空谱特征联合训练的高光谱图像分类方法。首先,通过灰度共生矩阵提取高光谱图像的纹理特征;然后,利用相关性分析剔除近邻未标签样本中的冗余信息,将标签样本与未标签样本的信息融合;最后,利用三维卷积神经网络提取深空谱特征进行分类。该方法不但充分挖掘了高光谱图像的深度空谱联合特征,而且利用近邻未标签样本的信息实现对样本信息的增强,降低了对训练样本数量的要求,具有较好的分类性能。在3个公共数据集上的实验结果表明,相比其他方法,该方法可以利用较少的训练样本获得较高的分类精度。