CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力，被广泛用于高光谱图像分类中，但由于其固有网络主干的局限性，CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题，提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中，为了尽可能地挖掘高光谱图像的深层特征，采用三维残差多层融合网络来提取空谱特征，然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系，最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性，改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证，分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比，该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力，可以提取更深层的、判别性的特征。     

基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

高光谱图像含有数百个波段,包含丰富的光谱信息,因此被广泛应用于地物分类中,但仍存在 着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息,有效利用纹理信息能够显著提高分类精度。三 维 Gabor 滤波器不仅能够保留图像丰富的光谱信息,还能提取到图像的纹理特征。为了充分利用高光谱图像的 特征,提出一种基于三维 Gabor 和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN) 能够直接对三维立方体数据进行处理,提取到深层纹理-光谱信息,然而随着网络层的加深会产生网络退化问 题,因此利用残差思想对 3DCNN 模型进行改进。在 PaviaU,Indian Pines 和 Salinas 3 个公共高光谱图像数据 集上进行实验,分别取得 99.17%,97.40%,98.56%的平均分类精度,结果表明该方法能有效提高高光谱图像 的地物分类精度。     

基于小波卷积网络的高光谱图像分类

高光谱图像波段多、波段之间关联性强, 但其空间纹理和几何信息的表达较弱, 传统分类模型存在空间光谱特征提取不充分、计算量大的问题, 分类性能有待提高. 针对此问题, 提出一种基于小波变换的多尺度多分辨率注意力特征融合卷积网络 (wavelet transform convolutional attention network, WTCAN), 采用小波变换思想对光谱波段进行4次分解, 通过层次性提取光谱特征可减少计算量. 该网络设计了空间信息提取模块, 同时引入金字塔注意力机制, 通过设计逆向跳跃连接网络结构利用多尺度获取空间位置特征, 增强空间纹理表达能力, 可以有效改进传统2D-CNN特征提取尺度单一、忽略空间纹理细节等缺陷. 本文对所提出的WTCAN模型分别在不同空间分辨率高光谱数据集Indian Pines (IP)、WHU_Hi_HanChuan (HanChuan)、WHU_Hi_HongHu (HongHu)进行实验, 通过对比SVM、2D-CNN、DBMA、DBDA、HybridSN模型效果, WTCAN模型取得较好的分类效果, 3个数据集的分类总体精度分别达到了98.41%、99.64%、99.67%, 可为高光谱图像的分类研究提供参考依据.     

基于空谱分组卷积密集网络的高光谱图像分类

针对高光谱图像分类在特征提取过程中高分辨率信息丢失,导致分类精度下降的问题,提出一种基于空谱分组卷积密集网络的高光谱图像分类方法。设计光谱-空间三维分组卷积密集模块,对光谱与空间特征进行分步提取,利用分组卷积构造的密集网络能减少数据固有信息冗余,使高分辨率的特征进行重用,避免细节特征信息丢失;设计光谱残差注意力模块,该模块通过结合空-谱特征计算注意力权重,对提取到的光谱特征进行权重重分配,对光谱信息富有的区域进行增强。实验结果表明,相比于若干最优的深度网络方法,所提高光谱图像分类方法具有更好的分类性能。     

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley (SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

3D密集全卷积的高光谱地物分类算法研究

针对高光谱遥感图像训练样本较少、光谱维度较高、空间特征与频谱特征存在差异性而导致高光谱地物分类的特征提取不合理、分类精度不稳定和训练时间长等问题,提出了基于3D密集全卷积（3D-DSFCN）的高光谱图像（HSI）分类算法。算法通过密集模块中的3D卷积核分别提取光谱特征和空间特征,采用特征映射模块替换传统网络中的池化层和全连接层,最后通过softmax分类器进行分类。实验结果表明,基于3D-DSFCN的HSI分类方法提高了地物分类的准确率、增强了低频标签的分类稳定性。     

基于稠密卷积神经网络的烟雾识别方法

针对传统烟雾检测方法中提取的图像特征鲁棒性较差的问题,提出了基于稠密卷积神经网络(DenseNet)的烟雾识别方法。首先,利用卷积操作和特征图融合构建稠密网络块,在卷积层之间设计稠密连接机制,以增强稠密网络块结构内的信息流通和特征重利用;然后,将已构建的稠密网络块叠加成稠密卷积神经网络用于烟雾识别,节省计算资源的同时提升对烟雾图像特征的表达能力;最后,针对烟雾图像数据量较小的问题,采取数据增强技术进一步改善训练模型的识别能力。在公开烟雾数据集上对提出的方法进行实验验证,实验结果表明,所提方法的模型大小只有0.44 MB,在两个测试集上的准确率分别为96.20%和96.81%。     

双分支注意力与FasterNet相融合的航拍场景分类

航拍高分辨率图像的场景类别多且类间相似度高,经典的基于深度学习的分类方法,由于在提取特征过程中会产生冗余浮点运算,运行效率较低, FasterNet通过部分卷积提高了运行效率但会降低模型的特征提取能力,从而降低模型的分类精度.针对上述问题,提出了一种融合FasterNet和注意力机制的混合结构分类方法.首先采用“十字型卷积模块”对场景特征进行部分提取,以提高模型运行效率.然后采用坐标注意力与通道注意力相融合的双分支注意力机制,以增强模型对于特征的提取能力.最后将“十字型卷积模块”与双分支注意力模块之间进行残差连接,使网络能训练到更多与任务相关的特征,从而在提高分类精度的同时,减小运行代价,提高运行效率.实验结果表明,与现有基于深度学习的分类模型相比,所提出的方法,推理时间短而且准确率高,参数量为19M,平均一张图像的推理时间为7.1 ms,在公开的数据集NWPU-RESISC45、EuroSAT、VArcGIS (10%)和VArcGIS (20%)的分类精度分别为96.12%、98.64%、95.42%和97.87%,与FasterNet相比分别提升了2.06%、0.77%、1.34...     

基于改进的胶囊网络模型的高光谱图像分类方法

针对卷积神经网络无法有效提取高光谱图像光谱与空间特征以及识别特征之间的空间位置问题,提出一种基于胶囊网络的改进神经网络模型.采用1×1卷积核对高光谱图像块进行降维处理;利用双通道卷积神经网络提取降维图像的初级特征,进而在PrimaryCaps层将初级特征信息封装为胶囊向量;通过DigitCaps层计算胶囊向量的模长来判...     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于反卷积高层特征的遥感地物图像分类

目前利用深度卷积神经网络提取图像底层特征后分类效果已比较优秀,但是对于数据量大、波段多、波段间相关性高的多光谱遥感图像并非完全适用。针对多光谱遥感地物分类中常常出现的Hughes现象,即当训练样本一定时,模型的预测能力随着维度的增加而减小,提出了一种结合高层特征空间和迁移学习网络的遥感地物图像分类算法,利用两层堆叠的反卷积网络来提取目标数据集的高层特征,利用VGG16模型的卷积层权重来构建迁移网络模型,将高层特征导入迁移网络中加强训练得到更加优越的训练模型,利用训练模型可对多光谱遥感数据集更加准确分类。实验结果表明,在Satellite、NWPU和UC Merced实验数据中,冰川、建筑群和海滩分类精度得到有效提高,达到92%左右,针对沙漠、岩石、水域等特殊环境遥感图像,总体分类精度提高5%左右。部分多光谱遥感数据的底层特征和中层特征在训练器中表现并不理想,波段的增多也会导致信息的冗余和数据处理复杂性的提高,反而高层特征在这部分数据中保留了地物信息的轮廓,能更好地适应分类器,得到更加优越的分类结果。     

基于双通道变分自编码器的高光谱图像分类

针对现有高光谱图像变分自编码器（variational autoencoder,VAE）分类算法存在空间和光谱特征利用效率低的问题,提出一种基于双通道变分自编码器的高光谱图像深度学习分类算法。通过构建一维条件变分自编码器（conditional variational autoencoder,CVAE）特征提取框架和二维循环通道条件变分自编码（channel-recurrent conditional variational autoencoders,CRCVAE）特征提取框架分别提取高光谱图像的光谱特征和空间特征,将光谱特征向量和空间特征向量叠加形成空谱联合特征向量,将联合特征送入Softmax分类器中进行分类。在Indian pines和Pavia University两种高光谱数据集上进行了分析验证,实验结果显示,与其他算法相比,提出的算法在总分类精度、平均分类精度和Kappa系数等评价指标上至少提高了3.40、2.75和3.57个百分点,结果显示提出的算法得到了最高的分类精度和更好的可视化效果。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

结合改进LBP和SRC的高光谱图像分类研究

针对传统局部二值模型（local binary pattern,LBP）提取高光谱图像纹理特征信息量庞大的难题,提出一种基于对称旋转不变等价局部二值模型（symmetrical rotation invariant uniform LBP,SRIULBP）的高光谱图像特征提取方法,以缩减特征维度;针对稀疏表示分类（sparse representation classification,SRC）模型中稀疏字典冗余的缺陷,采用近邻思想,提出最近邻稀疏表示（nearest neighbor SRC,NNSRC）分类方法,实现高光谱图像的高效、高准确度分类。数据实验结合表明,SRIULBP能快速提取图像特征,提出的分类方法不仅在分类精度上优于其他稀疏表示分类算法,并且具有更强的时效性与泛化能力。     

Bi-directional LSTM with multi-scale dense attention mechanism for hyperspectral image classification

Feature representation has always been the top priority of research in the field of hyperspectral image (HSI) classification. Efficient analysis of those features extracted from HSI massively depends on the way how features are represented. In this paper, we propose a bi-directional long short-term memory network (Bi-LSTM)-based multi-scale dense attention framework, namely MBDA-Net. In this framework, we develop a new multi-scale dense attention module (MCDA) that uses different sizes of convolution kernels to obtain multi-scale features. Then, we perform feature selection by using a multi-layer attention mechanism that assigns different weight coefficients to the extracted multi-scale features. Specifically, we use the bi-directional LSTM to obtain contextual semantic information. The extensive experiments conducted on three hyperspectral datasets demonstrate the effectiveness of our method in identifying hyperspectral images.