基于空谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络（SSF-Net）的高光谱图像分类方法。首先,利用双通道卷积神经网络（Two-CNN）同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化（MCB）将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。     

融合雷达数据的高光谱图像分类

高光谱图像分类是高光谱遥感的一项重要内容。然而,由于高光谱数据光谱波段信息丰富,且仅对材质信息敏感等特性,导致高光谱分类中易出现“维度灾难”、对高度信息不敏感等问题,这使得高光谱图像分类面临巨大的挑战。为解决上述问题,论文设计了一种双路DenseNet网络（Double-Branch DenseNet,DBD）。该网络其中一路对高光谱数据进行特征处理,压缩光谱维度,降低“维度灾难”的影响,并同步提取高光谱数据的光谱特征和空间特征;另一路通过密集连接提取雷达数据的高程特征。两路特征进行特征级融合,得到具有高程信息的高光谱特征,从而进行分类。通过实验证明,将富含高程信息的雷达数据与富含光谱信息的高光谱数据融合后进行分类的分类结果要优于单纯使用高光谱数据进行分类。     

基于降维Gabor特征和决策融合的高光谱图像分类

针对传统高光谱图像分类算法忽略空间特征这个问题,提出一种基于Gabor特征和决策融合的高光谱图像分类算法。首先,通过系数相关矩阵智能地对相邻和高相关光谱带进行分组;接着,在PCA投影子空间中提取每组中的Gabor特征,以量化局部方向和尺度特征;然后,结合保留非负矩阵分解的局部性以减少这些特征子空间的维度;最后,对降维特征进行高斯混合模型分类,并使用对数分类池决策融合规则将分类结果合并。实验结果表明,所提算法优于传统和现有的共计八种先进的分类算法。     

基于自适应主动学习与联合双边滤波的高光谱图像分类

在高光谱图像分类中,选择合适的样本作为训练样本对分类器进行训练非常重要。将样本的不确定性与代表性相结合,通过自适应主动学习方法来完成样本的选择。用核K均值聚类来获取具有代表性的样本,用最优标号和次优标号的概率差值与两者比值的加权和来度量不确定性。此外,为了提高分类的准确率,利用联合双边滤波来获取高光谱图像的空间信息,并将其融入分类过程中。最后,提出一种融合自适应主动学习与联合双边滤波的空谱结合高光谱图像分类方法,并通过实验验证了所提方法的优越性。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

结合并行CNN与极限学习机的高光谱图像分类

针对传统方法不能充分利用高光谱图像的空间和光谱信息,无法进一步提升高光谱图像分类精度的问题,提出了一种结合卷积神经网络的并行异构极限学习机(spatial-spectral convolutional neural network and parallel extreme learning machine,SSCNN-PELM)分类模型。卷积神经网络(convolutional neural network,CNN)由并行的二维卷积(two-dimensional convolution,2D-CNN)和一维卷积(one-dimensional convolution,1D-CNN)构成,其中2D-CNN提取空间信息和部分光谱信息,1D-CNN补偿损失的光谱信息;并行异构极限学习机(parallel extreme learning machine,PELM)将输入层数据并行映射到隐藏层,同时求解出并行隐藏层的连接权重,进而实现特征融合及分类任务。实验结果表明,SSCNN-PELM模型在Indian pines、Pavia university数据集上总体分类精度分别为99.07%、99.51%,对比了支持向量机(support vector machine,SVM)、CNN等分类方法,SSCNN-PELM模型在提高分类精度的同时兼顾了分类速度。     

散度核协同表示与空谱融合特征的高光谱图像分类算法

协同表示的相关算法在高光谱图像分类的学习过程中没有很好地刻画高光谱图像的特性,如像素的局域性和标签信息等,因此其性能受到限制。对此,提出一种散度核协同表示技术并利用空谱融合获取特征的分类方法(IKCRC)。为有效刻画像素的局域性和标签信息,该方法构造新的散度核协同表示模型和相应的计算模型。在公式中引入核映射以提高分类能力,在计算过程上使用空谱融合的初步特征提取使得算法简洁高效。在标准高光谱图像数据集上进行的对比实验表明,IKCRC更能有效地提高分类精度。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

一种基于深度谱空网络的高光谱图像聚类方法

通常无监督算法在对高光谱数据进行聚类时仅使用光谱信息,忽略了空间信息,使得聚类准确率较低.针对上述问题提出一种基于深度谱空网络和无监督判别极限学习的高光谱图像聚类算法.利用深度谱空网络对高光谱数据进行光谱特征和空间特征的分层交叉学习,通过反复学习获得深度空谱特征,为后续无监督聚类提供方便.在三种高光谱图像上进行实验,结果表明,该算法获得的聚类效果优于其他基于极限学习机的方法和其他无监督方法.     

PCA与移动窗小波变换的高光谱决策融合分类

目的 高光谱数据具有较高的谱间分辨率和相关性,给分类处理带来了一定的困难.为了提高分类精度,提出一种结合PCA与移动窗小波变换的高光谱决策融合分类算法.方法 首先,利用相关系数矩阵对原始高光谱数据进行波段分组;然后,利用主成分分析对每组数据进行谱间降维;再根据提出的移动窗小波变换法进行空间特征提取;最后,采用线性意见池(LOP)决策融合规则对多分类器的分类结果进行融合.结果 采用两组来自不同传感器的数据进行实验,所提算法的分类精度和Kappa系数均高于已有的5种分类算法.与SVM-RBF算法相比,本文算法的分类精度高出了8％左右.结论 实验结果表明,本文算法充分挖掘了高光谱图像的谱间-空间信息,能有效提高分类正确率,在小样本情况下和噪声环境中也具有良好的分类性能.     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于图正则自适应联合协同表示的高光谱图像分类

针对由于空间信息利用不充分而导致的高光谱图像分类精度较低的问题,提出一种基于图正则自适应联合协同表示的高光谱图像分类算法.首先,采用双边滤波操作对高光谱图像进行空间信息提取,以充分挖掘每个像素的空间信息;其次,在联合协同表示的目标函数中引入图正则约束项,以保持高光谱数据的流形结构;再次,一方面利用图像分割来自适应调整空间邻域的形状,另一方面通过对中心像素的空间近邻赋予不同的权重,提出一种自适应空间-光谱特征融合策略;最后,基于误差最小原则,给出测试样本的类别标签.在两个高光谱数据集上的实验结果表明,所提出算法的整体分类精度分别达到98.50%和97.30%.     

Tripartite-structure transformer for hyperspectral image classification

Hyperspectral images contain rich spatial and spectral information, which provides a strong basis for distinguishing different land-cover objects. Therefore, hyperspectral image (HSI) classification has been a hot research topic. With the advent of deep learning, convolutional neural networks (CNNs) have become a popular method for hyperspectral image classification. However, convolutional neural network (CNN) has strong local feature extraction ability but cannot deal with long-distance dependence well. Vision Transformer (ViT) is a recent development that can address this limitation, but it is not effective in extracting local features and has low computational efficiency. To overcome these drawbacks, we propose a hybrid classification network that combines the strengths of both CNN and ViT, names Spatial-Spectral Former(SSF). The shallow layer employs 3D convolution to extract local features and reduce data dimensions. The deep layer employs a spectral-spatial transformer module for global feature extraction and information enhancement in spectral and spatial dimensions. Our proposed model achieves promising results on widely used public HSI datasets compared to other deep learning methods, including CNN, ViT, and hybrid models.     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

基于特征融合的室外天气图像分类

天气状况对室外视频设备的成像效果有很大影响。为实现成像设备在恶劣天气下的自适应调整,从而提升智能监控系统的效果,同时针对传统的天气图像判别方法分类效果差且对相近天气现象不易分类的不足,以及深度学习方法识别天气准确率不高的问题,提出了一个将传统方法与深度学习方法相结合的特征融合模型。融合模型采用4种人工设计算法提取传统特征,采用AlexNet提取深层特征,利用融合后的特征向量进行图像天气状况的判别。融合模型在多背景数据集上的准确率达到93.90%,优于对比的3种常用方法,并且在平均精准率（AP）和平均召回率（AR）指标上也表现良好;在单背景数据集上的准确率达到96.97%,AP和AR均优于其他模型,且能很好识别特征相近的天气图像。实验结果表明提出的特征融合模型可以结合传统方法和深度学习方法的优势,提升现有天气图像分类方法的准确度,同时提高在特征相近的天气现象下的识别率。     

多尺度超像素分割和奇异谱分析的高光谱影像分类

目的 高光谱影像（hyperspectral image,HSI）中“同物异谱,异物同谱”的现象普遍存在,使分类结果存在严重的椒盐噪声问题。HSI中的空间地物结构复杂多样,单一尺度的空间特征提取方法无法有效地表达地物类间差异和区分地物边界。有效解决光谱混淆和空间尺度问题是提高分类精度的关键。方法 结合多尺度超像素和奇异谱分析,提出一种新的高光谱影像分类方法,从而充分挖掘地物的局部空间特征和光谱特征,解决空间尺度和光谱混淆的问题,提高分类精度。利用多尺度超像素对影像进行分割,获取不同尺度的分割影像,同时在分割区域内进行均值滤波,减少类内的光谱差异,增强类间的光谱差异;对每个区域计算平均光谱向量,并利用奇异谱分析方法获取光谱的主要鉴别特征,同时消除噪声的影响;利用支持向量机对不同尺度超像素分割影像进行分类,并进行决策融合,得到最终的分类结果。结果 实验选取了两个标准高光谱数据集和一个真实数据集,结果表明,利用本文算法提取的光谱—空间特征进行分类,比直接在原始数据上进行分类分别提高约26.8%、9.2%和13%的精度;与先进的深度学习SSRN （spectral-spatial residual network）算法相比,本文算法在精度上分别提升约5.2%、0.7%和4%,并且运行时间仅为前者的18.3%、45.4%和62.1%,处理效率更高。此外,在训练样本有限的情况下,两个标准数据集的样本分别为1%和0.2%时,本文算法均能取得87%以上的分类精度。结论 针对高光谱影像分类中的难题,提出一种新的融合光谱和多尺度空间特征的HSI分类方法。实验结果表明,本文方法优于对比方法,可以产生更精细的分类结果。     

采用融合卷积网的图像分类算法

目前,卷积神经网络已成为视觉对象识别的主流机器学习方法。有研究表明,网络层数越深,所提取的深度特征表征能力越强。然而,当数据集规模不足时,过深的网络往往容易过拟合,深度特征的分类性能将受到制约。因此,提出了一种新的卷积神经网络分类算法：并行融合网FD-Net。以网络融合的方式提高特征的表达能力,并行融合网首先组织2个相同的子网并行提取图像特征,然后使用精心设计的特征融合器将子网特征进行多尺度融合,提取出更丰富、更精确的融合特征用于分类。此外, 采用了随机失活和批量规范化等方法协助特征融合器去除冗余特征,并提出了相应的训练策略控制计算开销。最后,分别以经典的ResNet、InceptionV3、DenseNet和MobileNetV2作为基础模型,在UECFOOD-100和Caltech101等数据集上进行了深入的研究和评估。实验结果表明,并行融合网能在有限的训练样本上训练出识别能力更强的分类模型,有效提高图像的分类准确率。