基于双重L2稀疏编码的高光谱图像分类

目的 为了有效提高高光谱图像分类的精度,提出了双重L2稀疏编码的高光谱图像分类方法。方法 首先对高光谱图像进行预处理,充分结合图像的空间信息和光谱信息,利用像元的空间连续性,用L2稀疏编码重建图像中每个像元。针对重建的图像数据,依据L2稀疏编码的最小误差和编码系数实现分类。结果 在公开的数据库AVIRIS高光谱图像上进行验证,分类精度为99.44%,与支持向量机（SVM）、K最近邻（KNN）和L1稀疏编码方法比较,有效地提高了分类的准确性。结论 实验结果表明,提出的方法应用于高光谱图像分类具有较好的分类效果。     

HSRS-SC:面向遥感场景分类的高光谱图像数据集

目的 场景分类是遥感领域一项重要的研究课题，但大都面向高分辨率遥感影像。高分辨率影像光谱信息少，故场景鉴别能力受限。而高光谱影像包含更丰富的光谱信息，具有强大的地物鉴别能力，但目前仍缺少针对场景级图像分类的高光谱数据集。为了给高光谱场景理解提供数据支撑，本文构建了面向场景分类的高光谱遥感图像数据集（hyperspectral remote sensing dataset for scene classification，HSRS-SC）。方法 HSRS-SC来自黑河生态水文遥感试验航空数据，是目前已知最大的高光谱场景分类数据集，经由定标系数校正、大气校正等处理形成。HSRS-SC分为5个类别，共1 385幅图像，且空间分辨率较高（1 m），波长范围广（380~1 050 nm），同时蕴含地物丰富的空间和光谱信息。结果 为提供基准结果，使用AlexNet、VGGNet-16、GoogLeNet在3种方案下组织实验。方案1仅利用可见光波段提取场景特征。方案2和方案3分别以加和、级联的形式融合可见光与近红外波段信息。结果表明有效利用高光谱影像不同波段信息有利于提高分类性能，最高分类精度达到93.20%。为进一步探索高光谱场景的优势，开展了图像全谱段场景分类实验。在两种训练样本下，高光谱场景相比RGB图像均取得较高的精度优势。结论 HSRS-SC可以反映详实的地物信息，能够为场景语义理解提供良好的数据支持。本文仅利用可见光和近红外部分波段信息，高光谱场景丰富的光谱信息尚未得到充分挖掘。后续可在HSRS-SC开展高光谱场景特征学习及分类研究。     

跨数据集评估的高光谱图像分类

目的 随着高光谱成像技术的飞速发展,高光谱数据的应用越来越广泛,各场景高光谱图像的应用对高精度详细标注的需求也越来越旺盛。现有高光谱分类模型的发展大多集中于有监督学习,大多数方法都在单个高光谱数据立方中进行训练和评估。由于不同高光谱数据采集场景不同且地物类别不一致,已训练好的模型并不能直接迁移至新的数据集得到可靠标注,这也限制了高光谱图像分类模型的进一步发展。本文提出跨数据集对高光谱分类模型进行训练和评估的模式。方法 受零样本学习的启发,本文引入高光谱类别标签的语义信息,拟通过将不同数据集的原始数据及标签信息分别映射至同一特征空间以建立已知类别和未知类别的关联,再通过将训练数据集的两部分特征映射至统一的嵌入空间学习高光谱图像视觉特征和类别标签语义特征的对应关系,即可将该对应关系应用于测试数据集进行标签推理。结果 实验在一对同传感器采集的数据集上完成,比较分析了语义—视觉特征映射和视觉—语义特征映射方向,对比了5种基于零样本学习的特征映射方法,在高光谱图像分类任务中实现了对分类模型在不同数据集上的训练和评估。结论 实验结果表明,本文提出的基于零样本学习的高光谱分类模型可以实现跨数据集对分类模型进行训练和评估,在高光谱图像分类任务中具有一定的发展潜力。     

组合因子最优的线性预测波段选择

目的 高光谱图像分辨率高,数据量大,信息的冗余程度高,给数据处理带来了很大的困难。为了高效地实现数据降维,使降维后的数据冗余度小且信息量大,提出一种基于组合因子最优的波段选择方法。方法 首先对高光谱数据进行波段子空间划分,在各子空间中通过线性预测误差来计算误差最小和次小的两个波段,结合它们的标准差,计算出它们的组合因子,通过比较组合因子来决定所要去除的波段。结果 该方法的计算效率高,相同条件下计算时间比最快的方法有轻微的减少。使用支持向量机(SVM)对波段子集分类,并将该方法与其他方法进行分类准确率比较,相同条件下比其他方法的最高准确率有1.5%的提升。结论 组合因子的方法综合考虑了波段子集的最小冗余度和最大信息量,得到了较好的波段子集,并且有较小的计算复杂度,适用于AVIRIS (airborne visible infrared imaging spectrometer)等各种高光谱图像数据。     

谐波分析光谱角制图高光谱影像分类

目的 针对光谱角制图(SAM)分类算法对高光谱像元光谱曲线的局部特征和其辐射强度不敏感,而且易受噪声和维数灾难影响,致使分类效率低和精度较差等缺陷,将谐波分析(HA)技术引入到SAM高光谱影像分类中,提出一种基于谐波分析的光谱角制图(HA-SAM)高光谱影像分类算法.方法 利用HA技术将高光谱影像从光谱维变换到能量谱特征维空间,并提取低次谐波分量及特征系数(谐波余项、相位和振幅),用特征系数组成的向量代替光谱向量,对高光谱影像进行SAM分类.结果 将SAM和HA-SAM同时应用于EO-1卫星的Hyperion高光谱影像分类,通过对比和分析,验证了HA-SAM的优越性,再选择AVIRIS(airborne visible infrared imaging spectrometer)高光谱影像对HA-SAM进行验证,结果表明该算法具有较强的普适性.结论 HA-SAM提高了传统SAM高光谱影像分类的效率和精度,而且适用性较强具有良好的应用前景.     

四叉树分块的高光谱图像分布式无损编码

目的 近年来随着光谱成像技术的快速发展,使得高光谱遥感图像能够提供更加丰富的地物信息,然而其所具有的极大数据量给图像的存储、传输和实用带来较大的困难。因此,如何对高光谱遥感图像进行有效编码成为研究热点。方法 基于陪集码的分布式信源编码因其具有良好的压缩性能和较低的编码复杂度而受到重视,在此基础上提出一种基于自适应四叉树分块的高光谱图像分布式无损编码方案。设每个高光谱帧组的第1帧为关键帧,其他帧为普通帧,首先对关键帧进行自适应四叉树分块,然后对每一块与普通帧相应的块进行最佳线性预测,进而根据预测残差确定所需传输的陪集码索引位数以及每个像素的k个最低比特位。结果 本文通过自适应四叉树分块,增强了所形成陪集码的自适应性。所提出的编码方案很好地实现了压缩效果和编码效率的折中。结论 提出的方案能够较好地适应低复杂度环境下对高光谱图像无损编码的需求。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

长时序高光谱图像清晰度影响因素分析

目的 清晰度是评价对地观测成像仪影像数据质量的典型指标之一,可以反映成像仪对地物边缘变化的敏锐程度。已有的对地观测成像仪在轨测试及图像质量评价方法研究中,往往关注遥感影像清晰度是否达标,或监测其变化趋势,未对清晰度变化影响因素进行深入探讨。针对这一问题,本文主要对长时间序列的成像仪成像清晰度的变化以及影响因素进行探讨。方法 以天宫一号高光谱成像仪短波红外谱段0级数据作为研究对象,首先利用改进的基于边缘检测的清晰度算法计算出影像的清晰度,其次将各影像数据对应的成像仪工程参数进行筛选,然后利用Apriori算法对长时间序列高光谱影像的清晰度与成像时刻的工程参数进行关联规则挖掘,利用最小支持度阈值和最小置信度阈值筛选出强关联规则,并附加提升度和余弦对强关联规则进行验证,最后结合3维散点图对影响清晰度的主要因素进行定量分析。结果 经大量测试数据表明,天宫一号高光谱成像仪短波红外谱段影像清晰度较好,影响清晰度的主要因素有太阳高度角、拍摄积分时间以及平台稳定性(包括俯仰角、偏航角和滚动角的稳定性)。太阳高度角与图像清晰度呈正相关关系,即当太阳高度角大于65°时,影像清晰度较高,当太阳高度角小于30°时,影像清晰度较低;平台稳定性与图像清晰度呈正相关关系,即当太阳高度角大于30°且小于65°时,平台稳定性高倾向于得到清晰度较高的图像,平台稳定性低倾向于得到清晰度较低的图像;拍摄积分时间与图像清晰度呈负相关关系。结论 基于关联规则挖掘的长时序高光谱图像清晰度影响因素分析方法是一种有效的分析方法,可以挖掘出与影像清晰度强关联的工程参数。后续可扩大工程参数范围,利用此分析方法进一步研究遥感图像其他指标与工程参数的关联关系。     

联合分块谱带优选和深度特征的高光谱人脸识别

目的 高光谱人脸数据具有丰富的鉴别信息。最优谱带选择和谱内间特征表示是高光谱人脸识别的关键。基于高光谱波段范围为4001 090 nm和采样间隔为10 nm的高光谱成像人脸数据,本文提出一种分块谱带选择和VGG（Visual Geometry Group）网络的高光谱人脸识别方法。方法 为了优化适合人脸识别的谱带组合,基于人脸关键点,提出分块局部二值模式（local binary pattern,LBP）特征的AdaBoost支持向量机（support vector machine,SVM）谱带选择方法。基于卷积神经网络结构建立一个面向高光谱人脸特点的深度网络（VGG12）,提取谱带内特征。融合不同谱带的深度特征,利用三层堆栈自编码器（stack auto-encoder,SAE）抽取谱间特征。对提取的谱间和谱内特征,采用最近邻分类器完成最后的识别。结果 为了验证提出方法的有效性,在公开的高光谱人脸数据集UWA-HSFD（University of Western Australia hyperspectral face database）和PolyU-HSFD（Hong Kong Polytechnic University hyperspectral face database）上进行对比试验。结果显示,基于分块LBP特征的谱带选择算法优于传统基于整幅图像像素的方法,提出的VGG12网络相比已有深度学习网络,仅保留少量（68个）谱带,在两个数据集上都取得了最高的识别率（96.8%和97.2%）,表明传统可见光人脸深度网络并不适合高光谱人脸识别。结论 实验结果表明,高光谱数据用于人脸识别中,谱带选择与深度学习结合是有效的,本文方法联合有监督深度网络（VGG12）和无监督学习网络（SAE）挖掘谱内和谱间鉴别特征,在降低深度网络训练复杂度的同时取得了较其他深度网络更好的识别性能。     

傅里叶变换通道注意力网络的胆管癌高光谱图像分割

目的 胆管癌高光谱图像的光谱波段丰富但存在冗余,造成基于深度神经网络高光谱图像分割方法的分割精度下降,虽然一些基于通道注意力机制的网络能够关注重要通道,但在处理通道特征时存在信息表示不足问题,因此本文研究构建一种新的通道注意力机制深度网络,以提高分割准确性。方法 提出了傅里叶变换多频率通道注意力机制（frequency selecting channel attention,FSCA）。FSCA对输入特征进行2维傅里叶变换,提取部分频率特征,再通过两层全连接层得到通道权重向量,将通道权重与对应通道特征相乘,获得了融合通道注意力信息的输出。针对患癌区域和无癌区域数据不平衡问题引入了Focal损失,结合Inception模块,构建基于Inception-FSCA的胆管癌高光谱图像分割网络。结果 在采集的胆管癌高光谱数据集上进行实验,Inception-FSCA网络的准确率（accuracy）、精度（precision）、敏感性（sensitivity）、特异性（specificity）、Kappa系数分别为0.978 0、0.965 4、0.958 6、0.985 2、0.945 6,优于另外5种对比方法。与合成的假彩色图像的分割结果相比,高光谱图像上的实验指标分别提高了0.058 4、0.105 8、0.087 5、0.039 0、0.149 3。结论 本文所提出的傅里叶变换多频率通道注意力机制能够更有效地利用通道信息,基于Inception-FSCA的胆管癌高光谱图像分割网络能够提升分割效果,在胆管癌医学辅助诊断方面具有研究和应用价值。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

双卷积池化结构的3D-CNN高光谱遥感影像分类方法

目的 高光谱遥感影像数据包含丰富的空间和光谱信息,但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的同物异谱及同谱异物现象,导致高光谱数据结构呈高度非线性。3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性,实现光谱和空间信息融合,提取影像分类中重要的有判别力的特征。为此,提出了基于双卷积池化结构的3D-CNN高光谱遥感影像分类方法。方法 双卷积池化结构包括两个卷积层、两个BN（batch normalization）层和一个池化层,既考虑到高光谱遥感影像标签数据缺乏的问题,也考虑到高光谱影像高维特性和模型深度之间的平衡问题,模型充分利用空谱联合提供的语义信息,有利于提取小样本和高维特性的高光谱影像特征。基于双卷积池化结构的3D-CNN网络将没有经过特征处理的3D遥感影像作为输入数据,产生的深度学习分类器模型以端到端的方式训练,不需要做复杂的预处理,此外模型使用了BN和Dropout等正则化策略以避免过拟合现象。结果 实验对比了SVM（support vector machine）、SAE（stack autoencoder）以及目前主流的CNN方法,该模型在Indian Pines和Pavia University数据集上最高分别取得了99.65%和99.82%的总体分类精度,有效提高了高光谱遥感影像地物分类精度。结论 讨论了双卷积池化结构的数目、正则化策略、高光谱首层卷积的光谱采样步长、卷积核大小、相邻像素块大小和学习率等6个因素对实验结果的影响,本文提出的双卷积池化结构可以根据数据集特点进行组合复用,与其他深度学习模型相比,需要更少的参数,计算效率更高。     

高光谱图像深度模糊核聚类的洋底锰结核识别

目的 海洋资源调查是海洋科学研究的重要组成部分，对于开发利用海洋资源、保护海洋环境有重要意义。将深海高光谱图像用于调查洋底锰结核资源，相比传统图像方法信息更为全面，识别更为准确。但是高光谱方法中用于有监督分类识别的分类器需要人工标定的标签，这在深海环境中是较为困难的。针对这一局限性，本文提出了一种融合深度网络与模糊核聚类的深度模糊核聚类（deep kernel fuzzy C-means，DKFCM）算法，实现对洋底锰结核高光谱图像的无监督聚类。方法 DKFCM由随机深度卷积网络（Rdnet）及改进的模糊核聚类算法两大模块组成。Rdnet通过降维、随机图块卷积及非线性激活操作的循环，实现对高光谱图像浅层及深层特征的提取，融合这两类特征作为后续聚类识别的输入。改进的模糊核聚类算法先用欧氏距离计算初始聚类中心，再用模糊核聚类的方法以实现海洋资源的准确分类。结果 实验结果表明，DKFCM无监督聚类能有效聚类洋底资源，对锰结核的聚类准确率达到76.59%，相比单用K-means聚类提高了20.99%，相比经Rdnet提取特征后再用K-means聚类提高了13.76%，对比实验表明DKFCM算法在无标签数据的情况下也能达到良好的准确率。结论 本文所提的高光谱深度模糊核聚类方法，实现了深海锰结核的无监督聚类，可以用于海洋资源量的评估。     

Tripartite-structure transformer for hyperspectral image classification

Hyperspectral images contain rich spatial and spectral information, which provides a strong basis for distinguishing different land-cover objects. Therefore, hyperspectral image (HSI) classification has been a hot research topic. With the advent of deep learning, convolutional neural networks (CNNs) have become a popular method for hyperspectral image classification. However, convolutional neural network (CNN) has strong local feature extraction ability but cannot deal with long-distance dependence well. Vision Transformer (ViT) is a recent development that can address this limitation, but it is not effective in extracting local features and has low computational efficiency. To overcome these drawbacks, we propose a hybrid classification network that combines the strengths of both CNN and ViT, names Spatial-Spectral Former(SSF). The shallow layer employs 3D convolution to extract local features and reduce data dimensions. The deep layer employs a spectral-spatial transformer module for global feature extraction and information enhancement in spectral and spatial dimensions. Our proposed model achieves promising results on widely used public HSI datasets compared to other deep learning methods, including CNN, ViT, and hybrid models.     

嵌入式深度神经网络高光谱图像聚类

目的 高光谱图像的高维特性和非线性结构给聚类任务带来了"维数灾难"和线性不可分问题，以往的工作将特征提取过程与聚类过程互相剥离，难以同时优化。为了解决上述问题，提出了一种新的嵌入式深度神经网络模糊C均值聚类方法（EDFCC）。方法 EDFCC算法为了提取更加有效的深层特征，联合优化高光谱图像的特征提取和聚类过程，将模糊C均值聚类算法嵌入至深度自编码器网络中，可以保持两任务联合优化的优势，同时利用深度自编码器网络降维以及逼近任意非线性函数的能力，逐步将原始数据映射到潜在特征空间，提取数据的深层特征。所提方法采用模糊C均值聚类算法约束特征提取过程，学习适用于聚类的高光谱数据深层特征，动态调整聚类指示矩阵。结果 实验结果表明，EDFCC算法在Indian Pines和Pavia University两个高光谱数据集上的聚类精度分别达到了42.95%和60.59%，与当前流行的低秩子空间聚类算法（LRSC）相比分别提高了3%和4%，相比于基于自编码器的数据聚类算法（AEKM）分别提高了2%和3%。结论 EDFCC算法能够从高光谱图像的高维光谱信息中提取更加有效的深层特征，提升聚类精度，并且由于EDFCC算法不需要额外的训练过程，大大提升了聚类效率。     

结合超像元和子空间投影支持向量机的高光谱图像分类

目的 高光谱图像包含了丰富的空间、光谱和辐射信息,能够用于精细的地物分类,但是要达到较高的分类精度,需要解决高维数据与有限样本之间存在矛盾的问题,并且降低因噪声和混合像元引起的同物异谱的影响。为有效解决上述问题,提出结合超像元和子空间投影支持向量机的高光谱图像分类方法。方法 首先采用简单线性迭代聚类算法将高光谱图像分割成许多无重叠的同质性区域,将每一个区域作为一个超像元,以超像元作为图像分类的最小单元,利用子空间投影算法对超像元构成的图像进行降维处理,在低维特征空间中执行支持向量机分类。本文高光谱图像空谱综合分类模型,对几何特征空间下的超像元分割与光谱特征空间下的子空间投影支持向量机（SVMsub）,采用分割后进行特征融合的处理方式,将像元级别转换为面向对象的超像元级别,实现高光谱图像空谱综合分类。结果 在AVIRIS（airbone visible/infrared imaging spectrometer）获取的Indian Pines数据和Reflective ROSIS（optics system spectrographic imaging system）传感器获取的University of Pavia数据实验中,子空间投影算法比对应的非子空间投影算法的分类精度高,特别是在样本数较少的情况下,分类效果提升明显;利用马尔可夫随机场或超像元融合空间信息的算法比对应的没有融合空间信息的算法的分类精度高;在两组数据均使用少于1%的训练样本情况下,同时融合了超像元和子空间投影的支持向量机算法在两组实验中分类精度均为最高,整体分类精度高出其他相关算法4%左右。结论 利用超像元处理可以有效融合空间信息,降低同物异谱对分类结果的不利影响;采用子空间投影能够将高光谱数据变换到低维空间中,实现有限训练样本条件下的高精度分类;结合超像元和子空间投影支持向量机的算法能够得到较高的高光谱图像分类精度。     

Cloud removal for hyperspectral remotely sensed images based on hyperspectral information fusion

ABSTRACT

Hyperspectral remote sensing plays an important role in a wide variety of fields. However, its specific application for land surface analysis has been constrained due to the different shapes of thick, opaque cloud cover. The reconstruction of missing information obscured by clouds in remote-sensing images is an area of active research. However, most of the available cloud-removal methods are not suitable for hyperspectral images, because they lose the spectral information which is very important for hyperspectral analysis. In this article, we developed a new spectral resolution enhancement method for cloud removal (SREM-CR) from hyperspectral images, with the help of an auxiliary cloud-free multispectral image acquired at different times. In the fixed hyperspectral image, spectra of the cloud cover pixels are reconstructed depending on the relationship between the original hyperspectral and multispectral images. The final resulting image has the same spectral resolution as the original hyperspectral image but without clouds. This approach was tested on two experiments, in which the results were compared by visual interpretation and statistical indices. Our method demonstrated good performance.