3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

深度卷积神经网络特征提取用于地表覆盖分类初探

目的 地表覆盖监测是生态环境变化研究、土地资源管理和可持续发展的重要基础,在全球资源监测、全球变化检测中发挥着重要作用。提高中等分辨率遥感影像地表覆盖分类的精度具有非常重要的意义。方法 近年来,深度卷积神经网络在图像分类、目标检测和图像语义分割等领域取得了一系列突破性的进展,相比于传统的机器学习方法具有更强的特征学习和特征表达能力。基于其优越的特性,本文进行了深度卷积神经网络对中分辨率遥感影像进行特征提取和分类的探索性研究。以GF-1的16 m空间分辨率多光谱影像为实验数据,利用预训练好的AlexNet深度卷积神经网络模型进行特征提取,以SVM为分类器进行分类。分析了AlexNet不同层的特征以及用于提取特征的邻域窗口尺寸对分类结果的影响,并与传统的单纯基于光谱特征和基于光谱+纹理特征的分类结果进行对比分析。结果 结果表明在用AlexNet模型提取特征进行地表覆盖分类时,Fc6全连接层是最有效的特征提取层,最佳的特征提取窗口尺寸为9×9像素,同时利用深度特征得到的总体分类精度要高于其他两种方法。结论 深度卷积神经网络可以提取更精细更准确的地表覆盖特征,得到更高的地表覆盖分类精度,为地表覆盖分类提供了参考价值。     

面向GF-2遥感影像的U-Net城市绿地分类

目的 高分2号卫星（GF-2）是首颗民用高空间分辨率光学卫星，具有亚米级高空间分辨率与宽覆盖结合的显著特点，为城市绿地信息提取等多领域提供了重要的数据支撑。本文利用GF-2卫星多光谱遥感影像，将一种改进的U-Net卷积神经网络首次应用于城市绿地分类，提出一种面向高分遥感影像的城市绿地自动分类提取技术。方法 先针对小样本训练集容易产生的过拟合问题对U-Net网络进行改进，添加批标准化（batch normalization，BN）和dropout层获得U-Net+模型；再采用随机裁剪和随机数据增强的方式扩充数据集，使得在充分利用影像信息的同时保证样本随机性，增强模型稳定性。结果 将U-Net+模型与最大似然法（maximum likelihood estimation，MLE）、神经网络（neural networks，NNs）和支持向量机（support vector machine，SVM）3种传统分类方法以及U-Net、SegNet和DeepLabv3+这3种深度学习语义分割模型进行分类结果精度对比。改进后的U-Net+模型能有效防止过拟合，模型总体分类精度比改进前提高了1.06%。基于改进的U-Net+模型的城市绿地总体分类精度为92.73%，平均F₁分数为91.85%。各分类方法按照总体分类精度从大到小依次为U-Net+（92.73%）、U-Net （91.67%）、SegNet （88.98%）、DeepLabv3+（87.41%）、SVM （81.32%）、NNs （79.92%）和MLE （77.21%）。深度学习城市绿地分类方法能充分挖掘数据的光谱、纹理及潜在特征信息，有效降低分类过程中产生的"椒盐噪声"，具有较好的样本容错能力，比传统遥感分类方法更适用于城市绿地信息提取。结论 改进后的U-Net+卷积神经网络模型能够有效提升高分遥感影像城市绿地自动分类提取精度，为城市绿地分类提供了一种新的智能解译方法。     

标准分数降维的3D-CNN高光谱遥感图像分类

针对高光谱图像存在Hughes现象,以及空间和光谱特征利用效率低的问题,提出了一种结合标准分数降维和深度学习的高光谱图像分类算法。利用标准分数对高光谱数据的波段质量进行评价以剔除高光谱遥感图像中的冗余波段,结合优化过的3D-CNN（3D Convolutional Neural Network）分类方法,通过使用大步距卷积层替代池化层,引入L2正则化、批量归一化（Batch Normalization,BN）、Dropout等一系列策略,在减少网络参数的同时有效防止过拟合现象。通过Pavia Centre和Pavia University两个公开高光谱数据集的实验测试,该算法大幅度降低了网络模型的参数和计算量,取得了99.01%和95.99%的分类精度。     

混合全变差和低秩约束下的高光谱图像复原

目的 由于高光谱遥感数据携带丰富的光谱和空间信息,使其在许多领域得以广泛关注和应用。但是高光谱遥感数据在获取过程中受到各种因素的影响,存在多种不同程度的退化,进而影响到后续的处理和应用。因此,提出一种基于低秩矩阵近似和混合全变差正则化方法来复原退化的高光谱遥感数据。方法 首先分析高光谱遥感数据的两种低秩先验：光谱低秩先验和空间低秩先验;然后利用光谱低秩先验建立低秩矩阵近似表示模型,有效抑制稀疏噪声,例如脉冲噪声、条纹噪声、死线噪声等;再利用空间低秩先验建立混合全变差正则化模型,有效去除高密度噪声,例如强高斯噪声、泊松噪声等;最后结合两种模型的优势,建立基于低秩矩阵近似和混合全变差正则化模型。结果 利用多组高光谱遥感数据,和多种相关的高光谱复原方法进行对比仿真实验,表明新模型的结果在视觉质量有很大改进。与目前最新的复原模型相比,提出的模型的平均峰值信噪比能提高1.8 dB,而平均结构相似数值指标能提高0.05。结论 新模型充分利用高光谱遥感数据的空间和光谱低秩先验,针对含有高密度噪声和稀疏异常值的高光谱遥感数据,能够有效复原出高质量的高光谱遥感数据。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

高光谱图像空谱特征提取综述

由于高光谱图像包含了丰富的光谱、空间和辐射信息，且具有光谱接近连续、图谱合一的特性，可用于地质勘探、精细农业、生态环境、城市遥感以及军事目标检测等领域的目标精准分类与识别。对高光谱图像进行空谱特征提取是遥感领域的研究热点和前沿课题之一。传统空谱特征提取方法对高光谱图像分类的计算量和样本需求小、理论可解释性好、抗噪声能力强，但应用于分类的精度受限于特征来源；基于深度学习的高光谱图像空谱特征提取方法虽然计算量和样本需求大，但是由于深层空谱特征的表达能力更好，可以大幅度提高分类器的性能。为了便于对高光谱图像空谱特征提取领域进行更深入有效的探索，本文系统综述了相关研究进展。首先，概述了空间纹理与形态学特征提取、空间邻域信息获取及空间信息后处理等传统高光谱空谱特征提取方法的原理，对大量的已有工作进行了梳理、分析与总结。然后，从深度空谱特征提取角度出发，介绍了当前流行的卷积神经网络、图卷积神经网络及跨场景多源数据模型的结构特点及研究进展，分析、评价了基于深度学习的网络模型对高光谱图像空谱特征提取的优势及问题所在。最后，对该研究领域的未来相关发展提出建议并进行了展望。     

结合倒置特征金字塔和U-Net的高光谱图像分类

目的 地物分类是对地观测研究领域的重要任务。高光谱图像具有丰富的地物光谱信息,可用于提升遥感图像地物分类的准确度。如何对高光谱图像进行有效的特征提取与表示是高光谱图像分类应用的关键问题。为此,本文提出了一种结合倒置特征金字塔和U-Net的高光谱图像分类方法。方法 对高光谱数据进行主成分分析（principal component analysis,PCA）降维,获取作为网络输入的重构图像数据,然后使用U-Net逐层提取高光谱重构图像的空间特征。与此同时,利用倒置的特征金字塔网络抽取相应层级的语义特征;通过特征融合,得到既有丰富的空间信息又有较强烈的语义响应的特征表示。提出的网络利用注意力机制在跳跃连接过程中实现对背景区域的特征响应抑制,最终实现了较高的地物分类精度。结果 分析了PCA降维方法和输入数据尺寸对分类性能的影响,并在Indian Pines、Pavia University、Salinas和Urban数据集上进行了对比实验。本文方法在4个数据集上分别取得了98.91%、99.85%、99.99%和87.43%的总体分类精度,与支持向量机（support vector machine,SVM）等相关算法相比,分类精度高出1%~15%。结论 本文提出一种结合倒置特征金字塔和U-Net的高光谱图像分类方法,可以应用于有限训练样本下的高光谱图像分类任务,并在多个数据集上取得了较高的分类精度。实验结果表明倒置特征金字塔结构与U-Net结合的算法能够高效地实现高光谱图像的特征提取与表示,从而获得更精细的分类结果。     

3D密集全卷积的高光谱地物分类算法研究

针对高光谱遥感图像训练样本较少、光谱维度较高、空间特征与频谱特征存在差异性而导致高光谱地物分类的特征提取不合理、分类精度不稳定和训练时间长等问题,提出了基于3D密集全卷积（3D-DSFCN）的高光谱图像（HSI）分类算法。算法通过密集模块中的3D卷积核分别提取光谱特征和空间特征,采用特征映射模块替换传统网络中的池化层和全连接层,最后通过softmax分类器进行分类。实验结果表明,基于3D-DSFCN的HSI分类方法提高了地物分类的准确率、增强了低频标签的分类稳定性。     

基于加权K近邻和卷积神经网络的高光谱图像分类

传统的谱空联合分类算法通常定义一个邻域空间作为空间信息,忽略空间中非邻域空间信息,且容易将异类像元也考虑在内。针对于高光谱图像分类问题,提出了一种加权K近邻算法能够自适应地提取空间信息,首先定义光谱和空间坐标组成的特征空间,利用该特征空间寻找目标像元的K个相似像元,并对这些像元根据特征空间进行加权;将加权后的像元按照一定方式组合成三维张量表示最终的谱空联合信息,使用三维卷积神经网络对其进行训练,得到最终分类结果。从实验结果来看,相对于改进前的算法,在总体分类精度上得到了一定的提升,与原始的三维卷积神经网络相比,在收敛速度上也得到大大提升,为高光谱图像的谱空联合分类提供了一种更加实用的方法。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

Feature extraction method based on spectral dimensional edge preservation filtering for hyperspectral image classification

ABSTRACT

A large amount of spectral and spatial information contained in hyperspectral imagery has provided a great opportunity to effectively characterize and identify the surface materials of interest. Feature extraction plays a very important role for hyperspectral data classification, which can reduce noise from the original data and improve the separability of land classes. A novel feature extraction technique based on spectral dimensional edge preserving filter is proposed in this paper. A series of Gaussian filters are applied in the spatial domain of the hyperspectral image to produce the guidance image, then, the edge preserving filter which is guided by the guidance image is adopted and applied in the spectral domain of the hyperspectral data to get the feature. For the feature is produced by filtering in the spectral domain, the spectral curves of the feature are more continues, which avoids the spectral discontinuity problems result from the traditional two-dimensional spatial filter. The guidance image is obtained by filtering the original image in the spatial domain, so, the spatial and the spectral information are integrated together in the following spectral edge preserving filtering process. We carefully adjusted the parameters of the filter and applied it to different real hyperspectral remote sensing images, with the support vector machine, multinomial logistic regression, and random forest serving as the classifier, by comparing with other feature extraction methods presented in recent literature, the results indicate that the proposed methodology always has a great performance in different kinds of cases.