多尺度3D胶囊网络高光谱图像分类

为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题, 该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类. 相比传统的卷积神经网络, 所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值, 有助于获取物体之间的空间关系及特征之间的相关性, 且在有限训练样本下能避免过拟合等问题. 该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征. 然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联. 最后将3个分支得到的结果融合在一起, 采用局部连接并通过间隔损失函数得到分类结果. 实验结果表明, 该方法在开源的高光谱遥感数据集上具有很好的泛化性能, 且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.     

基于胶囊网络的群智感知数据分类模型

针对群智感知平台中感知数据分类的准确度问题,提出了一种基于胶囊网络的感知数据分类模型。首先,构建了群智感知系统模型,结合感知数据构建了胶囊网络结构和样本数据,通过胶囊网络实现了样本数据和预测值之间的映射。然后,胶囊网络对样本数据的像素点特征矩阵进行拟合学习,使用动态路由算法更新胶囊网络的耦合系数。最后,结合间隔损失函数和重构损失函数,实现了对基于胶囊网络的感知数据分类模型参数的优化。仿真结果表明相对于残差网络的数据分类模型,所提模型有效提高了数据分类的准确度。     

一种融合胶囊网络的分类方法

目前的ADMET分类方法在对具有多特征性和特征关联性的化合物数据进行ADMET分类时存在不足。而且,对ADMET分类结果不具备可解释性。针对上述问题,提出一种融合胶囊网络的分类模型（CapsMC）。CapsMC模型首先提出一种feature-to-image图像转换算法。使用该算法将特征之间的关联关系和依赖关系作为考量纳入到分类依据中,实现特征的多层次提取。其次,探索胶囊网络的高级应用,提出一种认知推理机制。使用该机制对特征进行认知推理,实现ADMET的可解释性分类。模型在五种ADMET数据集上的实验结果表明,CapsMC模型可以高效实现ADMET的可解释性分类。     

基于全局注意力信息交互的高光谱图像分类

近年来,研究者们发现基于双分支结构的高光谱图像分类方法可以更有效地提取图像的光谱特征和空间特征用于分类.但在双分支结构中,各分支只侧重于细化、提取光谱特征或空间特征,忽略了对光谱-空间跨维特征交互的研究,且两分支各自提取的部分交互不明显,因此影响了分类的性能.针对这一问题,本文提出了一种基于全局注意力信息交互的高光谱图像分类方法.首先采用密集连接网络分两个分支分别细化图像的光谱特征和空间特征,然后结合全局注意力机制(GAM)得到通道全局注意力特征和空间全局注意力特征,最后通过一个信息交互的模块实现光谱和空间信息的交互,更充分地利用光谱和空间信息实现分类.本文提出的方法分别在Pavia University(PU)和Salinas Valley (SV)两个数据集上进行了实验,相较于其他的4种方法,本文提出的方法在分类性能上取得了明显的提升.     

基于改进的3D-CNN的高光谱遥感图像地物分类

高光谱遥感影像波段众多,包含丰富的辐射、空间和光谱信息,是多种信息的综合载体,应用广泛。但是传统的高光谱影像地物分类方法多着重于光谱维度的特征提取,却忽略了空间维度上的特征,进而影响了分类的准确性。三维卷积神经网络（Three-dimensional convolutional neural network, 3D-CNN）可以同时在3个维度上对数据进行卷积处理,故本文采用3D-CNN深度网络进行高光谱影像地物分类,并针对3D-CNN网络存在的问题,提出了一种基于改进的3D-CNN的高光谱遥感影像地物分类方法。本文方法对提取到的空间和光谱特征实现融合复用,尽可能发挥特征的价值。此外,本文引入浅层特征细节保存网络的思想,提出一种综合浅层特征细节保存的影像分类深度网络模型,进一步提高了高光谱影像地物分类的准确度。在Tensorflow框架下对2个常用的高光谱遥感影像数据集（Indian Pines和Pavia University）的实验结果表明,相比基础的3D-CNN网络,本文方法的分类精度提高了近2%,而且类别边界更准确。     

基于注意力的共享参数胶囊网络

针对传统胶囊网络特征信息的传播冗余性和解构低效性问题,提出一种共享参数的注意力胶囊网络.该网络的优点主要体现于以下两方面:1)提出注意力机制的动态路由方法,通过计算低级胶囊的相关性,使得在保留特征空间信息的同时更加关注相关性高的特征信息,并完成前向传播;2)在动态路由层提出共享转换矩阵,基于低级胶囊投票一致性对高级胶囊激活,并通过共享转换矩阵减少模型的参数量,同时实现改进胶囊网络的稳健性.首先,通过5个公开数据集的分类对比实验,表明所提出胶囊网络在Fashion-MNIST、SVHN和CIFAR10数据集上分别取得了5.17%、3.67%和9.35%的最好分类结果,而且在复杂数据集上具有显著的白盒对抗攻击鲁棒性;然后,通过在基于smallNORB和affNISH公开数据集的仿射变换对比实验,表明所提出的胶囊网络具有显著的仿射变换鲁棒性;最后,通过计算效率分析对比实验结果,表明所提出共享参数胶囊网络在不增加浮点运算的情况下,参数量比传统的胶囊网络减少4.9%,具有突出的计算量优势.     

基于图正则自适应联合协同表示的高光谱图像分类

针对由于空间信息利用不充分而导致的高光谱图像分类精度较低的问题,提出一种基于图正则自适应联合协同表示的高光谱图像分类算法.首先,采用双边滤波操作对高光谱图像进行空间信息提取,以充分挖掘每个像素的空间信息;其次,在联合协同表示的目标函数中引入图正则约束项,以保持高光谱数据的流形结构;再次,一方面利用图像分割来自适应调整空间邻域的形状,另一方面通过对中心像素的空间近邻赋予不同的权重,提出一种自适应空间-光谱特征融合策略;最后,基于误差最小原则,给出测试样本的类别标签.在两个高光谱数据集上的实验结果表明,所提出算法的整体分类精度分别达到98.50%和97.30%.     

基于改进最小噪声分离变换的特征提取与分类

在最小噪声分离变换的基础上,引入核方法,采用小波核函数代替传统核函数对最小噪声分离变换予以改进。小波核函数的多分辨率分析特性可进一步提高算法的非线性映射能力。相关向量机高光谱图像分类是一种较新的高光谱图像分类方法,将新型核最小噪声分离变换方法与相关向量机相结合,对高光谱影像数据进行分类实验。仿真实验结果表明,基于小波核最小噪声分离变换的方法体现了高光谱影像的非线性特征,将所提出的方法应用于HYDICE系统在Washington DC Mall上空拍摄的数据,与对照算法相比,分类精度可提高3%~8%,并可有效地提高小样本区域的分类精度。     

正线性函数在深度神经网络中的研究

针对深度神经网络中常用的激活函数具有非线性和计算复杂度高的特点,提出使用正线性函数代替常用非线性函数作为深度神经网络的激活函数。基于正线性激活函数建立的深度神经网络模型计算复杂度低,能得到稀疏表示,与人类大脑信息感知具有一致性。通过图像分类任务验证了正线性激活函数在深度神经网络中应用的有效性。     

结合倒置特征金字塔和U-Net的高光谱图像分类

目的 地物分类是对地观测研究领域的重要任务。高光谱图像具有丰富的地物光谱信息,可用于提升遥感图像地物分类的准确度。如何对高光谱图像进行有效的特征提取与表示是高光谱图像分类应用的关键问题。为此,本文提出了一种结合倒置特征金字塔和U-Net的高光谱图像分类方法。方法 对高光谱数据进行主成分分析（principal component analysis,PCA）降维,获取作为网络输入的重构图像数据,然后使用U-Net逐层提取高光谱重构图像的空间特征。与此同时,利用倒置的特征金字塔网络抽取相应层级的语义特征;通过特征融合,得到既有丰富的空间信息又有较强烈的语义响应的特征表示。提出的网络利用注意力机制在跳跃连接过程中实现对背景区域的特征响应抑制,最终实现了较高的地物分类精度。结果 分析了PCA降维方法和输入数据尺寸对分类性能的影响,并在Indian Pines、Pavia University、Salinas和Urban数据集上进行了对比实验。本文方法在4个数据集上分别取得了98.91%、99.85%、99.99%和87.43%的总体分类精度,与支持向量机（support vector machine,SVM）等相关算法相比,分类精度高出1%~15%。结论 本文提出一种结合倒置特征金字塔和U-Net的高光谱图像分类方法,可以应用于有限训练样本下的高光谱图像分类任务,并在多个数据集上取得了较高的分类精度。实验结果表明倒置特征金字塔结构与U-Net结合的算法能够高效地实现高光谱图像的特征提取与表示,从而获得更精细的分类结果。     

利用神经网络的城区机载激光雷达点云分类算法

为了将神经网络应用于城区激光雷达点云数据分类,并针对大规模点云数据训练过程中计算量大、耗时长的问题,改进原有PointNet神经网络,加入了点云邻域特征的提取和分析,提出了一种新的点云分类算法。通过网格化聚类和重采样压缩原始点云数据量,提取多尺度邻域点云数据,利用改进PointNet完成对城区点云数据的分类,并用不同地区数据验证该分类算法。结果表明该算法分类效果良好,分类精度较高;数据训练过程中的计算量减少;能够对城区机载激光雷达数据实现有效分类。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

高光谱图像含有数百个波段,包含丰富的光谱信息,因此被广泛应用于地物分类中,但仍存在 着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息,有效利用纹理信息能够显著提高分类精度。三 维 Gabor 滤波器不仅能够保留图像丰富的光谱信息,还能提取到图像的纹理特征。为了充分利用高光谱图像的 特征,提出一种基于三维 Gabor 和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN) 能够直接对三维立方体数据进行处理,提取到深层纹理-光谱信息,然而随着网络层的加深会产生网络退化问 题,因此利用残差思想对 3DCNN 模型进行改进。在 PaviaU,Indian Pines 和 Salinas 3 个公共高光谱图像数据 集上进行实验,分别取得 99.17%,97.40%,98.56%的平均分类精度,结果表明该方法能有效提高高光谱图像 的地物分类精度。     

提高小样本高光谱图像分类性能的变维卷积神经网络

目的 为了解决基于卷积神经网络的算法对高光谱图像小样本分类精度较低、模型结构复杂和计算量大的问题,提出了一种变维卷积神经网络。方法 变维卷积神经网络对高光谱分类过程可根据内部特征图维度的变化分为空—谱信息融合、降维、混合特征提取与空—谱联合分类的过程。这种变维结构通过改变特征映射的维度,简化了网络结构并减少了计算量,并通过对空—谱信息的充分提取提高了卷积神经网络对小样本高光谱图像分类的精度。结果 实验分为变维卷积神经网络的性能分析实验与分类性能对比实验,所用的数据集为Indian Pines和Pavia University Scene数据集。通过实验可知,变维卷积神经网络对高光谱小样本可取得较高的分类精度,在Indian Pines和Pavia University Scene数据集上的总体分类精度分别为87.87%和98.18%,与其他分类算法对比有较明显的性能优势。结论 实验结果表明,合理的参数优化可有效提高变维卷积神经网络的分类精度,这种变维模型可较大程度提高对高光谱图像中小样本数据的分类性能,并可进一步推广到其他与高光谱图像相关的深度学习分类模型中。     

基于改进的胶囊网络模型的高光谱图像分类方法

针对卷积神经网络无法有效提取高光谱图像光谱与空间特征以及识别特征之间的空间位置问题,提出一种基于胶囊网络的改进神经网络模型.采用1×1卷积核对高光谱图像块进行降维处理;利用双通道卷积神经网络提取降维图像的初级特征,进而在PrimaryCaps层将初级特征信息封装为胶囊向量;通过DigitCaps层计算胶囊向量的模长来判...     

标准分数降维的3D-CNN高光谱遥感图像分类

针对高光谱图像存在Hughes现象,以及空间和光谱特征利用效率低的问题,提出了一种结合标准分数降维和深度学习的高光谱图像分类算法。利用标准分数对高光谱数据的波段质量进行评价以剔除高光谱遥感图像中的冗余波段,结合优化过的3D-CNN（3D Convolutional Neural Network）分类方法,通过使用大步距卷积层替代池化层,引入L2正则化、批量归一化（Batch Normalization,BN）、Dropout等一系列策略,在减少网络参数的同时有效防止过拟合现象。通过Pavia Centre和Pavia University两个公开高光谱数据集的实验测试,该算法大幅度降低了网络模型的参数和计算量,取得了99.01%和95.99%的分类精度。     

Hyperspectral data classification based on flexible momentum deep convolution neural network

Classification is a hot topic in hyperspectral remote sensing community. In the last decades, numerous effort has been concentrate on the classification problem. However, most of the methods accuracy is not high enough due to the fact that they do not extract features in a deep manner. In this paper, a new hyperspectral data classification skeleton based on exponential flexible momentum deep convolution neural network (EFM-CNN) is proposed. First, the fitness of convolution neural network is substantiated by following classical spectral information-based classification. Then, a novel deep architecture is proposed, which is a hybrid of principle component analysis (PCA), improved convolution neural network based on exponential flexible momentum and support vector machine (SVM). Experimental results indicate that the classifier can effectively improve the accuracy with the state-of-the-art algorithms. And compared with homologous parameters momentum updating methods such as adaptive momentum method, standard momentum gradient method and elastic momentum method, on LeNet5 net and multiple neural network, the accuracy obtained of proposed algorithm increases by 2.6% and 6.5% on average respectively.

     

深度迁移学习在高光谱图像分类中的运用

针对高光谱图像分类中，样本空间特征利用不足的问题。将深层残差网络作为特征提取器运用到高光谱图像分类中，利用深层残差网络更深的网络结构，挖掘样本邻域空间中的深层特征，实验证明此特征具有更好的可分性。同时，针对深层卷积网络有监督训练的过程中，由于有标签样本不足导致的过拟合现象，提出基于深度迁移学习方法的训练策略，通过迁移网络在另一相关数据集中训练得到的网络浅层卷积核参数，再使用目标数据集对深层卷积核参数进行微调，提高了残差网络在少量有标签样本情况下的分类效果。