一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法

为了减轻卷积神经网络模型对训练样本的依赖性和提高高光谱图像的分类性能,本文提出了一种融合Gabor滤波与3D/2D卷积的高光谱图像分类算法.首先,三维Gabor滤波器用于处理原始高光谱数据以生成空谱隧道信息;其次,利用三维卷积操作提取生成的空谱隧道信息的深层特征;然后,再利用二维卷积进一步提取图像的空间信息;最后,通过...     

多特征融合下的高光谱图像混合卷积分类

针对现有高光谱遥感图像卷积神经网络分类算法空谱特征利用率不足的问题,提出一种多特征融合下基于混合卷积胶囊网络的高光谱图像分类策略。首先,联合使用主成分分析和非负矩阵分解对高光谱数据集进行降维;然后,将降维所得主成分通过超像素分割和余弦聚类生成一个多维特征集;最后,将叠加后的特征集通过二维、三维多尺度混合卷积网络进行空谱特征提取,并使用胶囊网络对其进行分类。通过在不同高光谱数据集下的实验结果表明,在相同20维光谱维度下,所提策略相比于传统分类策略在总体精度、平均精度以及Kappa系数上均有明显提升。     

一种改进的全卷积神经网络多聚焦图像融合研究

针对目前多聚焦图像领域算法研究的不足,提出改进的全卷积神经网络多聚焦图像融合算法.和以往的全卷积神经网络模型相比,改进的网络模型更加轻便、网络层级更少.将传统算法鲁棒主成分分析法运用于图像特征提取,在网络特征提取部分采用更小的网络结构,在达到提取更多特征信息的目的的同时减少了网络层级;全连接层与全卷积层的转换通过softmax层对图像进行分类,最后通过设置分类器防止像素点样本偏移,大大提升了运算速率.经过多组实验的彩色灰色数据集验证,改进的融合算法与目前多聚焦图像融合的卷积神经网络算法相比,融合速度大大提升,更具有实际应用率,融合质量也有相应提升,说明此算法相比其他算法更具运用价值.     

多尺度特征融合与极限学习机结合的交通标志识别

针对卷积神经网络只能使用相同尺寸图像和卷积核的网络进行特征提取,导致提取的特征不全面,在交通标志识别中因车载摄像头与交通标志的位置不断变化影响交通标志的识别精度等问题,提出了一种基于多尺度特征融合与极限学习机结合的交通标志识别方法。首先,将预训练适应3种不同尺寸图像的网络模型作为实验的初始模型;然后,融合3个网络模型构建多尺度卷积神经网络,将3个预训练网络的参数级联到融合模型的全连接层,对融合模型的全连接层进行训练,采用随机梯度下降算法更新网络参数;最后,将融合后的模型作为特征提取器提取特征,把提取到的多尺度特征送入极限学习机,实现交通标志识别。实验采用德国交通标志数据库(GTSRB)对算法性能进行测试,实验结果显示,多尺度特征融合与极限学习机结合的网络识别精度为99.23%,识别速度为46ms。相对于预训练的网络,网络的分类精度分别提高了2.35%,3.22%,3.74%。多尺度特征融合能够有效提取交通标志图像的特征信息,极限学习机可以提高分类精度和分类时间,该方法能满足交通标志识别的准确性和实时性的要求。     

SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法

基于深度学习的高光谱遥感图像地物分类是目前研究的热点.但由于其参数规模大以及结构复杂,深度网络通常需要大量训练样本和较长训练时间,如何在小规模样本下建立深度学习监督分类模型是需要解决的关键问题.本文提出了一种小规模样本下高光谱图像分类的空-谱卷积稠密网络算法,称为SSCDenseNet,其包含三种新颖的架构策略：（1）空-谱分离卷积,即采取光谱维一维卷积和空间维二维卷积的分离卷积结构构成隐层单元,并通过多个隐层单元堆叠构造深度网络;（2）隐层单元中使用批归一化,减少数据协方差漂移及加速网络训练;（3）隐层单元间构建稠密连接,缓解梯度消失问题并实现特征复用.通过Indian Pines、Pavia University与Salinas数据集进行综合测评,表明该方法优于若干最新深度学习方法,特别在小规模样本下具有优异的分类性能.     

多尺度特征融合的壁画多光谱图像颜料3D-CNN分类方法

颜料的分类识别是古代壁画进行保护修复的基础,多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息,使得图像细节无法重建,导致分类图像边界不平滑。针对该问题,提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先,在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息,避免池化操作所导致的部分特征丢失;其次,使用特征融合的方法融合不同尺度的特征图,增加多尺度特征的结构层次;最后,引入残差学习模块避免网络层数加深导致的梯度消失问题,重建完整的边缘信息。实验结果表明,所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%,与各对照组相比,不仅具有更好的分类精度,而且得到了边界更清晰的分类图像。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于双通道深度密集特征融合的遥感影像分类

为了提高遥感图像场景分类中特征有效利用率,进而提高遥感影像分类精度,采用基于双通道深度密集特征融合的遥感影像分类方法,进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征;然后为挖掘、利用图像深层信息,通过视觉词袋模型将提取的深层卷积层特征进行重组编码,捕获图像深层局部特征;最后采用线性加权方式将局部和全局特征融合、分类。结果表明,选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验,取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性,能实现图像深层信息的充分利用和表达。     

3维卷积递归神经网络的高光谱图像分类方法

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取，提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息，然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练，提取空谱联合特征，最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理，可以实现端到端的训练，并且能够充分提取空间与光谱数据中的语义信息。结果表明，与其它基于深度学习的分类方法相比，本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度，有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。     

基于多维度特征遥感图像分类方法的研究北大核心CSCD

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。     

基于多融合多尺度特征的高光谱图像分类研究

针对高光谱图像(HSI)波段之间的冗余性给高光谱图像分类结果产生的不利影响,研究基于多融合多尺度特征的高光谱图像分类方法。将采用于主成分分析降维处理的HSI数据作为多尺度特征多融合残差网络输入,利用多尺度特征多融合残差块提取HSI中的光谱特征和空间特征,并组成若干组光谱-空间特征;采用支持向量机展开分类处理,获取各光谱-空间特征的概率输出结果和权重,建立多特征加权概率融合模型,利用最大后验概率获取高光谱图像分类结果。实验结果表明:光谱-空间多尺度特征融合残差块数量为2+2模式、空间输入尺寸大小为9×9,可获取最佳多尺度特征融合残差网络;所提方法抗噪能力较好,可较好体现地物细节信息;且具备较高的高光谱图像分类精度。     

结合三维卷积神经网络和Haar小波滤波器的高光谱猕猴桃品质分类

针对猕猴桃硬度品质无损检测分类困难的问题，提出了结合高光谱成像技术和卷积神经网络的分类模型。该模型融合Haar小波核提取的空间特征信息和三维卷积核提取的空谱联合信息，采用分解数据通道连接的方式确保所有特征能够流到模型末尾，提升了网络特征提取的能力。通过自制的猕猴桃硬度品质Kiwi＿seed数据集上的实验表明，Haar小波变换模块可以显著提升网络的特征提取能力；通过消融实验表明，在增加Haar小波变换模块后模型的分类准确率提升了7.4%，最优可达97.3%，优于经典的图像分类网络，可以很好地解决猕猴桃硬度品质的无损检测分类问题。     

基于多特征多分辨率融合的高光谱图像分类

由于数据维数高,利用高光谱数据对地物进行分类,常规方法难以获得令人满意的结果,在基于小波多分辨率融合方法进行特征图像的提取过程中,提出了利用多个空间特征所构成的特征矢量确定多分辨率融合权值的算法,有效地降低了原始图像的数据维并获得了用于后续分类的特征图像．对AVIRIS数据进行的实验表明,利用新方法提取的特征进行分类,获得了高于传统方法确定融合权值的结果。     

基于密集连接和空谱变换器的双支路高光谱图像分类模型

为了减少高光谱图像的训练样本,同时得到更好的分类结果,本文提出了一种基于密集连接网络和空谱变换器的双支路深度网络模型。该模型包含两个支路并行提取图像的空谱特征。首先,两支路分别使用3D和2D卷积对子图像的空间信息和光谱信息进行初步提取,然后经过由批归一化、Mish函数和3D卷积组成的密集连接网络进行深度特征提取。接着两支路分别使用光谱变换器和空间变换器以进一步增强网络提取特征的能力。最后两支路的输出特征图进行融合并得到最终的分类结果。模型在Indian Pines、University of Pavia、Salinas Valley和Kennedy Space Center数据集上进行了测试,并与6种现有方法进行了对比。结果表明,在Indian Pines数据集的训练集比例为3%,其他数据集的训练集比例为0.5%的条件下,算法的总体分类精度分别为95.75%、96.75%、95.63%和98.01%,总体性能优于比较的方法。     

基于多尺度混合卷积网络的高光谱图像分类

针对高光谱图像数据分布不均匀、空谱特征提取不够充分以及随着网络层数增加而导致的网络退化等问题，提出一种基于多尺度混合卷积网络的高光谱图像分类方法。首先，使用主成分分析对高光谱数据进行降维处理；接着，利用邻域提取将邻域内的像素点作为一个样本，补充相应的空间信息；然后，使用多尺度混合卷积网络对预处理后的样本数据进行特征提取，并加入混合域注意力机制来加强空间和光谱维中有用的信息；最后，使用Softmax分类器对每个像素样本进行类别划分。实验结果表明：将所提出的模型在Indian Pines和Pavia University两个高光谱数据集中进行实验，其总体分类精度、平均分类精度、Kappa系数分别能达到0.987 9、0.983 3、0.986 2和0.999 0、0.996 9、0.998 6。该算法能够更加充分地提取高光谱图像的特征信息，与其他分类方法相比取得了更好的分类效果。     

基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。     

利用残差生成对抗网络的高光谱图像分类

针对高光谱图像分类过程中存在的标记样本需求量大和分类精度要求高等问题,提出了一种利用残差生成对抗网络（GAN）的高光谱图像分类方法。该方法以生成对抗网络为基础,使用包含上采样层和卷积层构成的8层残差网络替换生成器的反卷积层网络结构,提高数据的生成能力,使用34层残差卷积网络替换判别器的卷积层网络结构,提高特征提取能力。以Pavia University、Salinas及Indian Pines数据集为实验数据,将所提方法与GAN、CAE-SVM、2DCNN、3DCNN、ResNet进行了比较。实验结果表明,所提方法在总体分类精度、平均分类精度和Kappa系数上均有显著提高,其中总体分类精度在Indian Pines数据集上达到了98.84%,较对比方法分别提高了2.99个百分点、22.03个百分点、12.91个百分点、4.99个百分点、1.79个百分点。所提方法在网络中加入残差结构,增强了浅层网络与深层网络的信息交流,可提取高光谱图像的深层次特征,提高了高光谱图像分类的精度。     

基于特征重要性的高光谱图像分类

为了减少高光谱图像中的冗余以及进一步挖掘潜在的分类信息,本文提出了一种基于特征重要性的卷积神经网络（convolutional neural networks,CNN）分类模型。首先,利用贝叶斯优化训练得到的随机森林模型（random forest,RF）对高光谱遥感图像进行特征重要性评估;其次,依据评估结果选择合适数目的高光谱图像波段,以作为新的训练样本;最后,利用三维卷积神经网络对所得样本进行特征提取并分类。基于两个实测的高光谱遥感图像数据,实验结果均表明:相比原始光谱信息直接采用支持向量机（support vector machine,SVM）和卷积神经网络的分类效果,本文所提基于特征重要性的高光谱分类模型能够在降维的同时有效提高高光谱图像的分类精度。     

基于深度卷积神经网络的协作频谱感知方法

针对传统卷积神经网络(CNN)频谱感知方法提取特征能力受限于网络结构简单,增加网络结构又容易出现梯度消失等问题,该文通过在传统卷积神经网络中添加捷径连接,实现输入层恒等映射更深的网络,提出一种基于深度卷积神经网络(DCNN)的协作频谱感知方法.该方法将频谱感知问题转化为图像二分类问题,对正交相移键控(QPSK)信号的协方差矩阵进行归一化灰度处理,并作为深度卷积神经网络的输入,通过残差学习训练深度卷积神经网络模型,提取2维灰度图像的深层特征,将测试数据输入到训练好的模型中,完成基于图像分类的频谱感知.实验结果表明:与传统的频谱感知方法相比,在低信噪比(SNR)下、多用户协作感知时,所提方法具有更高的检测概率和更低的虚警概率.     

基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。