基于多维度特征遥感图像分类方法的研究北大核心CSCD

为了解决传统高光谱图像分类方法精度低、计算成本高及未能充分利用空-谱信息的问题,本文提出一种基于多维度并行卷积神经网络(multidimensional parallel convolutional neural network,3D-2D-1D PCNN)的高光谱图像分类方法。首先,该算法利用不同维度卷积神经网络(convolutional neural network,CNN)提取高光谱图像信息中的空-谱特征、空间特征及光谱特征;之后,采用相同并行卷积层将组合后的空-谱特征、空间特征及光谱特征进行特征融合;最后,通过线性分类器对高光谱图像信息进行精准分类。本文所提方法不仅可以提取高光谱图像中更深层次的空间特征和光谱特征信息,同时能够将光谱图像不同维度的特征进行融合,减小计算成本。在Indian Pines、Pavia Center和Pavia University数据集上对本文算法和4种传统算法进行对比实验,结果表明,本文算法均得到最优结果,分类精度分别达到了99.210%、99.755%和99.770%。     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于迁移学习和通道注意力的遥感图像场景分类

针对遥感图像场景分类任务中训练样本数量少及遥感图像背景复杂等问题,本文将迁移学习和通道注意力引入到卷积神经网络(convolutional neural network,CNN) 中,提出基于迁移学习和通道注意力的遥感图像场景分类方法。该方法首先选用经过ImageNet自然数据集预训练的两个CNN作为主干,同时引入通道注意力机制,自适应地增强主要特征,抑制次要特征;然后融合这两个网络提取的特征进行分类;最后采用微调迁移学习的方式实现目标域上的学习与分类。提出的方法在几个经典的公共数据集上进行了评估,实验结果证明了本文提出的方法在遥感图像场景分类中达到与其他先进方法相当的性能。     

面向电力服务情绪识别的图卷积网络方法研究

情绪识别对于提升电力交互式服务平台的工作效率与服务质量有重要意义。传统的情绪识别技术通常使用基于循环神经网络(recurrent neural network, RNN)或类似结构的模型刻画对话中的上下文关系,上下文之间的语义传递具有局限性。针对这一问题,提出了一种引入图卷积网络(graph convolutional network, GCN)的情绪识别模型,利用图结构对对话文本内容的上下文依赖性建模,以刻画对话中更为复杂的上下文结构。实验表明,该方法相比传统方法在情绪识别任务中具有更好的表现。     

基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于图卷积的视网膜血管轮廓及高不确定度区域细化框架

针对传统卷积神经网络(convolutional neural network, CNN)受感受野大小的限制,无法直接有效地获取空间结构及全局语义等关键信息,导致宽血管边界及毛细血管区域特征提取困难,造成视网膜血管分割表现不佳的问题,提出一种基于图卷积的视网膜血管分割细化框架。该框架通过轮廓提取及不确定分析方法,选取CNN粗分割结果中潜在的误分割区域,并结合其提取的特征信息构造出合适的图数据,送入残差图卷积网络(residual graph convolutional network, Res-GCN)二次分类,得到视网膜血管细化分割结果。该框架可以作为一个即插即用模块接入任意视网膜血管分割网络的末端,具有高移植性和易用性的特点。实验分别选用U型网络(U-neural network, U-Net)及其代表性改进网络DenseU-Net和AttU-Net作为基准网络,在DRIVE、STARE和CHASEDB1数据集上进行测试,本文框架的Sp分别为98.28%、99.10%和99.04%,Pr分别为87.97%、88.87%和90.25%,证明其具有提升基准网络分割效果的细化能力。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

基于迁移学习的遥感图像场景分类

在遥感图像场景分类中,基于卷积神经网络 (convolutional neural network,CNN) 的分 类算法存在对训练数据的依赖性,且在缺乏训练数据时分 类效果差等问题,提出一种基于迁移学习的分类算法。首先,选取现有的多个CNN预训练模型,利用迁 移学习的优势对模型进行微调,目的是提取图像不同的高层特征;然后,融合图像的多种高 层特征,使得特征信 息更加丰富;最后,将融合后的高层特征输入到基于逻辑回归的遥感图像分类器中,得到遥 感影像的分类结果。 在UCMerced_LandUse遥感数据集中进行实验,与现有算法进行比较分析,所提算法在3种评 价指标上有明显提 升。通过分析实验结果表明,该算法在仅有10%的训练数据下,能够 达到92.01%的分类准确率和91.61%的Kappa系数。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于图网络优化及标签传播的小样本图像分类算法

近年来,虽然深度学习技术在图像分类任务中取得了有竞争力的表现,但实际应用中,往往存在缺乏大量训练样本的情况,易于产生过拟合现象.小样本学习技术为此提供了解决方案.由于图神经网络在表示类内和类间样本关系上的优势,已被用于小样本图像分类任务.现有算法是通过几个卷积块获取图像特征作为节点特征输入图网络,为了更好的表示图节点之...     

基于深度卷积神经网络的图上半监督极化SAR图像分类算法

为实现在只有少量标记数据情况下的高质量的图像分类,本文提出了一种基于深度卷积神经网络的图上半监督极化SAR图像分类算法.该算法将极化SAR图像建模为无向图,并基于该无向图,定义了包含半监督项,卷积神经网络项和类标光滑项的能量函数.算法所采用的卷积神经网络提取抽象的数据驱动的极化特征.半监督项约束了有标记像素的类标在分类过程中保持不变.类标光滑项约束了像素间类标的光滑性.基于对PauliRGB图像进行超像素分割而产生的初始化类标图,交替迭代优化所定义的能量函数直至其收敛.在两幅真实极化SAR图像上的实验结果表明,该算法达到了优异的分类效果,其性能优于当前已有算法.     

Image label transfer: Short video labelling by using frame auto-encoder

The number of short videos on the Internet is huge, but most of them are unlabeled. In this paper, a rough labelling method of short video based on the neural network of image classification is proposed. Convolutional auto-encoder is applied to train and learn unlabeled video frames, in order to obtain the feature in certain level of the network. Using these features, we extract key-frames of the video by our method of feature clustering. We put these key-frames which represent the video content into the image classification network, so that we can get the labels for every video clip. We also compare the different architectures of convolutional auto-encoder, while optimizing and selecting the better performance architecture through our experiment result. In addition, the video frame feature from the convolutional auto-encoder is compared with those features from other extraction methods. On the whole, this paper propose a method of image labels transferring for the realization of short video rough labelling, which can be applied to the video classes with few labeled samples.     

基于GAN和CNN-ELM的监控图像智能修复及检测方法

针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题,提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法.首先,使用深度学习网络作为 目标检测框架,利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原,得到清晰完整的作业图像;其次,利用CNN自适应学习图像特征的能力,对修复后的图像进行自主特征提取;最后,将提取的图像特征输入ELM分类器中进行目标识别与分类,判断作业过程是否存在违规行为.试验结果表明:所提方法图像修复速度快,视觉效果自然,且目标识别准确率高,具有很好的泛化能力.     

一种结合三重注意力机制的双路径网络胸片疾病分类方法

近年来,利用CNN进行医学图像处理,在胸片疾病分类任务中取得显著研究进展。然而,与单一结构CNN相比,双路径网络可结合不同CNN特点,从而提高疾病分类能力。其次,对于不同疾病,其位置、大小、形态、密度、纹理等特征均有不同,而注意力机制有助于模型提取不同病理特征,提升分类精度。因此针对胸片疾病分类问题,该文提出一种结合三重注意力机制的双路径卷积神经网络(TADPN),TADPN将ResNet和DenseNet结合的双路径网络DPN作为骨干网络,并利用3种不同形式的注意力机制改进DPN,在维持参数量稳定的同时提高网络复杂度,进而提升对胸片疾病的分类精度。在ChestXray14数据集上实验,并与目前较为先进的6种算法对比,14种疾病的平均AUC值达到0.8185,较前人提升1.1%,表明双路径CNN及三重注意力机制对胸片疾病分类的有效性及TADPN的先进性。     

Large scale automatic image annotation based on convolutional neural network

Automatic image annotation is one of the most important challenges in computer vision, which is critical to many real-world researches and applications. In this paper, we focus on the issue of large scale image annotation with deep learning. Firstly, considering the existing image data, especially the network images, most of the labels of themselves are inaccurate or imprecise. We propose a Multitask Voting (MV) method, which can improve the accuracy of original annotation to a certain extent, thereby enhancing the training effect of the model. Secondly, the MV method can also achieve the adaptive label, whereas most existing methods pre-specify the number of tags to be selected. Additionally, based on convolutional neural network, a large scale image annotation model MVAIACNN is constructed. Finally, we evaluate the performance with experiments on the MIRFlickr25K and NUS-WIDE datasets, and compare with other methods, demonstrating the effectiveness of the MVAIACNN.     

3维卷积递归神经网络的高光谱图像分类方法

为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取，提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息，然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练，提取空谱联合特征，最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理，可以实现端到端的训练，并且能够充分提取空间与光谱数据中的语义信息。结果表明，与其它基于深度学习的分类方法相比，本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度，有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

基于迁移学习与权重支持向量机的图像多标签标注算法

为解决图像的多标签自动标注中标签不平衡性的问题,提出了一种基于迁移学习与权重支持向量机的图像自动标注方法。为了解决所选数据集规模较小无法训练出最优的卷积神经网络的问题,文中采用迁移学习的方法,将通过Imagenet数据集训练出的Alexnet的参数迁移到文中所用的卷积神经网络模型中,并对最后一层全连接层进行微调,利用多标签分类多合页损失函数构成多分类的支持向量机。最后,文中对低频标签进行权重排序以得到图像的多标签标注结果。在Corel-5k、Esp-Game和IAPR-TC12共3个数据集上进行了实验,权重支持向量机获得的平均召回率分别提升了10%、9%和6%,低频标签对其平均精确率均提升了12%。实验结果表明,基于迁移学习的权重支持向量机的图像多标签标注方法可在有效提高数据集的召回率的同时提升低频标签的平均精确度。