基于深度学习的小样本中药材粉末显微图像识别

针对中药材种类繁多、数据量稀少以及难以对其导管进行分类的问题,提出一种基于多通道颜色空间与注意力机制模型的卷积神经网络改进方法。首先,采用多通道颜色空间将RGB颜色空间与其他颜色空间合并为6通道作为网络输入,使网络学习亮度、色调和饱和度等特征信息,弥补数据量的不足;其次,在网络中加入注意力机制模型,其中通道注意力模型将两个池化层紧密连接到一起,空间注意力模型将多尺度空洞卷积结合到一起,使网络将注意力聚焦于小样本中关键的特征信息。实验结果表明,针对34种中药材样本的8774张导管图像,采用多通道颜色空间和注意力机制模型的方法,与原始ResNet网络相比,准确率分别提升了1.8个百分点和3.1个百分点,将二者结合后准确率提升了4.1个百分点,说明所提方法对小样本分类的准确率有着大幅度的提升。     

融合整体与局部信息的武夷岩茶叶片分类方法

针对武夷岩茶鲜茶叶叶片图像分类问题,提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明,在9个品种共计7330张武夷岩茶鲜茶叶叶片图像数据集上,基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%,超过了其他CNN模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收少量有标签的数据,导致神经网络不能获取足够的用来识别的信息.因此,提出了一种基于注意力机制和图卷积网络的小样本分类模型.这个模型不仅能够更好地提取特征,而且能够充分利用提取的特征对目标图像进行分类.通过注意力机制,能够指导神经网络关注更有用的信息,而图卷积使得网络能够利用支撑集中其他类别的信息做出更准确的判断.经过大量的实验,证明了提出的模型在Omniglot数据集和mini-ImageNet数据集上的分类准确率都超过了基于传统神经网络的关系网络.     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

面向方面级情感分析的加权依存树卷积网络

面向方面级情感分析,现有基于规则的依存树修剪方法存在删除部分有用信息的问题。另外,如何利用图卷积网络获取图结构中丰富的全局信息也是现阶段面临的一个重要问题。针对第一个问题,该文通过多头注意力机制自动学习如何有选择地关注对分类任务有用的结构信息,将原始依存树转变为完全连接的边加权图。针对第二个问题,该文将紧密连接引入图卷积网络中,使图卷积网络能够捕捉丰富的局部和全局信息。三个公开数据集上的实验结果表明,该文模型相比基线模型其准确率和F₁值均有提升。     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

整合卷积与高效自注意力机制的图像分类模型

对于传统的图像分类网络而言,卷积神经网络受限于较小且固定的感受野使其忽略了感受野之外的图像特征信息.基于Transformer模型灵活的多头自注意力机制使得其必须依赖于巨大的数据量以减少过拟合的风险,导致模型参数与计算复杂度过于庞大.针对上述问题本文提出了一种名为CSNet的多阶段图像分类模型.在模型浅层阶段利用大核卷积分解的思想扩大卷积层感受野以学习较大范围的特征信息.在深层阶段利用一种高效的自注意力机制,将卷积运算的特性加入自注意力机制中,有效减少了原始自注意力机制局部计算冗余和过分依赖数据的问题.CSNet在CIFAR-10和ImageNet-1K数据集上的分类准确率分别达到98.9%和82.6%,实验表明CSNet的模型性能优于ResNet和Vision Transformer.     

局部几何与全局结构联合感知的三维形状分类方法

针对复杂结构的三维形状分析与识别问题,提出了新颖的图卷积分类方法,建立了局部几何与全局结构联合图卷积学习机制,有效提高了三维形状数据学习的鲁棒性与稳定性。首先,通过最远点采样与最近邻方法构造局部图,并建立动态卷积算子,有效提取局部几何特征;同时,基于特征域采样构造全局的特征谱图,通过卷积算子获得全局结构信息。进而,构建加权的联合图卷积学习网络模型,引入注意力机制,实现自适应的特征融合。最终,在联合优化目标函数约束下,有效提高特征学习的性能。实验结果表明,融合局部几何与全局结构的联合图卷积网络学习机制,有效提高了深度特征的表示能力及区分性,具有更为优秀的识别力和分类性能。提出的研究方法可应用于大规模三维场景识别、三维重建以及数据压缩,在机器人、产品数字化分析、智能导航、虚拟现实等领域具有着重要的工程意义与广泛的应用前景。     

CNN-BiGRU网络中引入注意力机制的中文文本情感分析

传统卷积神经网络（CNN）中同层神经元之间信息不能互传，无法充分利用同一层次上的特征信息，缺乏句子体系特征的表示，从而限制了模型的特征学习能力，影响文本分类效果。针对这个问题，提出基于CNN-BiGRU联合网络引入注意力机制的模型，采用CNN-BiGRU联合网络进行特征学习。首先利用CNN提取深层次短语特征，然后利用双向门限循环神经网络（BiGRU）进行序列化信息学习以得到句子体系的特征和加强CNN池化层特征的联系，最后通过增加注意力机制对隐藏状态加权计算以完成有效特征筛选。在数据集上进行的多组对比实验结果表明，该方法取得了91.93%的F1值，有效地提高了文本分类的准确率，时间代价小，具有很好的应用能力。     

基于有效通道注意力的遥感图像场景分类

针对基于人工设计特征的方法不能提取高层次遥感图像信息以及以往利用VGGNet、ResNet等卷积神经网络（CNN）无法关注到遥感图像中显著分类特征的问题,提出了一种基于有效通道注意力（ECA）机制的遥感图像场景分类新模型——ECA-ResNeXt-8-SVM。为了建立高效模型,一方面,设计了嵌入ECA模块的深度特征提取网络ECA-ResNeXt-8,通过端到端的学习使网络更关注分类特征明显的通道;另一方面,利用支持向量机（SVM）代替全连接层作为已提取到的深度特征的分类器,从而进一步提高模型的分类准确率与泛化能力。该模型在实验数据集UC Merced Land-Use上的分类准确率达到95.81%,相较于使用SE-ResNeXt50与ResNeXt50网络,分别提高了6%与18%,且在分类准确率为75%时所提模型的训练时间比上述两个网络分别减少了82%与81%。实验结果表明,所提模型能够有效地减少模型的收敛时间并提升遥感图像场景分类的准确率。     

类内类间距离在CNN识别心拍类中的应用研究

心脏疾病严重威胁人类身体健康，心电图（Electrocardiogram，ECG）心拍分类对心脏疾病的临床诊断和自动诊断具有重要意义。现有基于深度学习生成的ECG心拍特征虽然优于基于传统方法生成的心拍特征，但是因ECG中各类间存在着严重的数据不平衡问题，致使现有基于深度学习方法生成的心拍特征的性能仍不甚理想。针对这一问题，以卷积神经网络（Convolutional Neural Network，CNN）为基础，在各类心拍等量数据基础上构建能有效表达各类心拍共性信息的共性CNN模型，以共性CNN模型和最小化类内距离最大化类间距离模型为基础，分别在各类心拍数据上构建能有效反映相应心拍类别倾向性信息的类别CNN模型，综合各心拍类别CNN模型的输出进行识别与分类。在MIT-BIH数据库上的实验结果显示，该方法识别分类心拍的各项指标均达到100%，解决了MIT-BIH数据库中ECG四类心拍自动识别分类的问题。     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

卷积神经网络在心拍类识别中的应用

心电图（ECG）心拍分类对心脏疾病的临床诊断具有重要意义,但是ECG四类心拍间数据不平衡问题严重制约着心拍分类性能的提升。针对这一问题,以卷积神经网络（CNN）为基础,首先在组合四类心拍等量数据基础上构建用于表达噪声及四类心拍间共性信息的通用CNN模型,接着以通用CNN模型为基础分别在四类心拍数据上构建四个更为有效表达对应心拍类别倾向性信息的类别CNN模型,最后综合四个类别CNN模型的输出判别心拍类型。在MIT-BIH心电图数据库上的实验结果显示,该方法的平均灵敏度为99.68%、平均阳性检测率是98.58%、综合指标是99.12%,显著优于二级联合聚类法在MIT-BIH心电图数据库上的分类性能。     

基于教与学优化的可变卷积自编码器的医学图像分类方法

针对传统手工方法优化卷积神经网络(CNN)参数时存在耗时长、不准确,以及参数设置影响算法性能等问题,提出一种基于教与学优化(TLBO)的可变卷积自编码器(CAE)算法.该算法设计了可变长度的个体编码策略,从而快速构建CAE结构,并堆叠CAE为一个CNN;此外,充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索,...     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

基于改进注意力机制的图像描述生成算法

图像描述是将图像所包含的全局信息用语句来表示。它要求图像描述生成模型既能提取出图像信息,又能将提取出来的图像信息用语句表达出来。传统的模型是基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的,在一定程度上可以实现图像转语句的功能,但该模型在提取图像关键信息时精度不高且训练速度缓慢。针对这一问题,提出了一种基于CNN和长短期记忆（LSTM）网络改进的注意力机制图像描述生成模型。采用VGG19和ResNet101作为特征提取网络,在注意力机制中引入分组卷积替代传统的全连接操作,从而提高评价值指标。使用了公共数据集Flickr8K、Flickr30K对该模型进行训练,采用多种评价指标（BLEU、ROUGE_L、CIDEr、METEOR）对模型进行验证。实验结果表明,与引入传统的注意力机制模型相比,提出的改进注意力机制图像描述生成模型对图像描述任务的准确性有所提升,并且该模型在5种评价指标上均优于传统的模型。     

基于挤压激励的轻量化注意力机制模块

针对向卷积神经网络（CNN）中嵌入注意力机制模块以提高模型应用精度导致参数和计算量增加的问题,提出基于挤压激励的轻量化高度维度挤压激励（HD-SE）模块和宽度维度挤压激励（WD-SE）模块。为了充分利用特征图中潜在的信息,HD-SE对卷积层输出的特征图在高度维度上进行挤压激励操作,获得高度维度上的权重信息;而WD-SE在宽度维度上进行挤压激励操作,以得到特征图宽度维度上的权重信息;然后,将得到的权重信息分别应用于对应维度的特征图张量,以提高模型的应用精度。将HD-SE与WD-SE分别嵌入VGG16、ResNet56、MobileNetV1和MobileNetV2模型中,在CIFAR10和CIFAR100数据集上进行的实验结果表明,与挤压激励（SE）模块、协调注意力（CA）模块、卷积块注意力模块（CBAM）和高效通道注意力（ECA）模块等先进的注意力机制模块相比,HD-SE与WD-SE在向网络模型中增加的参数和计算量更少的同时得到的精度相似或者更高。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。