融合多重注意力机制的卷积神经网络文本分类设计与实现

针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类.在池化层采用平均池化和最大池化相结合的方法,从而减少特征图的尺寸,避免过拟合现象的发生,最后使用softmax函数进行分类.本文在三个不同的中英文数据集上进行实验,同时设计注意力机制重要性对比实验,分析自注意力机制与CNN结合对文本分类效果提升的重要性,结果表明该分类模型有效地提高了分类的准确性.     

基于注意力机制与情感的多通道RCNN和ON-LSTM模型

近年来在方面级情感分析任务上,基于卷积神经网络和循环神经网络的模型取得了不错的效果,但仍存在着文本长距离依赖问题.有序神经元长短时记忆(ON-LSTM)可建模句子的层级结构,解决文本长距离依赖问题,但会忽略文本局部特征.区域卷积神经网络(RCNN)能提取文本不同区域的局部特征,却无法有效提取文本的上下文语义,而且现有模型均未考虑到情感词与句子上下文的联系.针对这些问题,本文提出一种基于注意力机制与情感的多通道RCNN和ON-LSTM的神经网络模型(MCRO-A-S).首先,向上下文词向量中融入情感特征向量,弥补仅使用上下文词向量作为模型输入的不足.其次,结合RCNN模型提取文本局部特征与ON-LSTM模型提取文本上下文语义信息的优势,可有效提高模型特征提取能力.最后,利用注意力机制融合语义信息,给予情感词更多的关注.在SemEval 2014两个数据集和Twitter数据集上验证模型的有效性,取得了比其他模型更好的分类效果.     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题，传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题，和CNN和RNN都忽略了词对句子含义的重要程度的问题，提出一种并行混合网络融入注意力机制的模型。首先，将文本用Glove向量化；之后，通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征；然后，再把二者提取得到的特征进行融合，特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验，实验结果表明，所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于改进的CBOW与ABiGRU的文本分类研究

文本的表示与文本的特征提取是文本分类需要解决的核心问题,基于此,提出了基于改进的连续词袋模型（CBOW）与ABiGRU的文本分类模型。该分类模型把改进的CBOW模型所训练的词向量作为词嵌入层,然后经过卷积神经网络的卷积层和池化层,以及结合了注意力（Attention）机制的双向门限循环单元（BiGRU）神经网络充分提取了文本的特征。将文本特征向量输入到softmax分类器进行分类。在三个语料集中进行的文本分类实验结果表明,相较于其他文本分类算法,提出的方法有更优越的性能。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于RCNN的问题相似度计算方法

在搜索引擎、问答系统中利用深度学习的方法计算问题相似度是NLP领域研究的热点。结合卷积神经网络（CNN）和长短记忆网络（LSTM）,提出了递归卷积神经网络（RCNN）问句相似度的计算方法,首先利用双向递归神经网络提取上下文信息,然后采用1D卷积神经网络将词嵌入信息与上下文信息进行融合;再利用全局最大池化提取关键信息来完成问句的语义表示;最后通过匹配层判断问句对的相似度。在Quora Question Pairs数据集上的实验结果表明,该相似度计算方法准确率为83.57%,优于其他方法。     

基于双通道卷积神经网络的文本情感分类算法

针对现有深度学习方法在文本情感分类任务中特征提取能力方面的不足,提出基于扩展特征和动态池化的双通道卷积神经网络的文本情感分类算法.首先,结合情感词、词性、程度副词、否定词和标点符号等多种影响文本情感倾向的词语特征,形成一个扩展文本特征.然后,把词向量特征与扩展文本特征分别作为卷积神经网络的两个输入通道,采用动态k-max池化策略,提升模型提取特征的能力.在多个标准英文数据集上的文本情感分类实验表明,文中算法的分类性能不仅高于单通道卷积神经网络算法,而且相比一些代表性算法也具有一定的优势.     

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别。在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征。针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise convolution neural network,MP-CNN)模型,根据对象将句子划分为两个部分作为上下文,并在池化层采用分段最大池化操作提取上下文特征。此外,该模型还将有助于情感分类的多个辅助特征融入其中,如词的相对位置、词性以及词在情感词典中的情感得分,并通过卷积操作计算词的注意力得分,有效判断对象的情感极性类别。最后在SemEval 2014数据集和Twitter数据集的实验中,取得了较基于传统机器学习、基于循环神经网络以及基于单一最大池化的卷积神经网络分类模型更好的分类效果。     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

基于递归卷积神经网络的移动机器人定位算法

移动机器人定位已成为机器人研究的重要任务。提出基于递归卷积神经网络的移动机器人定位（Recurrent Convolutional Neural Networks-Based Mobile Robot Localization,RCNN-MRL）算法。递归卷积神经网络（Recurrent Convolutional Neural Networks,RCNN）结合卷积神经网络（Convolutional Neural Networks,CNN）和递归神经网络（Recurrent Neural Networks,RNN）的特性,并依据机器人上嵌入的照相机拍摄的第一人称视角图像,RCNN-MRL算法利用RCNN实现自主定位。具体而言,先通过RCNN有效地处理多个连续图像,再利用RCNN作为回归模型,进而估计机器人位置。同时,设计双轮机器人移动,获取多个时间序列图像信息。最后,依据双轮机器人随机移动建立仿真环境,分析机器人定位性能。实验数据表明,提出的RCNN模型能够实现自主定位。     

基于细胞图卷积的组织病理图像分类研究

针对传统CNN（Convolutional Neural Network）在组织病理图像分类中存在的两个问题：其一,受限于内存大小,CNN无法对高分辨率的病理图像直接进行训练,这不可避免地破坏了细胞之间的空间结构信息,且无法学习全局的特征信息;其二,病理图像中的正常细胞和癌变细胞均有自身的病理学图像特征并且在空间上具有一定的关联性,但在结构化的二维阵列图像中无法被充分的表达。提出一种基于细胞图卷积（Cell-Graph Convolutional Network,C-GCN）的组织病理图像分类方法,将高分辨率的病理图像转换为图结构,在传统的GCN中将GraphSAGE（Graph SAmple and aggregate）模块与图池化相结合,提取出更具有代表性的一般性特征,使得C-GCN可以直接在高分辨率的组织学图像中学习特征,提高了模型的鲁棒性。     

面向BSP-CNN的短文本情感倾向性分类研究

针对消费短文本评论中的情感倾向性分类问题,提出了一种BSP-CNN混合神经网络模型。模型先使用双向简单循环单元（BiSRU）对数据进行特征表示,再使用逐点卷积神经网络（P-CNN）进一步学习语义特征,并输出情感倾向性分类结果。实验结果表明,与传统的长短期记忆神经网络（LSTM）和卷积神经网络（CNN）相比,BSP-CNN混合神经网络模型有效简化了计算,缩短了运行时间,并且在不同大小和不同文本长度的数据集上均能取得更高的F1值。     

基于高斯函数的池化算法

针对卷积神经网络（CNN）中的传统池化算法不能很好地考虑到池化域内每个元素与该池化域所含特征之间关联性的问题,提出一种基于高斯函数的池化算法。首先根据池化域内各元素的值和所有元素的最大值计算高斯函数的三个参数值,然后运用高斯函数计算池化域内所有元素的权重,最后根据这些权重对池化域内所有元素值计算加权平均值,并以此作为池化结果。选择LeNet5、VGG16、ResNet18和MobileNet v3作为实验模型,在公开数据集CIFAR-10、Fer2013和德国交通标志识别基准（GTSRB）上进行实验,并与最大池化、平均池化、随机池化、混合池化、模糊池化、融合随机池化和soft池化这七种池化算法进行对比。实验结果表明,所提算法在三个数据集上相较其他算法在精度方面均有0.5个百分点到6个百分点的提升,且在运行效率方面优于上述除最大池化和平均池化两种池化算法外的其他池化算法,从而验证所提算法有效且具适合应用于对运算时间要求不高但对精度要求较高的情况。     

结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法

传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出了一种结合广义自回归预训练语言模型（XLNet）与循环卷积神经网络（RCNN）的文本情感分析方法。首先,利用XLNet对文本进行特征表示,并通过引入片段级递归机制和相对位置信息编码,充分利用了评论文本的语境信息,从而有效提升了文本特征的表达能力;然后,利用RCNN对文本特征进行双向训练,并在更深层次上提取文本的上下文语义信息,从而提升了在情感分析任务中的综合性能。所提方法分别在三个公开数据集weibo-100k、waimai-10k和ChnSentiCorp上进行了实验,准确率分别达到了96.4%、91.8%和92.9%。实验结果证明了所提方法在情感分析任务中的有效性。     

基于随机子图像模型的遥感图像分类

高分辨率遥感图像（HRRS）的分类是一项具有挑战性的任务。针对遥感数据集图像本身的语义特性,提出一种对数据集图像进行随机子图像提取并带有金字塔池化模型的卷积神经网络（Convolutional Neural Network,CNN）。对输入图像的尺寸进行基于柯西分布的随机尺寸剪切,将这些尺寸不同但是标签相同的子图像送进带有SPP（空间金字塔池化）的卷积神经网络,将子图像的预测类别众数作为最终分类输出。实验结果表明该方法对多类遥感图像的分类精度有一定提升。     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题，为提升文本分类的准确率，提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征，获得整体标量信息；其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代，获取到表示文本整体属性的向量化的特征信息；最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性，并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明，与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比，G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见，G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

智能问诊中基于深度神经网络的反问生成方法

在智能问诊中,为了让医生快速提出合理的反问以提高医患对话效率,提出了基于深度神经网络的反问生成方法。首先获取大量医患对话文本并进行标注;然后使用文本循环神经网络（TextRNN）、文本卷积神经网络（TextCNN）二种分类模型分别对医生的陈述进行分类;再利用双向文本循环神经网络（TextRNN-B）、双向变形编码器（BERT）分类模型进行问题触发;设计六种不同的问答选取方式来模拟医疗咨询领域情景,采用开源神经机器翻译（OpenNMT）模型进行反问生成;最后对已生成的反问进行综合评估。实验结果表明,使用TextRNN进行分类优于TextCNN,利用BERT模型进行问题触发优于TextRNN-B,采用OpenNMT模型在Window-top方式下实现反问生成时,使用双语评估替补（BLEU）和困惑度（PPL）指标进行评价的结果最好。所提方法验证了深度神经网络技术在反问生成中的有效性,可以有效解决智能问诊中医生反问生成的问题。