融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题，传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题，和CNN和RNN都忽略了词对句子含义的重要程度的问题，提出一种并行混合网络融入注意力机制的模型。首先，将文本用Glove向量化；之后，通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征；然后，再把二者提取得到的特征进行融合，特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验，实验结果表明，所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于ERNIE和CNN的在线评论情感分析模型

针对用户提交的商品评论内容与情感标记存在不一致的现象,提出了一种基于知识增强的语义表示（ERNIE）与卷积神经网络（CNN）的在线评论情感分析模型ECN,对评论文本进行情感倾向划分。首先,利用ERNIE预训练模型生成基于上下文信息的文本向量表示;然后,通过多通道CNN模型对文本向量进行特征提取;最后,利用Softmax进行文本情感分类。在两个数据集上的实验结果表明,ECN模型的情感分类准确率、召回率及F1值均达到91%以上。与CNN、双向长短时记忆（BiLSTM）网络、ERNIE相比,ECN模型的情感分类效果更好。采用ECN模型对商品评论文本自动划分情感类别,能够更客观地反映消费者的情感倾向,对商家及其他消费者更具有指导意义。     

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题，提出了一种改进的CapsNet模型。首先，使用两层卷积层对特征信息进行局部特征提取；然后，使用CapsNet对文本的整体特征进行提取；最后，使用softmax分类器进行分类。在文本分类中，所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明，改进CapsNet模型更适用于文本分类。     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题，为提升文本分类的准确率，提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征，获得整体标量信息；其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代，获取到表示文本整体属性的向量化的特征信息；最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性，并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明，与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比，G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见，G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

双通道卷积神经网络在文本情感分析中的应用

针对单通道卷积神经网络（CNN）视角单一、不能充分学习到文本的特征信息的问题,提出双通道CNN （DCCNN）算法。首先,采用Word2Vec训练词向量,利用词向量获得句子的语义信息;其次,采用两个不同的通道进行卷积运算,一个通道为字向量,另一个通道为词向量,利用细粒度的字向量辅助词向量捕捉深层次的语义信息;最后,通过不同尺寸的卷积核,发现句子内部更高层次抽象的特征。实验结果表明,所提DCCNN算法能够准确识别文本情感极性,其正确率和F1值均达到95%以上,相比逻辑回归算法、支持向量机（SVM）算法以及CNN算法等都有显著提升。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

基于注意力机制的改进CLSM检索式匹配问答方法

针对检索式匹配问答模型对中文语料适应性弱和句子语义信息被忽略的问题，提出一种基于卷积神经网络潜在语义模型（CLSM）的中文文本语义匹配模型。首先，在传统CLSM基础上进行改进，去掉单词和字母的N元模型层，以增强模型对中文语料的适应性；其次，采用注意力机制算法，针对输入的中文词向量信息建立实体关注层模型，以加强句中核心词的权重信息；最后，通过卷积神经网络（CNN）有效地捕获输入句子上下文结构方面信息，并通过池化层对获取的语义信息进行降维。基于医疗问答对数据集，将改进模型与传统语义模型、传统翻译模型、深度神经网络模型进行对比，实验结果显示所提模型在归一化折现累积增益（NDCG）方面有4~10个百分点的提升，优于对比模型。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

结合改进主动学习的SVD-CNN弹幕文本分类算法

为解决传统卷积神经网络（CNN）模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种基于奇异值分解（SVD）算法的卷积神经网络模型（SVD-CNN）。首先,采用改进的基于密度中心点采样的主动学习算法（DBC-AL）选择对分类模型贡献率较高的样本进行标注,以低标注代价获得高质量模型训练集;然后,结合SVD算法建立SVD-CNN弹幕文本分类模型,使用奇异值分解的方法代替传统CNN模型池化层进行特征提取和降维,并在此基础上完成弹幕文本分类任务;最后,使用改进的梯度下降算法（PSGD）对模型参数进行优化。为了验证改进算法的有效性,使用多种弹幕数据样本集,对提出的模型与常用的文本分类模型进行对比实验。实验结果表明,改进的算法能够更好地保留文本语义特征,保证训练过程的稳定性并提高了模型的收敛速度,在不同的弹幕文本上较传统算法具有更好的分类性能。     

基于改进胶囊网络的文本分类

针对卷积神经网络（CNN）中的池化操作会丢失部分特征信息和胶囊网络（CapsNet）分类精度不高的问题,提出了一种改进的CapsNet模型。首先,使用两层卷积层对特征信息进行局部特征提取;然后,使用CapsNet对文本的整体特征进行提取;最后,使用softmax分类器进行分类。在文本分类中,所提模型比CNN和CapsNet在分类精度上分别提高了3.42个百分点和2.14个百分点。实验结果表明,改进CapsNet模型更适用于文本分类。