基于卷积神经网络的中文财经新闻分类方法

针对目前财经领域内新闻数据杂乱无章、缺乏自动高效管理等问题,提出一种基于卷积神经网络的中文财经新闻分类方法。收集大规模财经新闻语料,通过无监督学习方法训练获得一个广义通用的财经类词向量模型,将词向量引入到卷积神经网络模型训练中实现有效分类。与传统方法相比,基于卷积神经网络的中文财经新闻分类方法网络模型结构简单,针对小样本集也能表现优异的性能,不仅能有效解决中文财经新闻分类问题,还可充分证明卷积神经网络在处理文本分类问题中的有效性。     

基于层次化类别嵌入的电力ICT系统故障分类

为解决电力信息通信客服系统在故障研判时存在故障分类准确率低甚至误分的问题,提出基于层次化类别嵌入的文本分类方法,进行电力信息通信系统故障识别.首先,基于电力信息通信系统故障的用户保修工单文本数据构建电力信息通信系统层次化电力故障标签;其次,提出了基于层次化深层金字塔卷积神经网络和基于层次化中断循环神经网络2种层次化文本分类方法,采用层次化类别嵌入方法逐层进行故障类型分类.实验结果表明,基于层次化深层金字塔卷积神经网络的方法效果最优,可以提供高效、准确的故障识别服务.     

基于CNN-BiLSTM网络引入注意力模型的文本情感分析

为了解决单一卷积神经网络（CNN）缺乏利用文本上下文信息的能力和简单循环神经网络（RNN）无法解决长时依赖的问题,提出CNN-BiLSTM网络引入注意力模型的文本情感分析方法。首先利用CNN的特征强学习能力提取局部特征,再利用双向长短时记忆网络（BiLSTM）提取上下文相关特征的能力进行深度学习,最后,增加注意力层获取重要特征,使模型提取到有效的特征。在IMDB数据集上Accuracy值和均方根误差（RMSE）值分别达到90.34%和0.296 7,在Twitter数据集上Accuracy值和RMSE值分别达到76.90%、0.417 4,且模型时间代价小。结果表明,本文提出的模型有效提升了文本分类的准确率。     

基于改进CNN-BiGRU-att模型的文本分类研究

为解决单一的卷积神经网络(CNN)缺乏利用上下文本信息与单一循环神经网络(RNN)对局部信息把握不全面问题,提出一种基于注意力机制的多通道TextCNN-BiGRU分类模型.首先,通过word2vec对初始文本向量化,经实验选取窗口值组成三通道.然后利用CNN的强学习能力提取局部特征,利用双向门控循环单元(BiGRU)提取上下文全局信息,运用注意力层与池化层获取并优化重要的特征.最后采用softmax函数使误差loss极小化.仿真实验结果表明,提出的模型分类性能,准确度达94%,损失函数值稳定在0.22%左右,具有良好的泛化能力,能够有效解决单一模型挖掘信息不全问题,有效提高分类效果.     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

基于CNN和LSTM的智能文本分类

针对文本分类领域的应用,在利用卷积神经网络(CNN)与长短时记忆网络(LSTM)基础上提出一种改进的卷积层技术,将改进后的卷积层技术用于对文本这种一维数据结构的处理,并联合LSTM的区域嵌入技术实现文本的分类。实验结果表明,与传统方法比较,该方法在执行性能和分类精确度方面都有明显的提升。     

基于知识嵌入式预训练语言模型的文本分类方法研究

为解决一般预训练语言表示模型在语义理解和推理过程中存在不足的问题,提出了一种知识嵌入式预训练语言模型,使用知识嵌入和预训练语言表示的统一模型将事实知识集成到增强的语言表示模型中,充分利用知识图谱中包含的丰富的结构化知识事实来增强文本表示,从而提高预训练模型的效果。该模型利用大规模文本语料库和知识图谱进行训练优化,在THUCNews数据集上的文本分类的准确率和召回率分别达到了96.51%和90.36%,优于文本循环神经网络、基于变换器的双向编码器表征、增强语言表示模型的实验结果,验证了经知识图谱优化后的预训练语言模型在文本分类任务上的优越性。     

运用CNN-LSTM混合模型的短文本分类

针对分类短文本时卷积神经网络(CNN)只提取局部特征和长短时记忆网络(LSTM)学习计算量大、处理时间长且随着短文本文字量增加与上下文的联系会减弱的问题,给出了基于CNN-LSTM混合模型算法.该算法融合CNN对短文本的特征提取能力,降低了文本数据量;利用LSTM的记忆能力,充分学习短文本的全局特征,进而对短文本进行更加有效地分类.实验结果表明,CNN-LSTM混合模型对短文本的分类效果远远好于CNN模型和LSTM模型.     

上下文感知的判别式主题模型

为了解决主题识别过程中词的上下文语境缺失问题,通过卷积神经网络将特定的上下文信息嵌入到词向量中,再将词向量输入到判别式主题模型中。本方法可以融合附加标签信息进行有监督的训练,处理文档分类等下游任务。通过与现有判别式主题模型进行对比和分析,能够获取到更加连贯的主题,同时在文本分类任务上表现出更好的预测性能,从而验证了方法的有效性和准确性。     

隐含情感特征感知的智能客服系统情感分类模型

为研究智能客服系统中用户的情感分类,基于数据构成的复杂性,提出了一种智能客服情感分类的模型,该模型采用CNN(卷积神经网络)+特征模型+GRU(门循环单元)网络框架实现了多特征融合数据的情感分类.模型针对智能客服系统中用户中文语料库语句简短且偏重口语化,隐喻、讽刺等特点,构建了针对不同特征的语料卷积神经网络的特征模型,结合CNN采用循环神经网络GRU进行情感分类.大量的实验结果表明：该模型能够有效解决多特征融合的中文文本情感分类问题,在智能客服系统中人机交互场景具有广泛的应用前景.     

用于文本情感极性分析的动态卷积神经网络超限学习算法

为改善动态卷积神经网络在文本情感分类方法中的泛化能力,提出了一种动态卷积超限学习算法.对动态卷积神经网络的输出层加以改进,使用浅层随机神经网络替代全连接层,利用参数随机生成的扰动性能,降低分类端对训练样本的依赖,避免过拟合,提升分类性能.在公共数据集上的实验证明:相对改进前的动态卷积学习算法以及超限学习机,所提出的方法在准确率、F1测度等多个标准指标上均体现了更优的分类性能.     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

基于TI-LSTM的文本自动分类算法及应用

为了有效解决中文文本分类问题,提高文本分类的准确性,提出一种基于TF-IDF和神经网络相结合的文本自动分类算法——TI-LSTM算法。算法根据语义情景提取相应特征,进行量化,通过长短期神经网络（LSTM）对量化后的特征进行训练并赋予权重,最后以特征权重为依据对中文文本信息进行评价。使用TI-LSTM算法可以在保留原文语义的情况下准确提取特征。将该算法应用到长春理工大学贫困生等级分类研究中。与传统的KNN、逻辑回归、朴素贝叶斯和LSTM分类方法进行了比较,训练和测试的准确率都有了较大的提升,准确率达到了86%以上。     

基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

基于量子卷积神经网络的图像识别新模型

为了解决卷积神经网络对内存和时间效率要求越来越高的问题,提出一种面向数字图像分类的新模型,该模型为基于强纠缠参数化线路的量子卷积神经网络。首先对经典图像进行预处理和量子比特编码,提取图像的特征信息,并将其制备为量子态作为量子卷积神经网络模型的输入。通过设计模型量子卷积层、量子池化层、量子全连接层结构,高效提炼主要特征信息,最后对模型输出执行Z基测量,根据期望值完成图像分类。实验数据集为MNIST数据,{0,1}分类和{2,7}分类准确率均达到了100%。对比结果表明,采用平均池化下采样的三层网络结构的QCNN模型具有更高的测试精度。     

基于ATT-CNN的化工装备分类算法

随着化工技术的飞速发展,化工装备在化工产业生产实践中发挥着更加重要的作用,与此同时也对化工装备的精准分类提出了更高要求。为了提高化工装备在化工生产中分类的准确率,提出了一种基于Attention注意力机制和卷积神经网络的化工装备文本分类算法。首先,分别使用卷积神经网络算法的输入层和Attention注意力机制提取化工装备文本特征;其次,将两种算法得到的特征与卷积核进行卷积操作,得到不同权重的输入,最后在分类器中对得到的化工装备文本特征进行分类,得到最终分类结果。通过多算法实验结果表明,该方法相比传统卷积神经网络与机器学习方法在数据挖掘中具有更高的分类准确性,达到了96. 42%,证明ATT-CNN算法在化工装备分类中具有较好的性能。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于GA-CNN-LSTM模型的文本情感分析方法研究

为了克服传统神经网络不能学习文本长期信息的缺点和神经网络中梯度下降法容易陷入的局部最优问题,提出基于遗传算法(GA)、卷积神经网络(CNN)和长短期记忆神经网络(LSTM)相结合的文本情感分析模型GA-CNN-LSTM.具体来说,该模型首先利用卷积神经网络从全局信息中提取序列特征,之后使用长短期记忆神经网络分析句子的句法和语义结构,最后运用遗传算法从全局进行寻优,有效避免梯度下降法陷入的局部最优问题.在IMDB数据集上进行实验,结果表明,该模型相比于其他现有的网络模型,取得了更好的分类效果,精度比传统的长短期记忆神经网络提高了 1.8百分点,准确率达到了 0.906.     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

基于多头自注意力和并行混合模型的文本情感分析

针对以往研究大多使用单一模型进行文本情感分析,导致无法很好地捕捉相关文本的情感特征,从而造成情感分析效果不理想的问题,提出一种基于多头自注意力和并行混合模型的文本情感分析方法。首先,利用Word2vec模型捕捉单词的语义特征,训练词向量;其次,借助双层多头自注意力机制(double layer multi-head self-attention,DLMA)学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络(bi-directional gated recurrent nnit,BiGRU)获取文本的序列特征;最后,借助改进的并行卷积神经网络(convolutional neural network,CNN)提取深层次特征信息。将该模型分别在2个数据集上进行实验验证,其准确率分别达到92.71%和91.08%。结果表明,该方法比其他模型具有更好的学习能力。