基于深度学习的中文文本分类方法

为提升中文文本的分类效率,改善梯度消失、梯度爆炸以及语义信息提取不准确等问题,提出基于深度学习的中文文本分类模型ResCNN-LSTMA.对残差网络和卷积神经网络的组合方式进行研究,发现二者组合能够避免梯度消失和梯度爆炸的情况.分析注意力机制与长短期记忆网络组合的形式对文本分类的效果,二者组合能够在保留上下文语义信息的...     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

基于改进TF-IDF和ABLCNN的中文文本分类模型

文本分类是自然语言处理领域中的重要内容,常用于信息检索、情感分析等领域.针对传统的文本分类模型文本特征提取不全面、文本语义表达弱的问题,提出一种基于改进TF-IDF算法、带有注意力机制的长短期记忆卷积网络(Attention base on Bi-LSTM and CNN,ABLCNN)相结合的文本分类模型.该模型首先利用特征项在类内、类间的分布关系和位置信息改进TF-IDF算法,突出特征项的重要性,并结合Word2vec工具训练的词向量对文本进行表示;然后使用ABLCNN提取文本特征,ABLCNN结合了注意力机制、长短期记忆网络和卷积神经网络的优点,既可以有重点地提取文本的上下文语义特征,又兼顾了局部语义特征;最后,将特征向量通过softmax函数进行文本分类.在THUCNews数据集和online_shopping_10_cats数据集上对基于改进TF-IDF和ABLCNN的文本分类模型进行实验,结果表明,所提模型在两个数据集上的准确率分别为97.38％和91.33％,高于其他文本分类模型.     

基于注意力CNLSTM模型的新闻文本分类

结合卷积神经网络(CNN)和嵌套长短期记忆网络(NLSTM)2种模型,基于注意力机制提出一个用于文本表示和分类的CNLSTM模型。采用CNN提取短语序列的特征表示,利用NLSTM学习文本的特征表示,引入注意力机制突出关键短语以优化特征提取的过程。在3个公开新闻数据集中进行性能测试,结果表明,该模型的分类准确率分别为96.87%、95.43%和97.58%,其性能比baseline方法有显著提高。     

基于联合模型的多标签文本分类研究

目前大部分多标签文本分类算法忽视文本序列中不同词的重要程度、不同层次文本特征的影响，提出一种ATT-Capsule-BiLSTM模型，使用多头注意力机制（Multi-head Attention），结合胶囊网络（CapsuleNet）与双向长短期记忆网络（BiLSTM）方法。将文本序列向量化表示，在词向量的基础上通过多头注意力机制学习单词的权重分布。通过胶囊网络和BiLSTM分别提取局部空间信息和上下文时序信息的特征表示，通过平均融合后，由sigmoid分类器进行分类。在Reuters-21578和AAPD两个数据集上进行对比实验，实验结果表明，提出的联合模型在使用简单架构的情况下，达到了较好的性能，[F1]值分别达到了89.82%和67.48%。     

基于双通道词向量的ACRNN文本分类

常见的文本分类模型多基于循环神经网络和卷积神经网络这两种结构进行模型的堆叠构建,这种层叠式结构虽然能够提取更加高维的深层次语义信息,但在不同结构连接的同时,造成一部分有效特征信息的丢失。为了解决这一问题,提出一种基于双通道词向量的分类模型,该模型使用结合注意力机制的Bi-LSTM和CNN以更加浅层的结构对文本表征进行有效的特征提取。此外,提出一种新的将文本表征成前向、后向两种形式并利用CNN进行特征提取的方法。通过在两种不同的五分类数据集上进行分类实验并与多种基准模型对比,验证了该模型的有效性,表明该模型较层叠式结构模型效果更好。     

基于改进深度注意神经网络的语义角色标注

针对目前语义角色标注方法存在的由于神经网络层数增加导致梯度爆炸、梯度消失而带来的深层网络训练困难和训练不稳定问题,先后通过在层与层之间加入Layer Normalization进行归一化处理,引入Highway Networks优化的深层双向长短期记忆神经网络来优化模型中的递归子层等方法,加速模型收敛速度,增强网络稳定性及模型表达能力。实验结果表明,该方法能够有效解决随神经网络层数的加深,梯度信息回流受阻造成的网络模型训练困难及不稳定问题。     

融合BERT与标签语义注意力的文本多标签分类方法

多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一.针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT.首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利...     

基于混合神经网络的文本分类方法

为更好解决卷积神经网络提取特征不充分,难以处理长文本结构信息和捕获句子语义关系等问题,提出一种融合CNN和自注意力BiLSTM的并行神经网络模型TC-ABlstm.对传统的卷积神经网络进行改进,增强对文本局部特征的提取能力;设计结合注意力机制的双向长短期记忆神经网络模型来捕获文本上下文相关的全局特征;结合两个模型提取文...     

CGGA:一种CNN与并行门控机制混合的文本分类模型

针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利用卷积提取文本的...     

结合多头注意力机制的旅游问句分类研究

旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重。充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与MultiHead-Attention的旅游问句分类模型。该模型将预先训练的词向量和经Bi-GRU处理得到的语义信息进行融合,进行问句依赖关系学习,通过CNN和Multi-Head-Attention进行特征提取,以加强局部特征的学习,通过Softmax完成分类。实验结果表明,该模型在文本信息少、表述不规范的旅游问句分类任务中F1值达到了92.11%,优于现有的主流分类模型。     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

基于BERT模型的增强混合神经网络的谣言检测

网络社交平台中大量谣言的广泛传播严重影响社会稳定.传统谣言检测方法无法有效处理文本中多义词和突出重要关键词,造成检测效果不理想.针对该问题,提出一种基于BERT模型的增强混合神经网络的谣言检测方法.该方法使用BERT模型将推文向量化,通过3种不同尺寸的卷积核学习推文特征,将这些特征进行最大池化拼接得到特征序列,并输入到...     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于多特征和深度神经网络的维吾尔文情感分类

针对传统机器学习的情感分类方法存在长距离依赖问题、深度学习存在忽略情感词库的弊端,提出了一种基于注意力机制与双向长短记忆网络和卷积神经网络模型相结合的维吾尔文情感分类方法。将多特征拼接向量作为双向长短记忆网络的输入捕获文本上下文信息,使用注意力机制和卷积网络获取文本隐藏情感特征信息,有效增强了对文本情感语义的捕获能力。实验结果表明,该方法在二分类和五分类情感数据集上的◢F◣▼1▽值相比于机器学习方法分别提高了5.59%和7.73%。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

基于深度学习的医药专利标签分类方法

在大数据时代,医药专利数据的有效收集、整理和挖掘分析对医药行业发展愈发重要。当前文本分类神经网络对医药专利标签的分类准确率不够高,为了有效提升专利标签的分类效果,设计了一种基于注意力机制的双向长短时记忆神经网络分类模型。该模型避免了传统循环神经网络的长期依赖问题,并充分利用全局信息,以实现文本信息的权重分布。     

基于深度学习的入侵检测研究

针对网络流量数据具有时间和空间双重特性,提出了混合卷积神经网络和循环卷积神经网络的入侵检测模型。将数据预处理后输入卷积神经网络,用于学习流量数据的空间特征,将所学到的特征输入长短期记忆网络,用于学习流量数据的时序特征。实验表明,混合结构模型准确率,比单独使用卷积神经网络和长短期记忆神经网络的效果好。