基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

融合BERT与标签语义注意力的文本多标签分类方法

多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一.针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT.首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利...     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。     

基于图注意力网络的多标签专利分类方法

针对当前大多数基于特征工程和机器学习的专利分类方法存在准确性低以及泛化能力差的问题,提出一种基于注意力感知深度学习模型的多标签专利分类方法。该文将输入数据表示为文本图的形式,并利用图注意力卷积网络学习构建的文本图,并通过引入BiLSTM层作为新的聚合函数来表征文本图各节点的差异性和代表的语义信息设计了一个非局部二阶注意层用于捕捉专利文档中的远程和细粒度的语义信息,消除因国际专利分类标签跨域引起的语义模糊;使用Softmax分类器来完成多标签专利的分类任务。所提方法在多标签专利分类任务具有良好的分类精度,相对于其他分类方法,性能有所提高。     

基于图深度学习的金融文本多标签分类算法

金融文本多标签分类算法可以根据用户需求在海量金融资讯中实现信息检索。为进一步提升金融文本标签识别能力,建模金融文本多标签分类中标签之间的相关性,提出基于图深度学习的金融文本多标签分类算法。图深度学习通过深度网络学习局部和全局的图结构特征,可以刻画节点之间的复杂关系。通过建模标签关联实现标签之间的知识迁移,是构造具有强泛化能力算法的关键。所提算法结合标签之间的关联信息,采用基于双向门控循环网络和标签注意力机制得到的新闻文本对应不同标签的特征表示,通过图神经网络学习标签之间的复杂依赖关系。在真实数据集上的实验结果表明,显式建模标签之间的相关性能够极大地增强模型的泛化能力,在尾部标签上的性能提升尤其显著,相比CAML、BIGRU-LWAN和ZACNN算法,该算法在所有标签和尾部标签的宏观F1值上最高提升3.1%和6.9%。     

基于标签语义注意力的多标签文本分类

自大数据蓬勃发展以来,多标签分类一直是令人关注的重要问题,在现实生活中有许多实际应用,如文本分类、图像识别、视频注释、多媒体信息检索等.传统的多标签文本分类算法将标签视为没有语义信息的符号,然而,在许多情况下,文本的标签是具有特定语义的,标签的语义信息和文档的内容信息是有对应关系的,为了建立两者之间的联系并加以利用,提出了一种基于标签语义注意力的多标签文本分类(LAbel Semantic Attention Multi-label Classification,简称LASA)方法,依赖于文档的文本和对应的标签,在文档和标签之间共享单词表示.对于文档嵌入,使用双向长短时记忆(bi-directional long short-term memory,简称Bi-LSTM)获取每个单词的隐表示,通过使用标签语义注意力机制获得文档中每个单词的权重,从而考虑到每个单词对当前标签的重要性.另外,标签在语义空间里往往是相互关联的,使用标签的语义信息同时也考虑了标签的相关性.在标准多标签文本分类的数据集上得到的实验结果表明,所提出的方法能够有效地捕获重要的单词,并且其性能优于当前先进的多标签文本分类...     

融合BERT词嵌入和注意力机制的中文文本分类

文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类...     

基于层级图标签表示网络的多标签文本分类

多标签文本分类是一项基础而实用的任务,其目的是为文本分配多个可能的标签。近年来,人们提出了许多基于深度学习的标签关联模型,以结合标签的信息来学习文本的语义表示,取得了良好的分类性能。通过改进标签关联的建模和文本语义表示来推进这一研究方向。一方面,构建的层级图标签表示,除了学习每个标签的局部语义外,还进一步研究多个标签共享的全局语义。另一方面,为了捕捉标签和文本内容间的联系并加以利用,使用标签文本注意机制来引导文本特征的学习过程。在三个多标签基准数据集上的实验表明,该模型与其他方法相比具有更好的分类性能。     

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F1值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

松耦合图卷积文本分类网络

文本分类任务是自然语言处理领域内一个重要的研究问题.近年来,因处理复杂网络结构的出色能力,图神经网络模型(Graph Neural Network,GNN)受到广泛关注并被引入到文本分类任务中.在之前的研究中,基于图卷积网络(Graph Convolu-tional Neural Network,GCN)的分类模型使用...     

多类型注意力下参数自适应的多标签文本分类

多标签文本分类是指从一个极大的标签集合中为每个文档分配最相关的多个标签。该文提出一种多类型注意力机制下参数自适应模型(Parameter Adaptive Model under Multi-strategy Attention Mechanism, MSAPA)对文档进行建模和分类。MSAPA模型主要包括两部分：第一部分采用多类型注意力机制分别提取融合自注意力机制的全局关键词特征和局部关键词特征及融合标签注意力机制的全局关键词特征和局部关键词特征;第二部分采用多参数自适应策略为多类型注意力机制动态分配不同的权重,从而学习到更优的文本表示,提升分类的准确率。在AAPD和RCV1两个基准数据集上的大量实验证明了MSAPA模型的优越性。     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

多标签文本分类研究进展

文本分类作为自然语言处理中一个基本任务,在20世纪50年代就已经对其算法进行了研究,现在单标签文本分类算法已经趋向成熟,但是对于多标签文本分类的研究还有很大的提升空间.介绍了多标签文本分类的基本概念以及基本流程,包括数据集获取、文本预处理、模型训练和预测结果.介绍了多标签文本分类的方法.这些方法主要分为两大类:传统机器...     

基于概率分布的图卷积文本分类模型

近年来,图神经网络模型因其对非欧氏数据的建模和对全局依赖关系的捕获能力而广泛应用于文本分类任务。现有的基于图卷积网络的分类模型中的构图方法存在消耗内存过大、难以适应新文本等问题。此外,现有研究中用于描述图节点间的全局依赖关系的方法并不完全适用于分类任务。为解决上述问题,该文设计并提出了基于概率分布的文本分类网络模型,以语料库中的词和标签为节点构建标签-词异构关系图,利用词语在各标签上的概率分布描述节点间的全局依赖关系,并通过图卷积操作进行文本表示学习。在5个公开的文本分类数据集上的实验表明,该文提出的模型在有效缩减图尺寸的同时,相比于其他文本分类网络模型取得了较为先进的结果。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于层次混合注意力机制的文本分类模型

文本分类是自然语言处理领域的核心任务之一,深度学习的发展给文本分类带来更广阔的发展前景.针对当前基于深度学习的文本分类方法在长文本分类中的优势和不足,该文提出一种文本分类模型,在层次模型基础上引入混合注意力机制来关注文本中的重要部分.首先,按照文档的层次结构分别对句子和文档进行编码;其次,在每个层级分别使用注意力机制....     

基于门控图注意力网络的归纳式文本分类

为了有效地整合文本中的复杂特征和提取不同的上下文信息,提出了基于门控图注意力网络的归纳式文本分类方法 (TextIGAT).该方法首先为语料库中的每个文档进行单独构图,并将其中所有的单词作为图中的节点,以此保留完整的文本序列.文本图中设计单向连接的文档节点,使词节点能与全局信息交互,并合并不同的上下文关系连接词节点,从而在单个文本图中引入更多的文本信息.然后,方法基于图注意力网络(GAT)和门控循环单元(GRU)来更新词节点的表示,并根据图中保留的文本序列应用双向门控循环单元(Bi-GRU)来增强节点的顺序表示. TextIGAT能灵活地整合来自文本本身的信息,因此能对包含新词和关系的文本进行归纳式学习.在4个基准数据集(MR、Ohsumed、R8、R52)上的大量实验和详细分析表明了所提出的方法在文本分类任务上的有效性.