基于图注意力网络的多标签专利分类方法

针对当前大多数基于特征工程和机器学习的专利分类方法存在准确性低以及泛化能力差的问题,提出一种基于注意力感知深度学习模型的多标签专利分类方法。该文将输入数据表示为文本图的形式,并利用图注意力卷积网络学习构建的文本图,并通过引入BiLSTM层作为新的聚合函数来表征文本图各节点的差异性和代表的语义信息设计了一个非局部二阶注意层用于捕捉专利文档中的远程和细粒度的语义信息,消除因国际专利分类标签跨域引起的语义模糊;使用Softmax分类器来完成多标签专利的分类任务。所提方法在多标签专利分类任务具有良好的分类精度,相对于其他分类方法,性能有所提高。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

面向文本分类的多头注意力池化RCNN模型

针对经典循环卷积神经网络(RCNN)在池化层采用的最大池化策略较为单一,会忽略除最突出特征外的其他特征,影响分类精度的问题,提出基于多头注意力池化的循环卷积神经网络(MHAP-RCNN)模型.多头注意力池化可以充分考虑各特征对分类的贡献,且能在训练过程中动态优化,有效缓解最大池化的单一性问题.在三个公开的文本分类数据集...     

基于多层次注意力与图模型的图像多标签分类算法

图像多标签分类作为计算机视觉领域的重要研究方向,在图像识别、检测等场景下得到广泛应用。现有图像多标签分类方法无法有效利用标签相关性信息以及标签语义与图像特征的对应关系,导致分类能力较差。提出一种图像多标签分类的新算法,通过利用标签共现信息和标签先验知识构建图模型,使用多尺度注意力学习图像特征中目标,并利用标签引导注意力融合标签语义特征和图像特征信息,从而将标签相关性和标签语义信息融入到模型学习中。在此基础上,基于图注意力机制构建动态图模型,并对标签信息图模型进行动态更新学习,以充分融合图像信息和标签信息。在图像多标签分类任务上的实验结果表明,相比于现有最优算法MLGCN,该算法在VOC-2007数据集及COCO-2012数据集上的mAP值分别提高了0.6、1.2个百分点,性能有明显提升。     

融合BERT和图注意力网络的多标签文本分类

多标签文本分类问题是多标签分类的重要分支之一,现有的方法往往忽视了标签之间的关系,难以有效利用标签之间存在着的相关性,从而影响分类效果.基于此,本文提出一种融合BERT和图注意力网络的模型HBGA(hybrid BERT and graph attention):首先,利用BERT获得输入文本的上下文向量表示,然后用Bi-LSTM和胶囊网络分别提取文本全局特征和局部特征,通过特征融合方法构建文本特征向量,同时,通过图来建模标签之间的相关性,用图中的节点表示标签的词嵌入,通过图注意力网络将这些标签向量映射到一组相互依赖的分类器中,最后,将分类器应用到特征提取模块获得的文本特征进行端到端的训练,综合分类器和特征信息得到最终的预测结果.在Reuters-21578和AAPD两个数据集上面进行了对比实验,实验结果表明,本文模型在多标签文本分类任务上得到了有效的提升.     

基于ResNet双注意力机制的遥感图像场景分类

针对基于传统机器学习遥感图像场景分类无法快速有效提取图像特征造成分类结果不准确的问题,提出一种基于注意力残差网络的遥感图像场景分类的方法,以残差网络为基准模型,在通道和空间两个维度上建立注意力模块,实验过程中对参数进行合理有效的设置,调整网络层数优化模型,达到对UC Merced Land-Use数据集的有效分类.实验...     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。     

双线性聚合残差注意力的细粒度图像分类模型

针对细粒度图像分类任务中种类间局部信息差异性较小,通常会导致模型表征能力不足,特征通道之间的相互依赖关系较差以及无法有效捕捉到显著且多样化的特征信息等问题,提出了一种双线性聚合残差注意力网络(BARAN).首先在原双线性卷积网络模型(B-CNN)基础上,把原有特征提取子网络转变为更具学习能力的聚合残差网络,来提升网络的...     

基于重构误差的同构图分类模型

目前深度学习方法应用于图分类模型的重点集中在将卷积神经网络迁移到图数据领域,包括重定义卷积层和池化层。卷积操作泛化到图数据上是有效的方法,但无论是卷积还是池化都存在较大的改进空间,尤其是在提取网络拓扑结构信息方面。提出一种基于重构误差的同构图分类模型,一方面利用改进的同构图卷积网络WaveGIC增强提取拓扑结构信息能力;另一方面利用多重注意力机制表征全图,使得模型能够关注关键节点信息。由于网络加深过程,局部拓扑结构的特征表达越来越不明显。在分类损失基础上添加重构误差损失,使分类器同时考虑图的节点特征和拓扑结构。在基准数据集上的实验结果表明,提出的方法具有较高的图分类准确度。     

基于门控图注意力神经网络的程序分类

在源代码挖掘领域,程序分类任务是实现机器自主理解源代码的基础工作。虽然自然语言处理相关模型和基于抽象语法树的系列模型已经被广泛应用于分类程序源代码,但这些工作没有考虑源代码中的数据流、控制流等数据信息。提出一种方法用于构建包含数据信息和语法结构的代码图EAST,并结合基于注意力机制的门控图神经网络模型（GGANN）实现程序分类。GGANN模型的注意力机制考虑到节点拓扑结构性质的差异性,从而对模型信息传播过程进行改进。实验表明,改进后的GGANN模型在程序分类任务上的精度高达98%。     

基于图神经网络的多维度池化图分类

目前很多处理图数据的图神经网络方法被提出,然而大多数研究侧重于对特征聚合的卷积层的研究而不是进行下采样的池化层.此外,形成聚类簇的池化方式需要额外计算分配矩阵;节点得分的池化方式排名方式单一.为解决上述问题,提高图分类任务的准确性,本文提出了一种新的基于多维度信息的图池化算子MDPool.该模型使用节点特征信息以及图拓扑结构信息,获取不同维度下的节点得分.使用注意力机制归纳不同维度下的得分权重,生成更为健壮的节点排名,基于节点排名自适应选择节点集合生成诱导子图.提出的MDPool可以集成到多种的图神经网络结构,将MDPool池化算子与图神经网络卷积层堆叠形成编码解码模型EDMDPool.在4个公开数据集的图分类任务中, EDMDPool均高于现有基线模型.     

基于图深度学习的金融文本多标签分类算法

金融文本多标签分类算法可以根据用户需求在海量金融资讯中实现信息检索。为进一步提升金融文本标签识别能力,建模金融文本多标签分类中标签之间的相关性,提出基于图深度学习的金融文本多标签分类算法。图深度学习通过深度网络学习局部和全局的图结构特征,可以刻画节点之间的复杂关系。通过建模标签关联实现标签之间的知识迁移,是构造具有强泛化能力算法的关键。所提算法结合标签之间的关联信息,采用基于双向门控循环网络和标签注意力机制得到的新闻文本对应不同标签的特征表示,通过图神经网络学习标签之间的复杂依赖关系。在真实数据集上的实验结果表明,显式建模标签之间的相关性能够极大地增强模型的泛化能力,在尾部标签上的性能提升尤其显著,相比CAML、BIGRU-LWAN和ZACNN算法,该算法在所有标签和尾部标签的宏观F1值上最高提升3.1%和6.9%。     

基于门控图注意力网络的归纳式文本分类

为了有效地整合文本中的复杂特征和提取不同的上下文信息,提出了基于门控图注意力网络的归纳式文本分类方法 (TextIGAT).该方法首先为语料库中的每个文档进行单独构图,并将其中所有的单词作为图中的节点,以此保留完整的文本序列.文本图中设计单向连接的文档节点,使词节点能与全局信息交互,并合并不同的上下文关系连接词节点,从而在单个文本图中引入更多的文本信息.然后,方法基于图注意力网络(GAT)和门控循环单元(GRU)来更新词节点的表示,并根据图中保留的文本序列应用双向门控循环单元(Bi-GRU)来增强节点的顺序表示. TextIGAT能灵活地整合来自文本本身的信息,因此能对包含新词和关系的文本进行归纳式学习.在4个基准数据集(MR、Ohsumed、R8、R52)上的大量实验和详细分析表明了所提出的方法在文本分类任务上的有效性.     

基于联合模型的多标签文本分类研究

目前大部分多标签文本分类算法忽视文本序列中不同词的重要程度、不同层次文本特征的影响，提出一种ATT-Capsule-BiLSTM模型，使用多头注意力机制（Multi-head Attention），结合胶囊网络（CapsuleNet）与双向长短期记忆网络（BiLSTM）方法。将文本序列向量化表示，在词向量的基础上通过多头注意力机制学习单词的权重分布。通过胶囊网络和BiLSTM分别提取局部空间信息和上下文时序信息的特征表示，通过平均融合后，由sigmoid分类器进行分类。在Reuters-21578和AAPD两个数据集上进行对比实验，实验结果表明，提出的联合模型在使用简单架构的情况下，达到了较好的性能，[F1]值分别达到了89.82%和67.48%。     

基于异质图卷积注意网络的社交媒体账号分类

由于社交媒体网络的复杂性, 单一性质的同质信息网络对社交媒体账号分类会造成信息丢失, 对分类结果产生不利影响. 针对这种问题, 本文提出基于异质图卷积注意网络的社交媒体账号分类方法(HGCANA). 首先构建社交媒体的异质信息网络, 然后提取异质信息网络的社交媒体特征, 引入注意力机制, 对社交媒体账号进行分类识别. 通过实验比较HGCANA方法与现有方法, 证明了本文提出的HGCANA方法能够更好地对社交网络媒体账号进行有效分类.