融合上下文信息图卷积的中文短文本分类方法

针对中文短文本特征提取存在语义特征稀疏的问题,为了弥补图卷积网络不能捕捉长距离上下文关联性的不足,引入双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM),提出BERT BGCN短文本分类模型.首先利用BERT对文本信息进行字符级编码作为图节点的特征值,其次通过全局共享的点互信息(Pointwise Mutual Information,PMI)关系作为节点间的边为每个文档构建一个单独的文本图,再次,聚合图卷积网络和BiLSTM的输出形成融合上下文信息的特征矩阵并输入到下一层的图卷积网络,最后输出到全连接层得到最终分类结果.本模型在3个中文短文本数据集与其他多个基线模型进行比较,实验结果表明,本模型在准确率方面优于其他基线模型.     

基于图卷积网络的双语多文档差异性摘要抽取

针对现有方法利用机器翻译在双语新闻中抽取差异性摘要存在的语义转换偏差问题，提出一种基于图卷积网络的双语多文档差异性摘要抽取方法。首先，对已抽取的双语多文档摘要构建句子关系图，并将GRU模型获得的句向量和句子关系图作为图卷积网络的输入，以获得图卷积相关性聚合之后的句子节点表征；然后，计算句子节点表征和GRU模型获得中英文文档向量之间的显著性得分；最后，按照显著性得分高低进行降序排序，分别抽取出中英文的差异性摘要。实验结果表明，所提出的方法能够有效抽取双语多文档差异性摘要。     

基于时空图卷积网络的学生在线课堂行为识别

为了有效地识别学生在线课堂行为,提出了一种融合全局注意力机制和时空图卷积 网络的人体骨架行为识别模型。首先在时空图卷积网络的空间图卷积网络和时间卷积网络之 间加入全局注意力模块,空间图卷积网络输出的空间特征图作为注意力模块的输入。其次引 入按时间维度的平均池化和最大池化操作,以增加模型学习全局特征信息的能力。最后用三 个加入注意力机制的时空图卷积神经网络和类激活图(class activation map,CAM),构造对遮挡数据识别能力更强 的丰富激活图卷积网络(RA-GCNv2-A)模型,并通过迁移学习实现学生在线课堂行为识别功 能。 在NTU-RGB+D和NTU-RGB+D120数据集上进行实验验证,与RA-GCNv2模型相比,在NTU-RGB +D 和NTU-RGB+D120数据集上的识别准确率分别提高了(cross-subject,CS)1.3%、(cross-view,CV)1.2%和(cross-subject,CSub)1.6%、 (cross-setup,CSet)1.4%。实验结果表明,提出的方法是一种有效的学生在线课堂 行为识别方法。     

结合时空注意力机制和自适应图卷积网络的骨架行为识别

针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题,研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先,构建基于非局部操作的时空注意力模块,辅助模型关注骨架序列中最具判别性的帧和区域;其次,利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力,并考虑人体先验知识在不同时期的影响,构建自适应图卷积网络;最后,将自适应图卷积网络作为基本框架,并嵌入时空注意力模块,与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率,在大规模的数据集Kinetics上体现出模型的通用性,验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。      

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型。首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法。针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究。研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率。     

双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,...     

基于三维图卷积与注意力增强的行为识别模型

针对当前行为识别方法无法有效提取非欧式3维骨架序列的时空信息与缺乏针对特定关节关注的问题,该文提出了一种基于3维图卷积与注意力增强的行为识别模型.首先,介绍了3维卷积与图卷积的具体工作原理;其次,基于图卷积中可处理变长邻居节点的图卷积核,引入3维卷积的3维采样空间将2维图卷积核改进为具有3维采样空间的3维图卷积核,提出一种3维图卷积方法.针对3维采样空间内的邻居节点,通过3维图卷积核,实现了对骨架序列中时空信息的有效提取;然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构;再者,结合3维图卷积方法与注意力增强结构,构建了基于3维图卷积与注意力增强的行为识别模型;最后,基于NTU-RGBD和MSR Action 3D骨架动作数据集开展了骨架行为识别的研究.研究结果进一步验证了基于3维图卷积与注意力增强的行为识别模型针对时空信息的有效提取能力及识别准确率.     

基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以...     

基于轻量级图卷积网络的校园暴力行为识别

针对卷积神经网络和图卷积网络的两类算法在校园暴力行为识别中识别速度和识别率不高的问题,本文提出一种结合多信息流数据融合和时空注意力机制的轻量级图卷积网络.以人体骨架为研究对象,首先融合关节点和骨架相关的多信息流数据,通过减少网络参数量来提高运算速度;其次构建基于非局部运算的时空注意力模块关注最具动作判别性的关节点,通过...     

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

一种基于先验知识的实体关系联合抽取模型

不同于流水线方式的关系抽取方法,在实体关系联合抽取方式中虽然把实体识别和关系抽取两者结合起来,但损失部分实体特征信息.在以BERT预训练模型为核心的SpERT实体关系联合抽取模型输入阶段,融入置信度较高的词性标注和句法依存关系的先验特征;并在模型的关系抽取层中重用输入信息,为关系抽取任务提供更多的特征;在优化模型的损失...     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分...     

多交互图卷积网络用于方面情感分析

方面情感分析旨在识别句子中特定方面的情感极性,是一项细粒度情感分析任务。传统基于注意力机制方法,仅在单词之间进行单一的语义交互,没有建立方面词与文本词的语法信息交互,导致方面词错误地关注到与其语法无关的文本词信息。此外,单词的位置距离特征和语法距离特征,分别体现其在句子线性形式中和句子语法依存树中的位置关系,而基于图卷积网络处理语法信息的方法却忽略距离特征,使距方面词较远的无关信息对其情感分析造成干扰。针对上述问题,该文提出多交互图卷积网络(MIGCN),首先将文本词位置距离特征馈入到每层图卷积网络,同时利用依存树中文本词的语法距离特征对图卷积网络的邻接矩阵加权,最后,设计语义交互和语法交互分别处理单词之间语义和语法信息。实验结果表明,在公共数据集上,准确率和宏F1值均优于基准模型。     

基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.     

基于XLNet的医学文本实体关系识别模型

目前在处理医学文本实体间关系提取任务中,使用传统的词向量表示方法无法解决医学文本中的词多义性问题,加上基于长短时记忆网络对文本语义局部特征抽取不够充分,不能充分捕捉医疗文本隐藏的内部关联信息。因此,提出一种基于XLNet-BiGRU-Attention-TextCNN的医疗文本实体关系抽取模型。利用XLNet模型将输入的医疗文本转化为向量形式,接着连接双向门控循环神经网络(BiGRU)提取文本语句的长距离依赖关系,然后使用注意力机制(Attention)为特征序列分配权重,降低噪声影响,最后利用文本卷积神经网络(TextCNN)对序列进行局部特征提取并通过softmax层输出关系抽取结果。实验结果表明,本文所提模型在精确率、召回率和F值上均优于基准模型。     

基于图卷积网络的服装评价信息分类问题的研究

随着互联网的快速发展以及电子设备的逐渐普及,越来越多的人选择在网上购物,买家在购买商品之后,可以通过平台提供的评价系统表达自己对服装产品的感受,因此会产生大量的服装评价信息。由于这些评价信息的标签是通过人工选择的,会受到外在因素的影响,所以具有不确定性。这些不确定性产生的误差会影响到平台以及其他用户对服装产品的评判。针对这一问题,本文研究了一种基于图卷积的分类方法,将单词、文档、主题视为节点,三者之间的关系作为边构建大型异构图网络。将该异构图作为图卷积网络模型的输入,并引入了注意力机制,根据不同邻居节点与某一特定节点的关系具有不同的重要程度,构建了关注矩阵。最后对一个公开的服装评价文本进行实验评估以及分析,实验结果表明本方法取得的分类结果优于传统神经网络。     

融合评论文本特征和评分图卷积表示的推荐模型

为了充分利用评分的有效信息,并进一步研究评论的重要性,提出了一种融合评论文本特征和评分图卷积表示的推荐模型,利用图卷积编码学习用户和商品在评分上的特征表示,结合文本卷积特征,使用注意力机制来区分评论的重要性,然后通过隐因子模型把在评论和评分上学习到的特征表示融合产生推荐.在亚马逊公开数据集上的实验结果表明,提出的模型显...     

基于图卷积神经网络的大规模软件定义网络流量预测模型

为了提高大规模软件定义网络流量预测的准确率,研究基于图卷积神经网络的大规模软件定义网络流量预测模型。构建包含图卷积神经网络（Graph Convolution Neural Network, GCN）层、门控递归单元（Gating Recursive Unit, GRU）层及自注意力机制层的流量预测模型。通过GCN层与GRU层分别重构与更新网络流量的空间与时间特征;将两种特征共同输入自注意力机制层,经整合与加权平均运算后,获得网络流量预测值输出,实现大规模软件定义网络流量预测。实验结果显示,该模型可精准预测大规模软件定义网络流量,降低所应用网络的通信丢包率与通信延时,实现高质量高时效的网络数据传输,保障大规模软件定义网络的智能流量通信。     

基于MacBERT-BiLSTM和注意力机制的短文本分类研究

针对中文短文本上下文依赖性强,特征信息难以提取的问题,提出一种融合MacBERT、双向长短期记忆神经网络(BiLSTM)、注意力(Attention)机制的短文本分类模型方法。利用预训练模型MacBERT得到动态词向量,输入BiLSTM模型中提取上下文关系特征。结合注意力机制分配不同的权重值,最后使用Softmax分类器得到分类结果。研究表明,该模型在THUCNews数据集上F₁值达到了95.63%,相较于基准模型BERT提高了2.18%,验证了其在短文本分类任务中的可行性和有效性。