基于RoBERTa的全局图神经网络文档级中文金融事件抽取

当前基于图神经网络的事件抽取模型无法很好解决长距离依赖问题,并且图的构造中没有考虑实体之间的关系,实体也需要结合文档中的多个句子进行推理。为解决这些问题,该文首先使用预训练模型RoBERTa对文档进行编码并输出所有句子的特征表示和文档的上下文信息嵌入表示,能更好地学习中文金融数据的语义特征。其次,构建一个包含文档节点和实体节点的全局图神经网络使不同节点和边的交互有更丰富的表示,加强了文档和实体信息之间的联系。最后,应用图卷积网络捕获了它们之间的全局交互得到实体级图,在此基础上通过改进的路径推理机制来推断实体之间的关系,更好地解决了长距离文档上下文感知表示和跨句子论元分散问题。在CFA数据集上进行了模型验证,实验结果表明,该文所提模型F₁值优于对比模型,综合性能得到有效提升。     

基于邻域交互和图神经网络的推荐模型

异质图中包含丰富的关系，图神经网络(Graph Neural Networks, GNNs)能够自然地整合节点关系，因此图神经网络在推荐领域显示出巨大的潜力.然而，现有基于图神经网络的推荐大多聚焦于学习用户和项目的表示，忽略了用户和项目间的交互信息.其次，这些模型很少学习元路径的明确表示.为了解决上述问题，本文提出一种基于邻域交互和图神经网络的推荐模型NGRec.该模型学习用户和项目的表示，并通过元路径引导的邻域来获取用户和项目间的交互，最后将节点表示和交互信息进行融合用于推荐.该模型在得到节点有效表示的基础上，融合节点间的交互，增强了推荐效果.在3种不同类型的异质图上进行大量的实验，证明了所提模型在性能上的提升.     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

基于领域知识图谱的短文本实体链接

实体链接任务是识别文本中潜在的实体指称,并将其链接到给定知识库中无歧义的实体上。在绝大多数情况下,实体链接可能存在中文短文本缺乏有效上下文信息,导致存在一词多义的歧义现象;同时候选链接过程中,候选实体的不确定相关性也影响候选实体链接精确性。针对上述两个问题,提出深度神经网络与关联图相结合的实体链接模型。模型添加字符特征、上下文、信息深层语义来增强指称和实体表示,并进行相似度匹配。利用Fast-newman算法将图谱知识库聚类划分不同类型实体簇,将相似度计算得分最高候选实体所属实体簇映射到关系平面,构建聚类实体关联图。利用偏向随机游走算法考查候选实体之间语义相关度,计算指称与候选实体的匹配程度,输入链接实体。该模型可以实现短文本到知识图谱目标实体的准确链接。     

基于事件演化图的多标记事件预测模型

多标记事件预测是指预测多个相关联的事件是否会在未来发生,相比传统单标记事件预测,需要同时预测多个目标事件。现有的事件预测研究忽略各领域存在的多标记事件情境,且对多标记事件预测研究较少。提出一种基于事件演化图的多标记事件预测模型(MLEP),以实现基于事件演化图(EEG)的多标记事件预测研究模式。首先基于事件链构建事件演化图;然后对多标记事件预测问题进行问题转换,将多标记问题转化为单标记问题,利用事件表示学习方法获取所有事件的向量表示,对多标记事件进行编码;最后采用门控图神经网络(GGNN)框架构建多标记事件预测模型,根据相似度匹配出最优的后续事件,实现多标记事件的预测。在真实数据集上的实验结果表明,MLEP模型可以有效地预测出多标记事件,预测准确率达到了65.58%,性能优于大多现有的基准模型,提升幅度达到了4.94%以上。通过消融实验也证明了更好的事件表示学习方法对事件具有较好的表示效果,提升多标记事件预测的性能。     

基于核心句的端到端事件共指消解

大多数先前的事件共指消解模型都属于成对相似度模型，通过编码两个事件提及的表示并计算相似度来判断是否共指。但是，当两个事件提及在文档内出现的位置接近时，编码其中一个事件提及的上下文表示会引入另一事件的信息，从而降低模型的性能。针对此问题，提出了一种基于核心句的端到端事件共指消解模型(End-to-end Event Coreference Resolution Based on Core Sentence, ECR-CS),该模型自动抽取事件信息并按照预先设置好的模板为每个事件提及构造核心句，利用核心句的表示代替事件提及的表示。由于核心句中只包含单个事件的信息，因此所提模型可以在编码事件表示时消除其他事件信息的干扰。此外，受到事件信息抽取工具的性能限制，构造的核心句可能会丢失事件的部分重要信息，提出利用事件在文档中的上下文表示来进行出弥补。所提模型引入了一种门控机制，将上下文嵌入向量分解为分别与核心句嵌入向量平行和正交的两个分量，平行分量可以认为是与核心句信息维度相同的信息，正交分量则是核心句中不包含的新信息。通过上下文信息和核心句信息的相关度，控制正交分量中被用来补充核心句中缺失的重要...     

基于方面语义和门控过滤网络的方面级情感分析

方面级情感分析(Aspect-based Sentiment Analysis, ABSA)是一项细粒度的情感分析任务，旨在预测文本中特定方面的情感极性。目前，鉴于循环神经网络在序列建模方面的卓越性能以及卷积神经网络学习局部模式的出色表现，部分工作将两者相结合来挖掘情感信息，并且取得了不错的效果。但是，少有工作在将两者结合后应用到方面级情感分析任务中的同时考虑方面信息。在方面级情感分析任务中，大部分工作将方面视作一个独立整体与上下文进行交互，但是对于方面的表示过于简单，缺乏真实语义。针对上述问题，文中提出了一种基于方面语义和门控过滤网络(Aspect Semantic and Gated Filtering Network, ASGFN)的神经网络模型，用于挖掘方面级情感信息。首先，设计了方面编码模块，用于捕捉特定语境下的方面语义信息，该模块基于全局上下文融合多头注意机制与图卷积神经网络构建包含特定语义的方面表示。其次，设计门控过滤网络连接循环神经网络和卷积神经网络，以此增强方面与上下文的交互，同时结合循环神经网络与卷积神经网络的优势，进而提取情感特征。最后，将情感特征与方面表示相结合...     

子图相似性的恶意程序检测方法

动态行为分析是一种常见的恶意程序分析方法,常用图来表示恶意程序系统调用或资源依赖等,通过图挖掘算法找出已知恶意程序样本中公共的恶意特征子图,并通过这些特征子图对恶意程序进行检测.然而这些方法往往依赖于图匹配算法,且图匹配不可避免计算慢,同时,算法中还忽视了子图之间的关系,而考虑子图间的关系有助于提高模型检测效果.为了解决这两个问题,提出了一种基于子图相似性恶意程序检测方法,即DMBSS.该方法使用数据流图来表示恶意程序运行时的系统行为或事件,再从数据流图中提取出恶意行为特征子图,并使用“逆拓扑标识”算法将特征子图表示成字符串,字符串蕴含了子图的结构信息,使用字符串替代图的匹配.然后,通过神经网络来计算子图间的相似性即将子图结构表示成高维向量,使得相似子图在向量空间的距离也较近.最后,使用子图向量构建恶意程序的相似性函数,并在此基础上,结合SVM分类器对恶意程序进行检测.实验结果显示,与其他方法相比,DMBSS在检测恶意程序时速度较快,且准确率较高.     

基于级联时空特征的信息传播预测方法

现有信息传播预测方法对级联序列和拓扑结构独立建模,难以学习级联时序特征和结构特征在嵌入空间的交互表达,造成对信息传播动态演化的刻画不足.因此,文中提出基于级联时空特征的信息传播预测方法.基于社交关系网络和传播路径构建异质图,使用图神经网络学习异质图和社交关系网络节点的结构上下文,引入门控循环单元提取级联时序特征,融合结构上下文和时序特征,构建级联时空特征,进行信息传播的微观预测.在Twitter、Memes数据集上的实验表明,文中方法性能得到一定提升.     

基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而，现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息，没有充分利用异质信息之间的交互。因此，提出一种新型的图神经网络推荐模型，把所有信息实体之间的丰富交互建模成异质图，并在异质图上使用稠密子图采样策略进行子图采样；此外，模型还加入多任务学习方法用于共同优化链接预测与推荐任务，使得模型学习到更好的节点表示，以提升推荐效果。2个公开数据集上的实验结果表明，所提模型相比基线模型，在Top-N推荐任务性能上有所提高。     

基于实体画像增强网络的事件检测方法

事件检测任务旨在从非结构化的文本中自动识别并分类事件触发词。挖掘和表示实体的属性特征(即实体画像)有助于事件检测,其基本原理在于“实体本身的属性往往暗示了其参与的事件类型”(例如,“警察”往往参与“Arrest-Jail”类的事件)。现有研究已利用编码信息实现实体表示,并借此优化事件检测模型。然而,其表示学习过程仅仅纳入局部的句子级语境信息,使得实体画像的信息覆盖率偏低。为此,该文提出基于全局信息和实体交互信息的画像增强方法,其借助图注意力神经网络,不仅在文档级的语境范围内捕捉实体的高注意力背景信息,也同时纳入了局部相关实体的交互信息。特别地,该文开发了基于共现图的注意力遮蔽模型,用于降低噪声信息对实体表示学习过程的干扰。在此基础上,该文联合上述实体画像增强网络、BERT语义编码网络和GAT聚合网络,形成了总体的事件检测模型。该文在通用数据集ACE 2005上进行实验,结果表明实体画像增强方法能够进一步优化事件检测的性能,在触发词分类任务上的F₁值达到76.2%,较基线模型提升了2.2%。     

CoGCN: Combining co‐attention with graph convolutional network for entity linking with knowledge graphs

Entity linking is a fundamental task in natural language processing. The task of entity linking with knowledge graphs aims at linking mentions in text to their correct entities in a knowledge graph like DBpedia or YAGO2. Most of existing methods rely on hand‐designed features to model the contexts of mentions and entities, which are sparse and hard to calibrate. In this paper, we present a neural model that first combines co‐attention mechanism with graph convolutional network for entity linking with knowledge graphs, which extracts features of mentions and entities from their contexts automatically. Specifically, given the context of a mention and one of its candidate entities' context, we introduce the co‐attention mechanism to learn the relatedness between the mention context and the candidate entity context, and build the mention representation in consideration of such relatedness. Moreover, we propose a context‐aware graph convolutional network for entity representation, which takes both the graph structure of the candidate entity and its relatedness with the mention context into consideration. Experimental results show that our model consistently outperforms the baseline methods on five widely used datasets.     

基于结构化表示的中文事件同指消解方法

事件同指消解是自然语言处理中一个具有挑战性的任务,它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点,该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gated attention network with structured representation),在文档内进行中文事件同指消解。首先,该模型采用语义角色标注和依存句法分析技术对事件句进行浅层语义分析,抽取事件句信息并表示为一个事件五元组。其次,将各种事件信息输入GRU进行编码,然后使用多头注意力机制挖掘事件句和事件对之间的重要特征。在ACE2005中文语料库上的实验表明,GAN-SR的性能优于目前性能最好的基准系统。     

HyperED: A hierarchy-aware network based on hyperbolic geometry for event detection

Event detection plays an essential role in the task of event extraction. It aims at identifying event trigger words in a sentence and classifying event types. Generally, multiple event types are usually well-organized with a hierarchical structure in real-world scenarios, and hierarchical correlations between event types can be used to enhance event detection performance. However, such kind of hierarchical information has received insufficient attention which can lead to misclassification between multiple event types. In addition, the most existing methods perform event detection in Euclidean space, which cannot adequately represent hierarchical relationships. To address these issues, we propose a novel event detection network HyperED which embeds the event context and types in Poincaré ball of hyperbolic geometry to help learn hierarchical features between events. Specifically, for the event detection context, we first leverage the pre-trained BERT or BiLSTM in Euclidean space to learn the semantic features of ED sentences. Meanwhile, to make full use of the dependency knowledge, a GNN-based model is applied when encoding event types to learn the correlations between events. Then we use a simple neural-based transformation to project the embeddings into the Poincaré ball to capture hierarchical features, and a distance score in hyperbolic space is computed for prediction. The experiments on MAVEN and ACE 2005 datasets indicate the effectiveness of the HyperED model and prove the natural advantages of hyperbolic spaces in expressing hierarchies in an intuitive way.     

基于事件元素无向图的查询扩展方法

借助新闻事件元素之间的关联特性,提出了基于事件元素无向图的查询扩展方法,利用新闻事件元素之间的关联关系进行查询扩展提升新闻事件检索效果。首先分析候选事件文档与查询项的关系,确定待扩展的元素;然后利用事件元素之间的关联关系构建无向图,通过事件向量空间计算边的权重;最后,利用无向图节点权重模型计算事件元素权重,依据权重进行事件元素扩展。在新闻事件查询扩展方面进行了对比试验,结果表明该文提出的查询扩展方法取得了较好的效果。     

结合事件链与事理图谱的脚本事件预测模型

现有脚本事件预测模型在事件表示时未充分考虑各个元素之间的相关性,且不能同时利用事件链和事理图谱中的信息进行事件预测。针对事件表示不全面和信息融合不充分的问题,提出一种结合事件链和事理图谱的脚本事件预测模型ECGNet。将每个事件的各个元素构造成一个短句,使用Transformer编码器捕获元素之间的序列信息,从而获得更准确的事件表示。在此基础上,构建一个长程时序模块（LRTO）学习事件链中的时序信息,同时构建一个全局事件演化模块（GEEP）捕获隐藏在事理图谱中的演化模式,通过门控注意力机制动态融合时序信息和演化模式进行脚本事件预测。基于纽约时报和新浪新闻两个数据集的实验结果表明,ECGNet能够有效融合事件链和事理图谱的信息进行脚本事件预测,与PMI、Bigram、SAM-Net、SGNN等模型相比,其准确率较最优值取得了3%以上的提升。     

利用门控机制融合依存与语义信息的事件检测方法

句子级事件检测任务目的是识别和分类事件触发词。现阶段工作主要将句子作为神经分类网络的输入,学习句子的深层语义信息,从而优化句子表示来改进事件检测任务的性能。该文发现除句子语义信息外,依存树包含的句法结构信息也有助于获取准确的句子表示。为此,该文采用双向长短时记忆网络对句子进行编码,捕获其语义信息;同时,设计图神经网络对句子的依存结构进行表示,获取其依存信息;此外,在对句子进行语义编码与依存编码时,该文利用自注意力机制使模型选择性地关注句子中的不同词,从而捕获句子中有助于事件检测的关键信息,并尽可能避免无关词的干扰;最后,该文提出门控机制,通过加权实现上述两种信息的动态融合。该文在自动文本抽取(automatic content extraction, ACE)数据集上进行实验,结果显示,该文提出的动态融合语义信息与依存信息的方法能更加有效地对句子进行编码,并捕获句子中的事件信息,在触发词识别与事件类型分类这两个子任务中,F₁值均有较大提升,分别达到76.3%和73.9%。     

融入事件实体知识的汉越跨语言新闻事件检索

现有汉越跨语言新闻事件检索方法较少使用新闻领域内的事件实体知识,在候选文档中存在多个事件的情况下,与查询句无关的事件会干扰查询句与候选文档间的匹配精度,影响检索性能。提出一种融入事件实体知识的汉越跨语言新闻事件检索模型。通过查询翻译方法将汉语事件查询句翻译为越南语事件查询句,把跨语言新闻事件检索问题转化为单语新闻事件检索问题。考虑到查询句中只有单个事件,候选文档中多个事件共存会影响查询句和文档的精准匹配,利用事件触发词划分候选文档事件范围,减小文档中与查询无关事件的干扰。在此基础上,利用知识图谱和事件触发词得到事件实体丰富的知识表示,通过查询句与文档事件范围间的交互,提取到事件实体知识表示与词以及事件实体知识表示之间的排序特征。在汉越双语新闻数据集上的实验结果表明,与BM25、Conv-KNRM、ATER等基线模型相比,该模型能够取得较好的跨语言新闻事件检索效果,NDCG和MAP指标最高可提升0.712 2和0.587 2。     

面向政治领域的事理图谱构建

事理图谱是一种描述事件之间顺承、因果等关系的事理演化逻辑有向图,它蕴含了丰富的事件间关系,在各领域都具有重要的研究意义和应用价值。当前研究主要集中于公开域的事件抽取上,而在特定领域,如政治领域,因其事件类型和事件内容较为复杂,相关研究十分有限。该文旨在构建面向政治领域的事理图谱,针对政治事件抽取中存在的语料匮乏、标准缺失等问题,制定了一套面向政治领域的事件分类标准,构建了一套政治领域的事件语料库。同时,该文分别提出了一种融合注意力机制的字嵌入修正神经网络的Pipeline模型和一种基于BERT+BiLSTM的Joint模型进行事件触发词和论元抽取,并在该语料库上进行实验。实验结果表明,两种模型在事件触发词与论元抽取任务中,F₁指标较基线模型均有较大提升。     

图神经网络会话推荐系统综述

会话推荐立足于目标用户的当前会话,根据项目类别、跨会话的上下文信息、多种用户行为等辅助信息学习项目间的依赖关系,从而捕捉用户的长短期偏好进行个性化推荐。近年来,流行的深度学习系列方法已经成为会话型推荐系统这个研究热点的前沿方法,尤其是图神经网络的引入,使会话推荐系统的性能得到了进一步提升。鉴于此,该综述从问题定义与会话推荐因素出发,从构图方面进行分析;将相关工作分为基于图卷积网络、门控图神经网络、图注意力网络和其他图神经网络架构的会话推荐系统,并进行归纳与对比;对各工作实验部分中的损失函数类别、所选用的数据集和模型性能评估指标三方面进行深入分析。重点从算法原理和性能分析两方面对各模型框架进行评估和梳理,旨在对近五年基于图神经网络的会话推荐系统相关工作进行评述、总结与展望。