基于注意力机制的双向长短时记忆网络模型突发事件演化关系抽取

针对现有突发事件关系抽取研究多集中于因果关系抽取而忽略了其他演化关系的问题，为了提高应急决策中信息抽取的完备性，应用一种基于注意力机制的双向长短时记忆（LSTM）网络模型进行突发事件演化关系抽取。首先，结合突发事件演化关系的概念，构建演化关系模型并进行形式化定义，依据模型对突发事件语料进行标注；其次，搭建双向LSTM网络结构，并引入注意力机制计算注意力概率以突出关键词汇在文本中的重要程度；最终，使用搭建的网络模型进行演化关系抽取得到结果。在演化关系抽取实验中，相对于现有因果关系抽取方法，所提方法不仅抽取出更加充分的演化关系，为突发事件应急决策提供了更完善的信息；同时，在正确率、召回率和F1分数上分别平均提升了7.3%、6.7%和7.0%，有效提高了突发事件演化关系抽取的准确性。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

基于注意力长短时记忆网络的中文词性标注模型

针对传统的基于统计模型的词性标注存在人工特征依赖的问题,提出一种有效的基于注意力长短时记忆网络的中文词性标注模型。该模型以基本的分布式词向量作为单元输入,利用双向长短时记忆网络提取丰富的词语上下文特征表示。同时在网络中加入注意力隐层,利用注意力机制为不同时刻的隐状态分配概率权重,使隐层更加关注重要特征,从而优化和提升隐层向量的质量。在解码过程中引入状态转移概率矩阵,以进一步提升标注准确率。在《人民日报》和中文宾州树库CTB5语料上的实验结果表明,该模型能够有效地进行中文词性标注,其准确率高于条件随机场等传统词性标注方法,与当前较好的词性标注模型也十分接近。     

基于优化长短期记忆网络的数字资源关系抽取研究

数字资源存在内容繁杂、结构混乱等问题影响了信息的快速抽取。为了提高其有效利用率,此次实验改进了数据预处理方法来降低误差累积,然后选择长短时记忆算法来提取特征,引入注意力机制来优化并建立关系抽取模型。结果显示在ACE-05和Sem Eval-2010Task-8数据集中,输入WF特征的改进算法F1值分别为55.3%和74.7%,输入特征为WF+PF+EI+DEP的F1值为64.4%和84.2%。在Sem Eval-2010Task-8数据集中,改进算法对CC关系的特征提取精确率最高为91.7%,对ED关系的特征提取F1值最高为90.5%,ED关系的特征提取召回率最高为88.8%。可以看出改进后的资源抽取算法具有较好的性能优势,可以应用于数据资源的关系抽取中。     

基于图注意力卷积神经网络的文档级关系抽取

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F₁值分别提升了2.03％和3.93％,实验结果表明了该方法的有效性。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

基于图注意力网络的因果关系抽取

因果关系作为一种重要的关系类型在关系推理等许多领域中起着至关重要的作用,因此对因果关系进行抽取是文本挖掘中的一项基本任务.与传统文本分类方法或关系抽取不同,采用序列标注的方法可以抽取文本中的因果实体并确定因果关系方向,不需要依赖特征工程或因果背景知识.主要贡献有：1)拓展句法依存树到句法依存图,将图注意力网络应用到自然语言处理中,引入了基于句法依存图的图注意力网络的概念;2)提出Bi-LSTM+CRF+S-GAT因果关系抽取模型,根据输入的词向量生成句子中每个词的因果标签;3)对SemEval数据集进行修正与拓展,针对其存在的缺陷制定规则重新标注实验数据.在拓展后的SemEval数据集上进行了大量的实验,结果表明：该模型在预测准确率上比现有最优模型Bi-LSTM+CRF+self-ATT提高了0.064.     

基于卷积循环神经网络的关系抽取

关系抽取是信息抽取领域一项十分具有挑战性的任务,用于将非结构化文本转化为结构化数据。近年来,卷积神经网络和循环神经网络等深度学习模型,被广泛应用于关系抽取的任务中,且取得了不错的效果。卷积网络和循环网络在该任务上各有优势,且存在一定的差异性。其中,卷积网络擅长局部特征提取,循环网络能够捕获序列整体信息。针对该现象,该文综合卷积网络抽取局部特征的优势和循环网络在时序依赖中的建模能力,提出了卷积循环神经网络(convolutional recurrent neural network,CRNN)。该模型分为三层: 首先针对关系实例抽取多粒度局部特征,然后通过聚合层融合不同粒度的特征,最后利用循环网络提取特征序列的整体信息。此外,该文还探究多种聚合策略对信息融合的增益,发现注意力机制对多粒度特征的融合能力最为突出。实验结果显示,CRNN优于主流的卷积神经网络和循环神经网络,在SemEval 2010 Task 8数据集上取得了86.52%的F₁值。     

基于图神经网络的联合实体关系抽取

从非结构化文本中联合提取实体和关系是信息抽取中的一项重要任务。现有方法取得了可观的性能,但仍受到一些固有的限制,如错误传播、预测存在冗余性、无法解决关系重叠问题等。为此,提出一种基于图神经网络的联合实体关系抽取模型BSGB（BiLSTM+SDA-GAT+BiGCN）。BSGB分为两个阶段：第一阶段将语义依存分析扩展到语义依存图,提出融合语义依存图的图注意力网络（SDA-GAT）,通过堆叠BiLSTM和SDA-GAT提取句子序列和局部依赖特征,并进行实体跨度检测和初步的关系预测;第二阶段构建关系加权GCN,进一步建模实体和关系的交互,完成最终的实体关系三元组抽取。在NYT数据集上的实验结果表明,该模型F₁值达到了67.1%,对比在该数据集的基线模型提高了5.2%,对重叠关系的预测也有大幅改善。     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

Nested relation extraction with iterative neural network

Most existing researches on relation extraction focus on binary flat relations like BornIn relation between a Person and a Location. But a large portion of objective facts described in natural language are complex, especially in professional documents in fields such as finance and biomedicine that require precise expressions. For example, “the GDP of the United States in 2018 grew 2.9% compared with 2017” describes a growth rate relation between two other relations about the economic index, which is beyond the expressive power of binary flat relations. Thus, we propose the nested relation extraction problem and formulate it as a directed acyclic graph (DAG) structure extraction problem. Then, we propose a solution using the Iterative Neural Network which extracts relations layer by layer. The proposed solution achieves 78.98 and 97.89 F1 scores on two nested relation extraction tasks, namely semantic cause-and-effect relation extraction and formula extraction. Furthermore, we observe that nested relations are usually expressed in long sentences where entities are mentioned repetitively, which makes the annotation difficult and errorprone. Hence, we extend our model to incorporate a mentioninsensitive mode that only requires annotations of relations on entity concepts (instead of exact mentions) while preserving most of its performance. Our mention-insensitive model performs better than the mention sensitive model when the random level in mention selection is higher than 0.3.     

关键点图对比图像分类方法

深度学习是目前图像分类的主流方法之一,其重视感受野内的局部信息,却忽略了类别的先验拓扑结构信息。本文提出了一种新的图像分类方法,即Key-D-Graph,这是基于关键点的图对比网络方法,在识别图像类别时可以显式地考虑拓扑先验结构。具体地,图像分类需要2个步骤,第一步是基于关键点构建图像的图表达,即采用深度学习方法识别图像中目标类别的可能关键点,并采用关键点坐标生成图像的拓扑图表达;第二步基于关键点的图像图表达建立图对比网络,以估计待识别图与目标类别之间的结构差异,实现类别判断,该步骤利用了物体的拓扑先验结构信息,实现了基于图像全局结构信息的物体识别。特别的,Key-D-Graph的中间输出结果为类别关键点,具有语义可解释性,便于在实际应用中对算法逐步分析调试。实验结果表明,提出的方法可在效率和精度上超过主流方法,且通过消融实验分析验证了拓扑结构在分类中的作用机制和有效性。     

基于注意力与图卷积网络的关系抽取模型

针对关系抽取任务中句子依存树的信息利用率低和特征提取效果不佳的问题,提出了一种基于注意力引导的门控感知图卷积网络(Att-Gate-GCN)模型.首先,利用一种基于注意力机制的软剪枝策略,通过注意力机制为依存树中的边分配权重,以挖掘依存树中的有效信息,同时过滤无用信息;其次,构建一种门控感知图卷积网络(GCN)结构,通...     

图神经网络推荐研究进展

图神经网络(graph neural network, GNN)具有从图的领域对数据进行特征提取和表示的优势,近年来成为人工智能研究的热点,图神经网络推荐也是推荐系统研究的一个新方向。本文对GNN模型进行深入研究的基础上,分析了GNN推荐过程,并从无向单元图推荐、无向二元图推荐、无向多元图推荐3个方面详细讨论了现有GNN推荐研究取得的主要进展及不足,阐明了现有GNN推荐研究中存在的主要难点,最后提出了GNN上下文推荐、GNN跨领域推荐、GNN群组推荐、GNN推荐的可解释性等未来GNN推荐的研究方向。     

基于四元数门控图神经网络的脚本事件预测

脚本事件预测需要考虑两类信息来源:事件间的关联与事件内的交互。针对于事件间的关联,采用门控图神经网络对其进行建模。而对于事件内的交互,采用四元数对事件进行表征,接着通过四元数的哈密顿乘积来捕捉事件4个组成部分之间的交互。提出结合四元数和门控图神经网络来学习事件表示,它既考虑了外部事件图的交互作用,又考虑了事件内部的依赖关系。得到事件表示后,利用注意机制学习上下文事件表示和每个候选上下文表示的相对权值。然后通过权重计算上下文事件表示的和,再计算其与候选事件表示的欧氏距离。最后选择距离最小的候选事件作为正确的候选事件。在纽约时报语库上进行了实验,结果表明,通过多项选择叙事完形填空评价,本文的模型优于现有的基线模型     

一种时空协同的图卷积长短期记忆网络及其工业软测量应用

软测量技术的发展有效解决了工业过程中对于难以直接测量的质量变量的感知困难,为过程的控制与优化提供了有力保障.通常在含有多个质量变量的过程中,样本间的时序关系和多个质量变量间相互影响的空间关系能够反映过程本身的特性,这种时空特性的挖掘有益于软测量模型性能的提升,而传统软测量方法往往局限于对时序关系的学习而并未考虑对质量变量间的空间关系进行有效利用.对此,提出一种时空协同的图卷积长短期记忆网络(graph convolution long short-term memory networks, GC-LSTM),并应用于工业软测量场景.采用多通道网络结构将图卷积网络的空间关系挖掘能力与长短期记忆网络的时序关系学习能力相结合,对过程进行时空协同学习以实现软测量应用.具体而言,每条通道用于对每种质量变量进行独立学习;对于过程的时序特性,利用各通道内的长短期记忆网络提取针对不同质量变量的时序特征;对于过程的空间特性,构建质量变量间空间关系的图结构,采用跨通道的图卷积运算将不同通道内不同质量变量的时序特征基于空间关系进行融合,得到兼具过程时空特性的特征,从而在软测量建模中实现过程时空协同学习与融合...