基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

面向方面级情感分析的加权依存树卷积网络

面向方面级情感分析,现有基于规则的依存树修剪方法存在删除部分有用信息的问题。另外,如何利用图卷积网络获取图结构中丰富的全局信息也是现阶段面临的一个重要问题。针对第一个问题,该文通过多头注意力机制自动学习如何有选择地关注对分类任务有用的结构信息,将原始依存树转变为完全连接的边加权图。针对第二个问题,该文将紧密连接引入图卷积网络中,使图卷积网络能够捕捉丰富的局部和全局信息。三个公开数据集上的实验结果表明,该文模型相比基线模型其准确率和F₁值均有提升。     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

基于实体层次结构的文档级别关系抽取

针对目前文档级别关系抽取主要关注实体间的逻辑推理，未充分利用实体间的层次语义信息问题，提出一种基于实体层次结构的文档级别关系抽取模型。考虑多句文本中实体间的交互，将实体构建为文档图并使用图卷积神经进行信息传播；通过实体间的上下位关联构建实体层次树，使用注意力机制将层次语义信息融入实体；为降低模型对实体表面信息的关注，使用实体类型对实体词进行替换。实验结果表明，在大规模文档级别关系抽取数据集上实体语义信息增强的方案能够有效提高文档级别关系抽取的效果。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

基于情感增强与双图卷积网络的方面级情感分析

方面级情感分析旨在检测给定方面句子的情感极性。现有研究大多在句法依存树上构造图卷积网络,以获取方面词与上下文之间的句法信息。然而这类方法存在提取信息不够丰富、缺乏对句子中情感信息的挖掘等问题。针对上述问题,提出基于情感增强与双图卷积网络的方面级情感分析模型。该模型由双通道图卷积网络组成,旨在挖掘句子中的情感信息、句法信息和语义信息。利用位置信息和情感知识在依存树上构造情感增强依存图,并以此构建情感增强图卷积网络,增强方面词与上下文之间的情感依赖关系,同时挖掘句子中丰富的句法信息特征。构建基于多头注意力机制的图卷积网络,获取句子中的语义特征信息。对双图卷积网络的输出特征进行掩码、平均池化和拼接等操作,并通过情感分类层进行分类。实验结果表明,该模型与经典的图卷积网络模型(ASGCN)相比,在Restaurant、Laptop和Twitter数据集上的准确率和F1值分别提升3.43和5.69、3.13和3.92、3.57和4.02个百分点,具有较好的情感分类性能。     

融合Graph state LSTM与注意力机制的跨句多元关系抽取

已有的跨句多元关系抽取工作将输入文本表示为集成句内和句间依赖关系的复杂文档图,但图中包含的噪声信息会影响关系抽取的效果。针对这种情况,该文利用Graph state LSTM获得上下文信息,再分别利用词级注意力机制或位置感知的注意力机制,自动聚焦在对关系抽取起到决定性作用的关键词上,降低噪声信息的影响。并且比较了两种注意力机制对使用Graph state LSTM进行关系抽取的影响。通过在一个重要的精确医学数据集上进行实验,验证了该文所提出模型的有效性。     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...     

基于多粒度特征融合的新型图卷积网络用于方面级情感分析

方面级情感分析是情感分析中的细粒度任务,旨在检测给定句子中方面词的情感极性。随着图卷积网络的兴起,通过依赖树构建的图卷积网络模型被广泛用于该任务,并取得了令人满意的效果。但大多数研究只获取图卷积网络最后一层输出作为分类层的输入,忽略了其他层的节点特征,且深层图卷积网络存在节点平滑问题。近年来,有研究者将图卷积网络的多层节点特征进行集成,提高了情感分类模型的性能。文中结合自适应特征融合与高速公路网络,提出了一种基于多粒度特征融合的高速公路图卷积网络模型,用于方面级情感分析。首先,该模型通过句法依赖结构和双向的上下文信息构建图卷积网络;同时,在图卷积网络引入高速公路网络缓解深层图卷积网络过平滑的问题,加深图卷积网络的深度。然后,使用自适应融合机制从不同深度图卷积网络获得多粒度节点信息。最后,在公共数据集上进行实验,实验结果表明,与基准模型相比,所提模型能更好地捕获更多粒度的句法信息和长距离依存关系。     

融合GRU和注意力机制的图卷积关系抽取

实体关系抽取在自然语言处理中十分重要,针对图卷积网络中特征提取不准确,循环神经网络梯度模糊等问题,提出了一种融合门控循环单元（GRU）和注意力机制的图卷积关系抽取模型。通过加入双向GRU对输入的上下文信息进行处理,获得更为细致的特征以此对长期依赖信息进行学习,并进一步利用多头注意力机制对不同类型的边与节点进行权重分配,过滤多余信息,增强节点间的关联性,最后利用图卷积得到最终的关系抽取结果。针对SemEval-2010Task8和SemEval-2010Task4数据集中对其进行测试,实验表明该方法提高了其F1值,能够实现关系的有效提取。     

基于字词联合表示的中文事件检测方法

事件检测作为事件抽取的一个子任务,是当前信息抽取的研究热点之一。它在构建知识图谱、问答系统的意图识别和阅读理解等应用中有着重要的作用。与英文字母不同,中文中的字在很多场合作为单字词具有特定的语义信息,且中文词语内部也存在特定的结构形式。根据中文的这一特点,文中提出了一种基于字词联合表示的图卷积模型JRCW-GCN(Joint Representation of Characters and Words by Graph Convolution Neural Network),用于中文事件检测。JRCW-GCN首先通过最新的BERT预训练语言模型以及Transformer模型分别编码字和词的语义信息,然后利用词和字之间的关系构建对应的边,最后使用图卷积模型同时融合字词级别的语义信息进行事件句中触发词的检测。在ACE2005中文语料库上的实验结果表明,JRCW-GCN的性能明显优于目前性能最好的基准模型。     

知识图谱嵌入技术研究综述

知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术.知识图谱嵌入(KGE)作为一种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的向量空间中,用来简化操作,同时保留KG的固有结构.可以使得多种下游任务受益,例如KG补全和关系提取等.首先对现有的知识图谱嵌入技术进行全面回顾,不仅包括使用KG中观察到的事实进行嵌入的技术,还包括添加时间维度的动态KG嵌入方法,以及融合多源信息的KG嵌入技术.对相关模型从实体嵌入、关系嵌入、评分函数等方面进行分析、对比与总结.然后简要介绍KG嵌入技术在下游任务中的典型应用,包括问答系统、推荐系统和关系提取等.最后阐述知识图谱嵌入面临的挑战,对未来的研究方向进行展望.     

基于BERT的心血管医疗指南实体关系抽取方法

实体关系抽取是医疗领域知识问答、知识图谱构建及信息抽取的重要基础环节之一。针对在心血管专病知识图谱构建的过程中尚无公开数据集可用的情况,收集了心血管疾病领域的医疗指南并进行相应的实体和关系类别的专业标注,构建了心血管专病知识图谱实体关系抽取的专业数据集。基于该数据集,首先提出双向变形编码器卷积神经网络（BERT-CNN）模型以实现中文语料中的关系抽取,然后根据中文语义中主要以词而不是字为基本单位的特性,提出了改进的基于全词掩模的双向变形编码器卷积神经网络（BERT（wwm）-CNN）模型用于提升在中文语料中关系抽取的性能。实验结果表明,改进的BERT（wwm）-CNN在所构建的关系抽取数据集上准确率达到0.85,召回率达到0.80,F₁值达到0.83,优于对比的基于双向变形编码器长短期记忆网络（BERT-LSTM）模型和BERT-CNN模型,验证了改进网络模型的优势。     

煤矿事故案例命名实体识别方法研究

命名实体识别是自然语言处理的一项重要技术,也是问答系统、句法分析、机器翻译等下游工作的基本任务.煤矿事故案例命名实体识别是构建煤矿安全生产知识图谱的关键环节,其效率和准确率直接影响后期知识图谱的质量.针对传统命名实体识别方法训练时间长、识别率低的问题及煤矿事故案例的描述特点,以自构的标注语料集CoalMineCorpu...     

面向招投标领域的远程监督实体关系抽取研究

招投标网站资源中蕴含着丰富的情报信息。“远程监督”方法借助知识库自动标注数据,弥补了传统信息抽取方法在语料准备阶段对人工强依赖的缺陷,可有效提高信息抽取效率。该方法会引入噪声数据,导致信息抽取效果不够理想。因此,提出一种基于因子图模型的远程监督实体关系抽取方法,并结合领域特征,采用知识融合技术提高实体抽取质量,进而针对远程监督的缺陷提出基于负例数据学习的降噪方法。实验结果表明,该方法能够有效减少“噪声”干扰,提高关系抽取性能。     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于知识图谱的中文地址匹配方法研究

随着信息技术的迅猛发展,建设新型高效智慧型城市已成为趋势。智慧城市中有大量以地理信息为基础的应用场景,如在城市规划建设、城市便民生活服务、城市细化管理等都离不开地理信息。由于中文地址的复杂性与人工输入的不确定性,地址数据不规范性、不一致、不明确现象给业务系统之间与内部带来了很多困难。急需优秀的中文地址匹配方法。现有的匹配方法仅从地址文字出发进行匹配,而忽略地址作为一个实体蕴含着丰富的地理知识,这些知识可以有效地协助匹配过程,由此,提出注意力知识图谱的中文地址匹配方法,从而解决复杂中文地址匹配准确率低的问题。通过对传统的标准地址库进行地址分词以及特征抽取,建立标准地址知识图谱与POI知识图谱;采用基于选择注意力机制的知识图谱关系抽取方法来进行对地址的特征提取,从而进行地址分类;通过计算知识图谱实体相似度,从而进行非标中文地址的地址匹配。实验结果表明,该方法较基于Jaccard相似度的地址匹配方法、基于动态规划的地址匹配方法、基于Sorensen Dice的全文检索地址匹配方法和基于bert4keras预训练模型的地址匹配方法准确率分别提高了11.05%、15.30%、11.05%、0.95%,有效对复杂中文地址进行匹配。     

基于卷积神经网络的中文医疗弱监督关系抽取

随着医疗领域受到越来越多的关注,自然语言处理的理论和应用逐渐拓展到该领域,其中信息抽取技术在该领域的应用成为研究热点。针对信息抽取技术在医疗领域实体关系抽取中的应用,提出一种基于卷积神经网络的弱监督关系抽取方法。该方法通过添加人工规则使训练语料带有实体关系标签,然后将该弱关系训练语料转换为向量特征矩阵,并输入到卷积神经网络进行分类模型训练,最终实现实体关系抽取。实验结果表明,该方法比常规机器学习方法更加准确高效。     

基于头实体注意力的实体关系联合抽取方法

实体关系抽取是构建大规模知识图谱及各种信息抽取任务的关键步骤。基于预训练语言模型,提出基于头实体注意力的实体关系联合抽取方法。该方法采用卷积神经网络（CNN）提取头实体关键信息,并采用注意力机制捕获头实体与尾实体之间的依赖关系,构建了基于头实体注意力的联合抽取模型（JSA）。在公共数据集纽约时报语料库（NYT）和采用远程监督方法构建的人工智能领域数据集上进行实验,所提模型的F1值相较于级联二元标记框架（CasRel）分别获得了1.8和8.9个百分点的提升。