自然语言句子抽象语义表示AMR研究综述

句子的语义处理是自然语言处理的重要难题与挑战。抽象语义表示(Abstract meaning representation, AMR)是近几年国际上新兴的句子级语义表示方法,突破了传统的句法树结构的限制,将一个句子语义抽象为一个单根有向无环图,很好地解决了论元共享问题,成为语言资源建设和句子语义解析的研究热点。本文从AMR概念与规范、解析算法和应用等方面对AMR相关研究进行系统的梳理,特别对AMR的各种解析算法进行了比较深入的分析和比较,指出了现有算法存在的问题和不足,同时介绍了中文AMR的开发进展,最后展望了AMR未来的研究方向。     

基于动态句法剪枝机制的中文语义角色标注

语义角色标注（Semantic Role Labeling,SRL）旨在识别给定句子中所包含的谓词及对应的语义论元,从而为信息抽取、自动问答和阅读理解等任务的语义理解提供帮助．构建句法特征作为实现语义角色标注任务的关键步骤,在很大程度上影响着任务的性能．针对现有的神经网络模型未能有效构建句法特征,例如现有研究采取离线式的人工定式句法裁剪方案,不可避免地造成关键句法信息丢失或者裁剪效果减弱等问题,本文提出基于动态句法剪枝机制的端到端神经网络模型,并将其用于中文语义角色标注任务．具体地,我们提出两种创新的动态句法剪枝机制：基于递归神经网络模型的动态句法剪枝机制（Recur-DSP）和基于带句法标签的图卷积网络模型的句法剪枝机制（SGCN-DSP）.Recur-DSP采用递归神经网络模型进行句法结构编码与融合,并对句法树的每一个连接处通过Gumbel-Softmax函数离散化实现动态句法裁剪．SGCN-DSP采用图卷积神经网络模型为句法依存树的依存弧结构以及对应的标签进行统一建模,并提出对应的动态句法裁剪机制．在基准数据集上的实验结果显示所提方法超过当前的最好模型,获得当前中文语义角色标注的...     

抽象语义表示解析方法研究综述

句子级语义分析是自然语言处理(NLP)的核心任务,面临复杂语义的表示问题。抽象语义表示(AMR)突破浅层局限,实现了领域无关的整句通用语义表示,具备准确表征句子完整语义的能力。因为AMR解析效果会影响下游NLP任务的表现,所以解析方法成为近年的国内外研究热点。由于时效性因素,既有AMR综述未涉及新涌现的解析方法,亟需深度聚焦其前沿文献。该文首先采用CiteSpace工具分析了AMR的总体研究情况。相比英文AMR解析研究,中文AMR解析研究成果数量相对较少,尚有较大的发展空间。进而分析了AMR语料库发展和AMR解析面临的概念和概念关系识别、对齐以及融入结构信息等问题。根据不同的解析策略将解析方法分为4类,以问题为驱动,剖析了各类AMR解析方法的演进。最后,选择21个英文AMR解析器、7个中文AMR解析器,比较分析Smatch等各项实验指标。归纳实验结果发现,现有模型在学习复杂多语义关系方面亟待加强。该文通过理论和实证分析为研究者提供AMR解析方法的发展脉络和研究思路。     

融合源端句法和语义角色信息的AMR解析

序列到序列(seq2seq)的框架可以应用到抽象语义表示(AMR)解析任务中,把AMR解析当作一个从源端句子到目标端AMR图的翻译任务。然而,以前的工作通常把源端句子表示为一个单词序列,忽略了句子内部潜藏的句法和语义角色信息。基于seq2seq框架,该文提出了一个直接而有效的融合句法和语义角色信息的AMR解析方法。实验结果表明,该文的方法在AMR英文标准数据集上取得了6.7%的显著提升。最后,该文从多个角度深入分析了源端的句法和语义角色信息是如何对AMR解析提供帮助的。分析表明,词性信息和subword技术对AMR解析性能提升的贡献最大,上层句法和语义角色信息次之。     

融合语义解析的知识图谱表示方法

为解决大多数知识图谱表示学习模型仅使用三元组信息的问题,提出融合语义解析的知识图谱表示模型BERT-PKE.模型利用实体和关系的文本描述,通过BERT的双向编码表示进行语义解析,深度挖掘语义信息.由于BERT训练代价昂贵,提出一种基于词频和k近邻的剪枝策略,提炼选择文本描述集.此外,由于负样本的构造影响了模型的训练,提出2种改进随机抽样的策略：一种是基于实体分布的负采样方法,以伯努利分布概率来选择替换的实体,该方法可以减少负采样引起的伪标记问题;另一种是基于实体相似性负采样方法,首先用TransE将实体嵌入到向量空间,使用k-means聚类算法将实体进行分类.通过同簇实体的相互替换可获得高质量的负三元组,有利于实体的特征学习.实验结果表明,所提出BERT-PKE模型与TransE,KG-BERT,RotatE等相比,性能有显著提升.     

一种基于词对齐的中文深层语义解析模型

语义解析是指将自然语言句子转化成便于机器理解和推理的意义形式。近年来英文语义解析的研究取得了很大进展。然而,中文语义解析的相关工作则相对较少。中文和英文之间存在一定的差异,适用于英文的语义解析方法不一定适合中文。因此,针对中文的语言特点,提出一种基于词对齐的中文语义解析方法,将中文句子转化成其相应的意义表示看作是一个机器翻译的过程。首先将英文语义解析方法中常用的训练数据集GEOQUERY转化成中文数据集,数据集中每条训练数据包括一个中文句子及其正确的意义表示。然后利用词对齐模型来获取由中文自然语言字符串及其相应的意义表示所组成的双语词典。最后通过学习一个概率估计模型来确定最终的语义解析模型。实验结果表明,WACSP有较高的精确度和覆盖率。     

自然语言处理中的语义关系与句法模式互发现*

在国家科技基础条件平台中如何建设汉语字词之间的语义关系库,并且利用初始的语义关系库自动获取句法模式和新的关系。使用了句法模式的概念,并提出了利用已有关系发现新模式、利用已有模式发现新关系的方法,创造性地设计相关模型并实现了一个中文语义关系知识库系统。利用此系统结合自然语言处理相关技术,从搜狗语料库和百度百科页面文件中大规模自动化获取了有效关系200多个,并从中提取了继承、同义等有效的新关系1 000多条。实验证明其效率达到约40%,主要取决于关系中查询词的距离取值和语料库本身的性质。     

基于依存句法的中文语义模型及语义提取方法

意图识别与槽填充是语义提取的常用方法,其存在如下两个问题：依赖训练数据,需要标注大量的数据用于训练模型;可迁移性差,训练得到的模型难以复用。针对上述问题,该文对于不同的语义提取场景,提出了四种不同的语义模型。同时,该文研究了汉语语法的特点,基于依存句法,提出了不同的语义提取算法,解决了模型难以复用的问题。该方法对数据集的要求较低,节省了成本。最后,设计了语义提取实验,验证了在样本规模小且分布不均匀的数据集下,语义提取算法相比于部分中文文本分类算法有更高的准确率。该文提出的模型和算法具有一般性,对于文本分类、人机对话等不同语义提取场景具有较强的指导意义。     

第二届中文抽象语义表示解析评测

抽象语义表示是近年来国内外句子语义解析领域的研究热点,国际上已举办了CoNLL2019和CoNLL2020两届跨语言的评测。中文抽象语义表示评测是CoNLL2020的五大任务之一,取得了接近英语的解析效果,但是评测数据和评测指标仍有较大改进空间。为了推动中文抽象语义解析研究,该文在第二十一届中国计算语言学大会技术评测任务研讨会上组织了第二届评测,以新设计的Align-smatch指标为排名标准,采用改进的语义标注方案和标注语料库来进行评测。在基础测试集上,封闭模式的最高F₁值为80.00%;盲测集上的表现则相比基础测试集下降了7个百分点左右。本次评测的最佳结果在MRP指标下比上届提高了2.66个百分点。统计发现,整体性能提升主要来源于概念之间的语义关系预测准确率的提高,而语义关系的对齐还有待提升。     

面向中间语义表示格式的汉语口语解析方法

口语解析在人机对话系统和口语翻译系统中的作用是十分关键的。本文提出了一种统计和规则相结合的汉语口语解析方法,解析结果是一种中间语义表示格式。该方法分为两个阶段。首先,采用统计方法,解析出输入句子的语义信息,然后,利用规则,将这些语义信息映射到中间语义表示格式。试验证明,此方法具有较强的鲁棒性,而且避免了完全用规则方法解析的一些弊端,达到较高的解析正确率。     

知识感知的预训练语言模型综述

随着自然语言处理（NLP）领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。     

面向自然语言处理任务的预训练模型综述

近年来,深度学习技术得到了快速发展.在自然语言处理(NLP)任务中,随着文本表征技术从词级上升到了文档级,利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能.首先,根据文本特征提取技术的发展,从词级和文档级对典型的模型进行了分析;其次,从预训练目标任务和下游应用两个阶段,分析了当前预训练模...     

Learning deep representations for semantic image parsing: a comprehensive overview

Semantic image parsing, which refers to the process of decomposing images into semantic regions and constructing the structure representation of the input, has recently aroused widespread interest in the field of computer vision. The recent application of deep representation learning has driven this field into a new stage of development. In this paper, we summarize three aspects of the progress of research on semantic image parsing, i.e., category-level semantic segmentation, instance-level semantic segmentation, and beyond segmentation. Specifically, we first review the general frameworks for each task and introduce the relevant variants. The advantages and limitations of each method are also discussed. Moreover, we present a comprehensive comparison of different benchmark datasets and evaluation metrics. Finally, we explore the future trends and challenges of semantic image parsing.     

知识图谱构建技术综述

知识图谱在医疗、金融、农业等领域得到快速发展与广泛应用,其可以高效整合海量数据的有效信息,为实现语义智能化搜索以及知识互联打下基础。随着深度学习的发展,传统基于规则和模板的知识图谱构建技术已经逐渐被深度学习所替代。梳理知识抽取、知识融合、知识推理3类知识图谱构建技术的发展历程,重点分析基于卷积神经网络、循环神经网络等深度学习的知识图谱构建方法,并归纳现有方法的优劣性与发展思路。此外,深度学习虽然在自然语言处理、计算机视觉等领域取得了较大成果,但自身存在依赖大规模样本、缺乏推理性与可解释性等缺陷,限制了其进一步发展。为此,对知识图谱应用于深度学习以改善深度学习自身缺陷的相关方法进行整理,分析深度学习的可解释性、指导性以及因果推理性,归纳知识图谱的优势以及发展的必要性。在此基础上,对知识图谱构建技术以及知识图谱应用于深度学习所面临的困难和挑战进行梳理和分析,并对该领域的发展前景加以展望。     

基于社交图谱模型的虚假评论识别

为了改善电商虚假评论自动识别的效果,首先从传统的监督学习方法入手对网上商品评论的真实性进行判断,进而提出了利用社交图谱识别虚假评论。这种方法基于一种假设,就是同类用户通常在是否欺骗等行为上有相似性,将其结合传统的分类学习框架进行训练分类,实验结果显示社交图谱的方法能提高5'的识别准确率。     

基于自然语言处理的计算机几何作图

如何将自然语言表述的初等几何命题自动转化为计算机可理解的作图语言是自然语言处理中的空白,也是实现教育软件人机交互的难点。文中通过对几何范围内的受限自然语言的研究,建立了有效可行的语言理解模型,实现了从自然语言到形式化规则的自动转化,并且设计出相应的软件。     

基于矩阵变换的文本风格迁移方法

文本风格迁移一直是自然语言处理(NLP)中的一个研究热点,近年来,随着文本生成方法的发展,越来越多的工作着眼于不成对(non-parallel)文本风格迁移这一任务.这一任务的目标是,利用不包含一一对应句子的两个或多个不同风格的文本集,学习一个迁移模型,实现改变句子的风格的同时保留句子其他的内容.目前针对该任务,已有一些基于生成对抗网络的迁移算法被提出,但是受限于对抗学习本身的训练不稳定,以及对句子的风格和语义的独立性假设本身不合理,这些方法无法高效的学到迁移效果好的模型.在这篇文章中,我们首次从统计学习的角度给出了文本风格的定义—文本集中语义向量的协方差矩阵,在这种新的观点下,文本的风格依赖于所有句子的语义向量.我们随后提出了一种无学习(learning free)迁移方法,我们只需要预训练一个自编码器来得到句子的语义向量,然后对这些向量进行白化和风格化变换,来实现风格迁移.     

自然语言处理在文本情感分析领域应用综述

文本情感分析已经逐渐成为自然语言处理（NLP）的重要内容,并在系统推荐、用户情感信息获取,为政府、企业提供舆情参考等领域越来越占据重要地位。通过文献调研的方式,对情感分析领域的方法进行对比和综述。首先,从时间、方法等维度对情感分析的方法进行文献调研;然后,对情感分析的主要方法、应用场景进行归纳总结和对比;最后,在此基础上分析每种方法的优缺点。根据分析结果可以知道,在面对不同的任务场景,主要有三种情感分析的方法：基于情感字典的情感分析法、基于机器学习的情感分析法和基于深度学习的情感分析法,基于多策略混合的方法成为改进的趋势。文献调研表明,文本情感分析的技术方法还有改进的空间,在电子商务、心理治疗、舆情监控方面有较大市场和发展前景。     

基于深度学习的事件因果关系抽取综述

因果关系抽取是自然语言处理(NLP)中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用.首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽...