背景知识在自动分词和篇章理解中的应用

自然语言理解可以分为五个层次；单词、短评、句子、段落和篇章，每层次都与其它层次相关联，背景知识包含了所有层次的语言元素及其在实际环境中的使用，本文着重讨论了背景知识在汉语自动分词和基于语义关联的篇章理解。     

面向篇章理解的分布式知识处理系统

采用分布式知识处理方法求解自然语言篇章理解问题是人工智能领域中重要的研究课题,本文论述一个面向篇章理解的分布式知识处理系统——DKPS/TH-2,首先介绍体系结构,然后详细讨论所采用的问题求解方法、分解分布算法、协作通信策略、知识库及管理机制,最后通过初步试验对系统做出评价。     

基于事件表示的机器阅读理解模型

要真正理解一段语篇,在阅读理解过程对原文主旨线索的把握是非常重要的。针对机器阅读理解中主旨线索类型的问题,提出了基于事件表示的机器阅读理解分析方法。首先,通过线索短语从阅读材料中抽取篇章事件图,其中包括事件的表示、事件要素的抽取和事件关系的抽取等;然后,综合考虑事件的时间要素、情感要素以及每个词在文档中的重要性,采用TextRank算法选出线索相关的事件;最后,依据所选出的线索事件构建问题的答案。在收集了339道线索类题组成的测试集上,实验结果表明所提方法在BLEU和CIDEr评价指标上与基于TextRank算法的句子排序方法相比均有所提升,具体来说,BLEU-4指标提升了4.1个百分点,CIDEr指标提升了9个百分点。     

一种文本理解的知识表示方法

对自然语言文本的理解, 应该把它与一定的情境联系起来。本文正是基于这样的思想, 讨论了一个文本所描述的事物及其有关情境是如何在机内表示的。     

利用外部知识辅助和多步推理的选择题型机器阅读理解模型

选择题型机器阅读理解的答案候选项往往不是直接从文章中抽取的文本片段,而是对文章内容中相关片段的归纳总结、文本改写或知识推理,因此选择题型机器阅读理解的问题通常需要从给定的文本中甚至需要利用外部知识辅助进行答案推理.目前选择题型机器阅读理解模型大多数方法是采用深度学习方法,利用注意力机制对文章、问题和候选项这三者的信息进行细致交互,从而得到融合三者信息的表示进而用于答案的预测.这种方式只能利用给定的文本进行回答,缺乏融入外部知识辅助,因而无法处理需外部知识辅助推理的问题.为了解决需外部知识辅助推理的问题,本文提出了一个采用外部知识辅助多步推理的选择题型机器阅读理解模型,该模型首先利用注意力机制对文章、问题和候选项及与这三者相关的外部知识进行信息交互建模,然后采用多步推理机制对信息交互建模结果进行多步推理并预测答案.本文在2018年国际语义测评竞赛（SemEval）中任务11的数据集MCScript上进行对比实验,实验结果表明本文提出的方法有助于提高需要外部知识辅助的选择题型问题的准确率.     

基于自适应知识选择的机器阅读理解

目前针对知识增强机器阅读理解的研究主要集中在如何把外部知识融入现有的机器阅读理解模型,却忽略了对外部知识的来源进行选择。该文首先基于注意力机制对外部知识进行编码,然后对不同来源的外部知识编码进行打分,最后自适应地选择出对回答问题最有帮助的知识。与基线模型相比,该文提出的基于自适应知识选择的机器阅读理解模型在准确率上提高了1.2个百分点。     

自然语言篇章理解及基于理解的自动文摘研究

我们对文章结构进行了介析, 研究语言单位间的意义相关性, 基于这种相关性,提出意义分析方法, 并给出篇章的意义表示。最后, 分析了自动文摘研究现状, 介绍了我们在这方面的研究情况。     

基于宏观语义表示的宏观篇章关系识别方法

宏观篇章分析旨在分析相邻段落或段落群之间的语义联系,是自然语言处理领域其他任务的工作基础。该文研究了宏观篇章分析中的关系识别问题,提出了一个宏观篇章关系识别模型。该模型利用基于词向量的宏观篇章语义表示方法和适用于宏观篇章关系识别的结构特征,从两个层面提高了模型分辨宏观篇章关系的能力。在汉语宏观篇章树库(MCDTB)上的实验表明,该模型在大类分类中F₁值达到了68.22%,比基准系统提升了4.17%。     

基于领域的自然语言篇章理解的实现方法

介绍了一种应用于知识系统的基于领域的自然语言理解篇章理解的实现方法.该方法的核心是聚类和关联,本质上是关注概念和概念间的关联.以本体作为知识表示的方法,通过对基本概念的聚类,把底层离散的概念进行初步的集中,再通过分析底层概念间的相互关联,把整个篇章中的基本概念都联系起来,得到一个篇章层次上的本体模型.     

融合因果关系表征的阅读理解因果关系类选项判断

阅读理解因果关系类选项是指存在因果线索词的选项,此类选项需要根据原文中的因果关系表征进行作答。基于高考阅读理解任务构建因果关系网络,提出融合因果关系表征的因果关系类选项判断方法。采用模式匹配方法抽取原文的因果句对,根据文章因果句对抽取出因果关系词对,并通过点互信息计算因果关系词对之间的因果关联强度,从而构建因果关系网络来表征原文的因果关系。在此基础上,将因果关系表征融入到BERT模型中,预测因果关系选项和原文是否一致。同时,根据高考阅读理解大纲结合语料库发现错误类型分为因果颠倒、强加因果、偷换原因或结果、其他类型等4类,根据每一种错误类型的特点结合预测结果确定选项的错误类型,并提供一个错误解释,以增强方法的可解释性。选用近15年全国高考试题及模拟题中的4 071个科技类阅读理解因果选项进行实验,结果显示F1值达到62.09%,验证了该方法的有效性。     

基于神经网络的机器阅读理解综述

机器阅读理解的目标是使机器理解自然语言文本,并能够正确回答与文本相关的问题.由于数据集规模的制约,早期的机器阅读理解方法大多基于人工特征以及传统机器学习方法进行建模.近年来,随着知识库、众包群智的发展,研究者们陆续提出了高质量的大规模数据集,为神经网络模型以及机器阅读理解的发展带来了新的契机.对基于神经网络的机器阅读理解相关的最新研究成果进行了详尽的归纳:首先,概述了机器阅读理解的发展历程、问题描述以及评价指标;然后,针对当前最流行的神经阅读理解模型架构,包括嵌入层、编码层、交互层和输出层中所使用的相关技术进行了全面的综述,同时阐述了最新的BERT预训练模型及其优势;之后,归纳了近年来机器阅读理解数据集和神经阅读理解模型的研究进展,同时,详细比较分析了最具代表性的数据集以及神经网络模型;最后展望了机器阅读理解研究所面临的挑战和未来的研究方向.     

基于混合知识表示的专家系统设计

论述了混合知识表示的重要性,介绍了知识表示应具备的性质和基本原则,运用混合知识表示方法设计了切屑折断过程与槽型ＣＡＤ专家系统。     

TransformerG:基于层级图结构与文本注意力机制的法律文本多跳阅读理解

该文针对Cail2020法律多跳机器阅读理解数据集进行研究,提出了TransformerG,一个基于不同层级的实体图结构与文本信息的注意力机制融合的多跳阅读理解模型。该模型有效地结合了段落中问题节点、问题的实体节点、句子节点、句中的实体节点的特征与文本信息的特征,从而预测答案片段。此外,该文提出了一种句子级滑动窗口的方法,有效解决在预训练模型中文本过长导致的截断问题。利用TransformerG模型参加中国中文信息学会计算语言学专委会(CIPS-CL)和最高人民法院信息中心举办的“中国法研杯”司法人工智能挑战赛机器阅读理解赛道,取得了第2名的成绩。     

基于BiDAF多文档重排序的阅读理解模型

随着互联网的兴起和发展,数据规模急速增长,如何利用机器阅读理解技术对海量的非结构化数据进行解析,从而帮助用户快速、准确地查找到满意答案,是目前自然语言理解领域中的一个热门课题。该文通过对机器阅读理解中的深度神经网络模型进行研究,构建了RBiDAF模型。首先,通过对DuReader数据集进行数据探索,并对数据进行预处理,从中提取出有利于模型训练的特征。其次在BiDAF模型的基础上提出了基于多文档重排序的RBiDAF机器阅读理解模型,该模型在BiDAF模型四层网络框架的基础上添加了ParaRanking层。其中在ParaRanking层,该文提出了多特征融合的ParaRanking算法,此外在答案预测层,提出了基于先验知识的多答案交叉验证算法,进而对答案进行综合预测。在“2018机器阅读理解技术竞赛”的最终评测中,该模型表现出了不错的效果。     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

融合序列和图结构的机器阅读理解

机器阅读理解是自然语言处理中的一项重要而富有挑战性的任务.近年来,以BERT为代表的大规模预训练语言模型在此领域取得了显著的成功.但是,受限于序列模型的结构和规模,基于BERT的阅读理解模型在长距离和全局语义构建的能力有着显著缺陷,影响了其在阅读理解任务上的表现.针对这一问题,该文提出一种融合了序列和图结构的机器阅读理...     

基于机器阅读理解模型与众包验证的属性值抽取方法

由于互联网语料的高噪音特性,传统的属性值抽取方法存在人工成本增加及训练集缺乏等问题。提出一种新的实体属性值抽取方法。利用机器阅读理解模型,从互联网语料中抽取出高质量的候选属性值,通过高效的众包验证机制调整各候选属性值的权重,得到最终抽取结果。实验结果表明,与OpenTag、QANET等模型相比,该机器阅读理解模型有效提升了候选属性值抽取的准确性,抽取准确率提升10%左右,同时通过众包验证方法,能够以较低的众包成本提高属性值抽取的整体性能。