MCA-Reader:基于多重联结机制的注意力阅读理解模型

机器阅读理解是当下自然语言处理的一个热门任务,其内容是: 在给定文本的基础上,提出问题,机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向,机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中,注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务,提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式,更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型,在第二届“讯飞杯”中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175,F₁值为88.090,排名第二。     

选择式机器阅读理解综述

机器阅读理解是自然语言处理领域的研究热点之一,对提升机器阅读能力和智能水平有着重要意义,为跟进相关领域的研究进展对其进行综述。首先,介绍机器阅读理解的发展历程及主要任务;其次,重点梳理当前选择式机器阅读理解基于深度学习方法的相关工作,并从语义匹配、预训练模型、语义推理、外部知识四个方面展开叙述;归纳总结了相关数据集以及评价指标;最后,对选择式机器阅读理解的未来发展趋势进行了展望。     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

神经机器阅读模型综述

近年来,随着互联网的高速发展,网络内容安全问题日益突出,是网络治理的核心任务之一。文本内容是网络内容安全最为关键的研究对象,然而自然语言本身固有的模糊性和灵活性给网络舆情监控和网络内容治理带来了很大的困难。因此,如何准确地理解文本内容,是网络内容治理的关键问题。目前,文本内容理解的核心支撑技术是基于自然语言处理的方法。机器阅读理解作为自然语言处理领域中的一项综合性任务,可以深层次地分析、全面地理解网络内容,在网络舆论监测和网络内容治理上发挥着重要作用。近年来,深度学习技术已在图像识别、文本分类、自然语言处理等多个领域中取得显著成果,基于深度学习的机器阅读理解方法也被广泛研究。特别是近年来各种大规模数据集的公开,加快了神经机器阅读理解的发展,各种结合不同神经网络的机器阅读模型被相继提出。本文旨在对神经机器阅读模型进行综述。首先介绍机器阅读理解的发展历史和研究现状;然后阐述机器阅读理解的任务定义,并列举出有代表性的数据集以及神经机器阅读模型;再介绍四种新趋势目前的研究进展;最后提出神经机器阅读模型当前存在的问题,并且分析机器阅读理解如何应用于网络内容治理问题以及对未来的发展趋势进行展望。     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

会话式机器阅读理解综述

机器阅读理解(MRC)是一个受数据集推动的研究领域,其目标是让机器在理解文章内容的基础上能够正确回答相关问题.早期受数据集限制,机器阅读理解任务大多局限于单轮问答,问答对之间缺少依赖关系.而会话问答(ConvQA)是使机器在帮助人类获取信息时可以进行连续主题的人机交互过程.近年来,随着机器阅读理解数据集和深度神经网络的发展,研究人员将机器阅读理解与会话问答结合,形成更为复杂真实的会话式机器阅读理解(CMC),这极大地推动了机器阅读理解领域的发展.对近几年会话式机器阅读理解相关最新研究进展从三方面归纳总结:首先阐述该任务的定义、所面临的挑战以及相关数据集的特性;然后归纳总结当前最新模型的架构及其研究进展,着重介绍会话历史嵌入表示以及会话推理所使用的相关技术方法;最后梳理分析当前会话式机器阅读理解模型,并对未来研究重点和研究方法进行展望.     

面向鲁棒性增强的多任务机器阅读理解

目前抽取式机器阅读理解已经取得了很好的成果。然而，许多研究工作表明，机器阅读理解模型在过敏感性、过稳定性等方面的鲁棒性还有待提高。为了解决该问题，提出了一种面向鲁棒性增强的多任务抽取式阅读理解模型，加强模型在篇章和问题2方面的理解能力。通过多任务学习方式，将答案抽取作为主要任务，证据句判断和问题分类作为辅助任务，实现编码器之间的信息共享。在鲁棒性测试集上的实验结果表明，所提模型对比基线模型有明显的性能提升。     

基于深度学习的中文成语推荐应用

如今深度学习已普遍应用于自然语言处理领域。目前中英文自然语言处理技术已比较成熟,尤其是在机器阅读理解方向上。但是,对于中文成语机器阅读理解的深度研究比较少。针对于中文成语推荐任务,提出了基于对比学习方式的中文成语推荐模型。通过实验结果,证明了该方法可以很好地将候选项中正确选项与错误选项区分开来,在混有同义词与近义词的候选项中得到正确的成语选项。由此表明在该方向上还有进一步研究的广阔空间。     

基于预训练模型的机器阅读理解研究综述

近年来深度学习技术不断进步,随着预训练模型在自然语言处理中的应用与发展,机器阅读理解不再单纯地依靠网络结构与词嵌入相结合的方法。预训练语言模型的发展推动了机器阅读理解的进步,在某些数据集上已经超越了人类的表现。简要介绍机器阅读理解以及预训练语言模型的相关概念,综述当下基于预训练模型的机器阅读理解研究进展,对目前预训练模型在相关数据集上的性能进行分析,总结了目前存在的问题并对未来进行展望。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

基于深度学习的机器阅读理解研究综述

机器阅读理解任务在近年来备受关注,它赋予计算机从文本数据中获取知识和回答问题的能力。如何让机器理解自然语言是人工智能领域长期存在的挑战之一,近年来大规模高质量数据集的发布和深度学习技术的运用,使得机器阅读理解取得了快速发展。基于神经网络的端到端的模型结构,基于预训练语言模型以及推理技术的应用,其性能在大规模评测数据集上有很大提升,但距离真正的理解语言还有较大差距。本文对机器阅读理解任务的研究现状与发展趋势进行了综述,主要包括任务划分、机器阅读理解模型与相关技术的分析,特别是基于知识推理的机器阅读理解技术,总结并讨论了该领域的发展趋势。     

基于问题分解的多跳机器阅读理解模型

多跳机器阅读理解是自然语言处理领域最困难的任务之一,需要在多个段落之间进行推理。多跳机器阅读理解任务中的复杂问题一般由多个简单问题融合而成,可以通过分解复杂问题使模型更好地理解问题。因此,针对复杂多跳问题,提出了一种基于问题分解的多跳阅读理解模型。该模型首先将多跳问题分解为多个单跳问题,然后利用单跳阅读理解模型对其进行求解。将问题分解视作一个阅读理解任务：多跳问题是问题分解的上下文,而包含问题答案的证据段落则是问题。阅读理解任务捕捉了多跳问题和证据段落之间的交互语义信息,可以指导多跳问题中单跳问题的抽取。所提模型的BLEU值和Rouge-L值分别为71.48%和79.29%。实验结果表明,该模型对多跳机器阅读理解是有效的。     

基于神经网络的机器阅读理解综述

机器阅读理解的目标是使机器理解自然语言文本并能够正确回答与文本相关的问题,由于数据集规模的制约,早期的机器阅读理解方法大多基于人工特征以及传统机器学习方法进行建模.近年来,随着知识库、众包群智的发展,研究者们陆续提出了高质量的大规模数据集,为神经网络模型以及机器阅读理解的发展带来了新的契机.本文对基于神经网络的机器阅读理解相关的最新研究成果进行了详尽的归纳.首先,概述了机器阅读理解的发展历程、问题描述以及评价指标;然后,针对当前最流行的神经阅读理解模型架构,包括嵌入层、编码层、交互层和输出层中所使用的相关技术进行了全面的综述,同时阐述了最新的BERT预训练模型及其优势;之后,本文归纳了近年来机器阅读理解数据集和神经阅读理解模型的研究进展,同时详细比较分析了最具有代表性的数据集以及神经网络模型;最后,本文展望了机器阅读理解研究的挑战和未来的研究方向.     

面向机器阅读理解的候选句抽取算法

使机器理解人类自然语言是人工智能在认知领域的终极目标,机器阅读理解是自然语言处理技术中继语音识别、语义理解之后的一大挑战,要求计算机具有一定的背景常识,全面理解给定文本材料,并根据材料内容对相应的问题作答。随着深度学习的快速发展,阅读理解成为当前人工智能的热点研究方向,涉及机器学习、信息检索、语义计算等核心技术,在聊天机器人、问答系统、智能化教育等多个领域具有广泛的应用前景。文中聚焦微阅读模式,根据问题或选项从给定文本材料中抽取包含答案的候选句,缩小推理范围,为进一步实现机器阅读理解提供技术支持。传统基于特征的方法耗费大量人力,文中将答案候选句抽取看成一种语义相关度计算问题,提出了一种答案候选句排序方法,即Att-BiGRU/BiLSTM模型。首先,利用双向长短期记忆和门控循环单元来编码句子中表达的语义信息;其次,设计Atten结构,结合相异性和相似性对语义相关度进行建模;最后,采用Adam算法来学习模型的参数。在SemEval-SICK数据集上的实验结果显示,该模型在测试集上的pearson指标超过了基线方法BiGRU将近0.67,在MSE指标上超过BiGRU方法16.83%,收敛速度更快,表明双向和Atten结构能大大提高候选句抽取的精度。