面向中文成语的阅读理解方法研究

在自然语言处理领域,全局注意力机制通过考虑编码器的所有隐藏状态来捕获信息,从而帮助预测结果.然而在理解汉语成语这种复杂的语言现象时,模型往往会因特定语境的干扰而产生错误的决定和认知.因此,为了使模型更好地感知成语在不同语境下的语法功能,该文提出了一种增强型的全局注意力机制,通过对每个位置空间产生额外的注意因子来调整原始...     

面向多类型问题的阅读理解方法研究

机器阅读理解是基于给定文本,自动回答与文本内容相关的问题。针对此任务,学术界与工业界提出多个数据集与模型,促使阅读理解取得了一定的进步,但提出的模型大多只是针对某一类问题,不能满足现实世界问题多样性的需求。因此,该文针对阅读理解中问题类型多样性的解答展开研究,提出一种基于Bert的多任务阅读理解模型,利用注意力机制获得丰富的问题与篇章的表示,并对问题进行分类,然后将分类结果用于任务解答,实现问题的多样性解答。该文在中文公共阅读理解数据集CAIL2019-CJRC上对所提模型进行了实验,结果表明,系统取得了比所有基线模型都要好的效果。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

基于BERT和题干要素语义增强的高考阅读理解自动答题

高考阅读理解试题因其语言复杂度高和自动答题难度大,已成为机器阅读理解领域一项具有挑战性的任务。现有的答题方法普遍关注选项与材料的语义相似性,易于忽视题干信息对正确答案的要求,基于此,提出一种基于BERT与题干要素语义增强的高考阅读理解自动答题方法。通过构建问题模板的方式获取题干关键要素信息并生成问题标签;通过改写题干内容统一题干要求;将问题标签与BERT模型相结合完成答案选择。在高考数据集上的实验结果表明,该方法比多个典型的机器阅读理解基线模型取得了更好的效果。     

面向垂直领域的阅读理解数据增强方法

阅读理解问答系统是利用语义理解等自然语言处理技术,根据输入问题,对非结构化文档数据进行分析,生成一个答案,具有很高的研究和应用价值。在垂直领域应用过程中,阅读理解问答数据标注成本高且用户问题表达复杂多样,使得阅读理解问答系统准确率低、鲁棒性差。针对这一问题,该文提出一种面向垂直领域的阅读理解问答数据的增强方法,基于真实用户问题,构造阅读理解训练数据,一方面降低标注成本,另一方面增加训练数据多样性,提升模型的准确率和鲁棒性。该文用汽车领域数据对本方法进行实验验证,其结果表明,该方法对垂直领域中阅读理解模型的准确率和鲁棒性均得到有效提升。     

高考语文阅读理解自动答题系统

机器阅读理解任务需要机器理解篇章并回答相关问题,是许多应用系统中的一项核心任务。该文面向高考语文中的现代文阅读理解文本语义表示、候选句抽取、鉴赏分析等关键技术展开研究,针对选择题、问答题等构建了相应的答题引擎,并在高考真题及测试题上,对系统进行了实验验证与错误分析,实验结果表明,该文所构建的系统能够在一定程度上解答问题。未来将围绕语义表示、知识的统一表征与知识聚合、迁移学习等前沿技术,提升阅读理解系统的复杂综合推理能力、概括分析能力、语言鉴赏能力。     

面向高考语文阅读理解的篇章标题选择研究

高考语文阅读理解篇章标题选择题要求机器根据对篇章内容的理解,从多个候选项中选取能够准确恰当的概括表达篇章内容的选项。标题往往是高度凝练且能准确表达文意、结构鲜明的词串。因此,如何对篇章内容进行归纳概括、对标题结构进行梳理和分析是解答篇章标题选择题的关键。针对该问题,提出了标题与篇章要点相关性分析模型。该模型通过分析标题与篇章要点的相关性,构建了基于标题和篇章要点的相关度矩阵。在此基础上融入标题结构特征,选取与篇章最相关的标题。在全国近10年高考真题和测试题上进行实验,验证了该方法的有效性。     

试论大学英语阅读理解方法

H.G.Widdowson将阅读理解问题分为用法指称问题和应用推理问题,本文通过分析学生的阅读试卷,发现学生理解应用推理问题的能力很低,因为他们在阅读的过程中往往只注重吸取信息而忽略了主次内容的辨别。因此,作者建议立足语篇,用识别法来理解推理性问题。     

面向阅读理解的句子组合模型

阅读理解任务需要综合运用文本的表示、理解、推理等自然语言处理技术。针对高考语文中文学作品阅读理解的选项题问题,提出了基于分层组合模式的句子组合模型,用来实现句子级的语义一致性计算。首先,通过单个词和短语向量组成的三元组来训练一个神经网络模型;然后,通过训练好的神经网络模型来组合句子向量（两种组合方法：一种为递归方法;另一种为循环方法）,得到句子的分布式向量表示。句子间的一致性利用两个句子向量之间的余弦相似度来表示。为了验证所提方法,收集了769篇模拟材料+13篇北京高考语文试卷材料（包括原文与选择题）作为测试集。实验结果表明,与传统最优的基于知网语义方法相比,循环方法准确率在高考材料中提高了7.8个百分点,在模拟材料中提高了2.7个百分点。     

面向鲁棒性增强的多任务机器阅读理解

目前抽取式机器阅读理解已经取得了很好的成果。然而,许多研究工作表明,机器阅读理解模型在过敏感性、过稳定性等方面的鲁棒性还有待提高。为了解决该问题,提出了一种面向鲁棒性增强的多任务抽取式阅读理解模型,加强模型在篇章和问题2方面的理解能力。通过多任务学习方式,将答案抽取作为主要任务,证据句判断和问题分类作为辅助任务,实现编码器之间的信息共享。在鲁棒性测试集上的实验结果表明,所提模型对比基线模型有明显的性能提升。     

基于数据增强的高考阅读理解自动答题研究

机器阅读理解是自然语言处理领域中的一项重要研究任务,高考阅读理解自动答题是近年来阅读理解任务中的又一挑战。目前高考语文阅读理解任务中真题和模拟题的数量相对较少,基于深度学习的方法受到实验数据规模较小的限制,所得的实验结果相比传统方法无明显优势。基于此,该文探索了面向高考语文阅读理解的数据增强方法,结合传统的EDA数据增强思路提出了适应于高考阅读理解的EDA策略,针对阅读材料普遍较长的特征提出了基于滑动窗口的材料动态裁剪方式,围绕材料中不同句子的重要性差异明显的问题,提出了基于相似度计算的材料句质量评价方法。实验结果表明,三种方法均能提升高考题阅读理解自动答题的效果,答题准确率最高可提升5个百分点以上。     

基于框架语义的高考语文阅读理解答案句抽取

高考语文阅读理解问答相对普通阅读理解问答难度更大,问句抽象表述的理解需要更深层的语言分析技术,答案候选句抽取更注重与问句的关联分析,答案候选句排序更注重答案句之间的语义相关性。为此,该文提出借助框架语义匹配和框架语义关系抽取答案候选句,在排序时引入流形排序模型,通过答案句之间的框架语义相关度将排序分数进行传播,最终选取分数较高的Top-4作为答案句。在北京近12年高考语文阅读理解问答题上的准确率与召回率分别达到了53.65%与79.06%。     

基于预训练模型的机器阅读理解研究综述

近年来深度学习技术不断进步,随着预训练模型在自然语言处理中的应用与发展,机器阅读理解不再单纯地依靠网络结构与词嵌入相结合的方法。预训练语言模型的发展推动了机器阅读理解的进步,在某些数据集上已经超越了人类的表现。简要介绍机器阅读理解以及预训练语言模型的相关概念,综述当下基于预训练模型的机器阅读理解研究进展,对目前预训练模型在相关数据集上的性能进行分析,总结了目前存在的问题并对未来进行展望。     

阅读理解中观点类问题的扩展研究

在高考语文阅读理解中,观点类问题中的观点表达较为抽象,为了从阅读材料中获取与问题相关的答案信息,需要对问题中的抽象词语进行扩展,达到扩展观点类问题的目的。该文提出了基于多任务层级长短时记忆网络(Multi-HLSTM)的问题扩展建模方法。首先将阅读材料与问题进行交互注意,同时建模问题预测和答案预测两个任务,使模型对问题进一步扩展。最后将扩展后的问题与原问题同时应用于问题的答案候选句抽取中。通过在高考语文观点类的真题、模拟题以及DuReader的描述观点类数据集上进行实验,验证了本文的问题扩展模型对答案候选句的抽取性能具有一定的提升作用。     

利用模式及语言学特征提高阅读理解性能

阅读理解(reading comprehension,RC)任务的目的在于理解一篇文档并对提出的问题返回答案句.提出了一种充分利用外部资源来提高RC系统性能的方法,使得RC系统性能在Remedia和ChungHwa两种语料上均得到提高.特别地,在对基于Remedia语料RC系统的性能分析表明,24.1%的性能提高归因于基于Web的答案模式匹配的运用,11.1%的性能提高归因于语言学特征匹配策略运用.同时也进行了t-test,结果表明答案模式匹配、语言学特征匹配和词汇语义关联推理的运用所得到的性能提高是显著的.