高考语文阅读理解自动答题系统

机器阅读理解任务需要机器理解篇章并回答相关问题,是许多应用系统中的一项核心任务。该文面向高考语文中的现代文阅读理解文本语义表示、候选句抽取、鉴赏分析等关键技术展开研究,针对选择题、问答题等构建了相应的答题引擎,并在高考真题及测试题上,对系统进行了实验验证与错误分析,实验结果表明,该文所构建的系统能够在一定程度上解答问题。未来将围绕语义表示、知识的统一表征与知识聚合、迁移学习等前沿技术,提升阅读理解系统的复杂综合推理能力、概括分析能力、语言鉴赏能力。     

基于BERT和题干要素语义增强的高考阅读理解自动答题

高考阅读理解试题因其语言复杂度高和自动答题难度大，已成为机器阅读理解领域一项具有挑战性的任务。现有的答题方法普遍关注选项与材料的语义相似性，易于忽视题干信息对正确答案的要求，基于此，提出一种基于BERT与题干要素语义增强的高考阅读理解自动答题方法。通过构建问题模板的方式获取题干关键要素信息并生成问题标签；通过改写题干内容统一题干要求；将问题标签与BERT模型相结合完成答案选择。在高考数据集上的实验结果表明，该方法比多个典型的机器阅读理解基线模型取得了更好的效果。     

基于数据增强的高考阅读理解自动答题研究

机器阅读理解是自然语言处理领域中的一项重要研究任务,高考阅读理解自动答题是近年来阅读理解任务中的又一挑战。目前高考语文阅读理解任务中真题和模拟题的数量相对较少,基于深度学习的方法受到实验数据规模较小的限制,所得的实验结果相比传统方法无明显优势。基于此,该文探索了面向高考语文阅读理解的数据增强方法,结合传统的EDA数据增强思路提出了适应于高考阅读理解的EDA策略,针对阅读材料普遍较长的特征提出了基于滑动窗口的材料动态裁剪方式,围绕材料中不同句子的重要性差异明显的问题,提出了基于相似度计算的材料句质量评价方法。实验结果表明,三种方法均能提升高考题阅读理解自动答题的效果,答题准确率最高可提升5个百分点以上。     

基于小句复合体的中文机器阅读理解研究

机器阅读理解任务要求机器根据篇章文本回答相关问题。该文以抽取式机器阅读理解为例,重点考察当问题的线索要素与答案在篇章文本中跨越多个标点句时的阅读理解问题。该文将小句复合体结构自动分析任务与机器阅读理解任务融合,利用小句复合体中跨标点句话头-话体共享关系,来降低机器阅读理解任务的难度;并设计与实现了基于小句复合体的机器阅读理解模型。实验结果表明,在问题线索要素与答案跨越多个标点句时,答案抽取的精确匹配率(EM)相对于基准模型提升了3.49%,模型整体的精确匹配率提升了3.26%。     

面向阅读理解的多对一中文文本蕴含问题研究

机器阅读理解作为一种微阅读模式近年来在自动问答领域受到广泛关注,针对机器阅读理解中多对一的文本蕴含问题,该文首先构造了8 000级别的多句—单句中文文本蕴含语料M2OCTE,其次采用了层级神经网络模型,有效融合多个句子之间的语义信息,将多对一的蕴含对表达成统一的形式,实现端到端的输出。该方法在高考现代文阅读理解蕴含数据集上的准确率为58.92%,比将多句—单句的文本蕴含转换为单句—单句之后进行处理的准确率要高。同时也在英文数据集上进行了测试,实验结果验证了该方法的有效性。     

基于深度学习的机器阅读理解研究综述

机器阅读理解任务在近年来备受关注,它赋予计算机从文本数据中获取知识和回答问题的能力。如何让机器理解自然语言是人工智能领域长期存在的挑战之一,近年来大规模高质量数据集的发布和深度学习技术的运用,使得机器阅读理解取得了快速发展。基于神经网络的端到端的模型结构,基于预训练语言模型以及推理技术的应用,其性能在大规模评测数据集上有很大提升,但距离真正的理解语言还有较大差距。本文对机器阅读理解任务的研究现状与发展趋势进行了综述,主要包括任务划分、机器阅读理解模型与相关技术的分析,特别是基于知识推理的机器阅读理解技术,总结并讨论了该领域的发展趋势。     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

基于动态图神经网络的会话式机器阅读理解研究

近年来,基于深度学习的机器阅读理解模型研究取得显著进展,但这些模型在全局语义关系构建以及较长距离推理上仍有显著缺陷,在对段落文本进行推理时,大多只把文本信息看作词的序列,而没有探索词与词之间丰富的语义关系。为了解决上述问题,该文提出一种新的基于动态图神经网络的会话式机器阅读理解模型。首先,提取文本中的实体,使用句法结构与句子之间的语义关系进行建模;然后通过语义融合模块,将基于序列化结构得到的上下文嵌入表示与基于图结构得到的实体节点嵌入表示进行融合;最终使用图神经网络实现对答案的预测。同时,该模型可在每轮对话过程中动态地构建问题和会话历史的推理图,能有效地捕捉对话中的语义结构信息和会话历史流程。实验结果表明,在两个最近提出的会话挑战(CoQA和QuAC)上表现了出色的性能。     

MCA-Reader:基于多重联结机制的注意力阅读理解模型

机器阅读理解是当下自然语言处理的一个热门任务,其内容是: 在给定文本的基础上,提出问题,机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向,机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中,注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务,提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式,更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型,在第二届“讯飞杯”中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175,F₁值为88.090,排名第二。     

基于自适应知识选择的机器阅读理解

目前针对知识增强机器阅读理解的研究主要集中在如何把外部知识融入现有的机器阅读理解模型,却忽略了对外部知识的来源进行选择。该文首先基于注意力机制对外部知识进行编码,然后对不同来源的外部知识编码进行打分,最后自适应地选择出对回答问题最有帮助的知识。与基线模型相比,该文提出的基于自适应知识选择的机器阅读理解模型在准确率上提高了1.2个百分点。     

基于框架语义的高考语文阅读理解答案句抽取

高考语文阅读理解问答相对普通阅读理解问答难度更大,问句抽象表述的理解需要更深层的语言分析技术,答案候选句抽取更注重与问句的关联分析,答案候选句排序更注重答案句之间的语义相关性。为此,该文提出借助框架语义匹配和框架语义关系抽取答案候选句,在排序时引入流形排序模型,通过答案句之间的框架语义相关度将排序分数进行传播,最终选取分数较高的Top-4作为答案句。在北京近12年高考语文阅读理解问答题上的准确率与召回率分别达到了53.65%与79.06%。     

基于CFN和篇章主题的概括型问答题的解答

相对于普通阅读理解,高考语文阅读理解难度更大,问句更加抽象,答案候选句的抽取除了注重与问句的相似性分析,还注重对材料内容以及作者的观点的概括归纳。因此该文提出了利用汉语框架网(Chinese FrameNet)抽取与问句语义相似的候选句的方法,通过识别篇章主题(段落主题句和作者观点句),生成与问句相关的内容要点以及作者的观点态度,最终选取top 6作为答案句。在近12年北京市高考真题上进行测试,召回率达到了68.69%,验证了该方法的有效性。     

面向垂直领域的阅读理解数据增强方法

阅读理解问答系统是利用语义理解等自然语言处理技术,根据输入问题,对非结构化文档数据进行分析,生成一个答案,具有很高的研究和应用价值。在垂直领域应用过程中,阅读理解问答数据标注成本高且用户问题表达复杂多样,使得阅读理解问答系统准确率低、鲁棒性差。针对这一问题,该文提出一种面向垂直领域的阅读理解问答数据的增强方法,基于真实用户问题,构造阅读理解训练数据,一方面降低标注成本,另一方面增加训练数据多样性,提升模型的准确率和鲁棒性。该文用汽车领域数据对本方法进行实验验证,其结果表明,该方法对垂直领域中阅读理解模型的准确率和鲁棒性均得到有效提升。     

面向机器阅读理解的候选句抽取算法

使机器理解人类自然语言是人工智能在认知领域的终极目标,机器阅读理解是自然语言处理技术中继语音识别、语义理解之后的一大挑战,要求计算机具有一定的背景常识,全面理解给定文本材料,并根据材料内容对相应的问题作答。随着深度学习的快速发展,阅读理解成为当前人工智能的热点研究方向,涉及机器学习、信息检索、语义计算等核心技术,在聊天机器人、问答系统、智能化教育等多个领域具有广泛的应用前景。文中聚焦微阅读模式,根据问题或选项从给定文本材料中抽取包含答案的候选句,缩小推理范围,为进一步实现机器阅读理解提供技术支持。传统基于特征的方法耗费大量人力,文中将答案候选句抽取看成一种语义相关度计算问题,提出了一种答案候选句排序方法,即Att-BiGRU/BiLSTM模型。首先,利用双向长短期记忆和门控循环单元来编码句子中表达的语义信息;其次,设计Atten结构,结合相异性和相似性对语义相关度进行建模;最后,采用Adam算法来学习模型的参数。在SemEval-SICK数据集上的实验结果显示,该模型在测试集上的pearson指标超过了基线方法BiGRU将近0.67,在MSE指标上超过BiGRU方法16.83%,收敛速度更快,表明双向和Atten结构能大大提高候选句抽取的精度。     

基于词性特征的明喻识别及要素抽取方法

比喻是一种利用事物之间的相似点建立关系的修辞方式。明喻是比喻中最常见的形式,具有明显的喻词,例如"像",用于关联本体和喻体。近年来高考语文散文类鉴赏题中多有考查明喻句的试题,为了解答此类鉴赏题,需要识别比喻句中的本体和喻体要素。该文提出了基于词性特征的明喻识别及要素抽取方法。首先将句子中词向量化表示与词性特征向量化表示进行融合,将融合后的向量输入到BiLSTM中进行训练,然后利用CRF解码出全局最优标注序列;最后得到明喻识别和要素抽取的结果。公开数据集上的实验结果表明,该方法优于已有的单任务方法;同时也将该文方法应用于北京高考语文鉴赏题中比喻句的识别与要素抽取,验证了方法的可行性。     

基于GSPN的工作流模型性能评价方法与应用

广义随机Petri网因其具有坚实的理论基础、强大的分析功能和易于表达的图形化方式,在工作流模型性能评价领域应用越来越广泛。论文着重讨论了基于广义随机Petri网的工作流模型性能评价的技术和方法,对于其分析过程中涉及的问题,尤其是广义随机Petri网的等价化简问题,进行了详细的阐述。文章最后结合一个应用实例“全国高等教育网上阅卷系统”对建模和分析评价过程进行了说明。     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

基于话题和修辞识别的阅读理解why型问题回答

针对阅读理解问答中的why型问题,提出基于问题话题和话题间因果修辞关系识别的答案句抽取方法.抽取时利用机器学习方法,选择可识别出对应问题话题的句子特征、问题话题与句子上下文之间因果关系特征,对篇章内的句子按照成为答案句的概率进行排序.对应问题话题的句子识别利用基于idf和语义角色的相似度;因果修辞关系的识别利用线索短语、特定语义角色、从文档集中挖掘的词间蕴含的因果关系概率信息、句子上下文的位置与表达形式.Remedia语料上的实验结果表明,该方法明显提高了why型问题回答的性能.