基于BERT和题干要素语义增强的高考阅读理解自动答题

高考阅读理解试题因其语言复杂度高和自动答题难度大，已成为机器阅读理解领域一项具有挑战性的任务。现有的答题方法普遍关注选项与材料的语义相似性，易于忽视题干信息对正确答案的要求，基于此，提出一种基于BERT与题干要素语义增强的高考阅读理解自动答题方法。通过构建问题模板的方式获取题干关键要素信息并生成问题标签；通过改写题干内容统一题干要求；将问题标签与BERT模型相结合完成答案选择。在高考数据集上的实验结果表明，该方法比多个典型的机器阅读理解基线模型取得了更好的效果。     

面向高考历史科目试题的自动答题系统

高考是综合评估人类知识和能力水平的标准化考试,与传统的自动问答任务相比其挑战性更高。该文面向我国高考试题历史部分,基于深度神经网络技术,构建了历史科目试题自动答题系统。在答题系统中融合知识的一个主要挑战是知识的上下文相关性: 对于一个问题,在知识库存储的大量知识中,只有少数知识与回答该问题相关。针对这一挑战,该文设计了一种结合知识检索与机器阅读理解的知识融合自动答题系统。该系统利用知识检索的相关排序能力和机器阅读理解模型的知识定位能力,有效地发现问题相关的知识,从而增强自动答题的效果。实验结果显示,该系统可有效地作答高考历史科目试题。     

高考语文阅读理解自动答题系统

机器阅读理解任务需要机器理解篇章并回答相关问题,是许多应用系统中的一项核心任务。该文面向高考语文中的现代文阅读理解文本语义表示、候选句抽取、鉴赏分析等关键技术展开研究,针对选择题、问答题等构建了相应的答题引擎,并在高考真题及测试题上,对系统进行了实验验证与错误分析,实验结果表明,该文所构建的系统能够在一定程度上解答问题。未来将围绕语义表示、知识的统一表征与知识聚合、迁移学习等前沿技术,提升阅读理解系统的复杂综合推理能力、概括分析能力、语言鉴赏能力。     

基于MHSA和句法关系增强的机器阅读理解方法研究

机器阅读理解 (Machine reading comprehension, MRC)是自然语言处理领域中一项重要研究任务, 其目标是通过机器理解给定的阅读材料和问题, 最终实现自动答题. 目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注, 它可以同时给出问题答案和支撑答案的相关证据, 然而现有观点类问题的答题方法在答案线索识别上表现还不是太好, 已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系. 基于此, 引入多头自注意力(Multi-head self-attention, MHSA)进一步挖掘阅读材料中观点类问题的文字线索, 改进了观点类问题的自动解答方法; 将句法关系融入到图构建过程中, 提出了基于关联要素关系图的多跳推理方法, 实现了答案支撑句挖掘; 通过联合优化两个子任务, 构建了基于多任务联合学习的阅读理解模型. 在2020中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)和HotpotQA数据集上的实验结果表明, 本文提出的方法比已有基线模型的效果更好.     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

阅读理解中观点类问题的扩展研究

在高考语文阅读理解中,观点类问题中的观点表达较为抽象,为了从阅读材料中获取与问题相关的答案信息,需要对问题中的抽象词语进行扩展,达到扩展观点类问题的目的。该文提出了基于多任务层级长短时记忆网络(Multi-HLSTM)的问题扩展建模方法。首先将阅读材料与问题进行交互注意,同时建模问题预测和答案预测两个任务,使模型对问题进一步扩展。最后将扩展后的问题与原问题同时应用于问题的答案候选句抽取中。通过在高考语文观点类的真题、模拟题以及DuReader的描述观点类数据集上进行实验,验证了本文的问题扩展模型对答案候选句的抽取性能具有一定的提升作用。     

多模块联合的阅读理解候选句抽取

机器阅读理解作为自然语言理解的关键任务,受到国内外学者广泛关注。针对多项选择型阅读理解中无线索标注且涉及多步推理致使候选句抽取困难的问题,该文提出一种基于多模块联合的候选句抽取模型。首先采用部分标注数据微调预训练模型;然后通过TF-IDF递归式抽取多跳推理问题中的候选句;最后结合无监督方式进一步筛选模型预测结果降低冗余性。该文在高考语文选择题及RACE数据集上进行验证,在候选句抽取中,该方法相比于最优基线模型F₁值提升3.44%,在下游答题任务中采用候选句作为模型输入较全文输入时准确率分别提高3.68%和3.6%,上述结果证实该文所提方法的有效性。     

面向阅读理解的句子组合模型

阅读理解任务需要综合运用文本的表示、理解、推理等自然语言处理技术。针对高考语文中文学作品阅读理解的选项题问题,提出了基于分层组合模式的句子组合模型,用来实现句子级的语义一致性计算。首先,通过单个词和短语向量组成的三元组来训练一个神经网络模型;然后,通过训练好的神经网络模型来组合句子向量（两种组合方法：一种为递归方法;另一种为循环方法）,得到句子的分布式向量表示。句子间的一致性利用两个句子向量之间的余弦相似度来表示。为了验证所提方法,收集了769篇模拟材料+13篇北京高考语文试卷材料（包括原文与选择题）作为测试集。实验结果表明,与传统最优的基于知网语义方法相比,循环方法准确率在高考材料中提高了7.8个百分点,在模拟材料中提高了2.7个百分点。     

基于混合注意力Seq2seq模型的选项多标签分类

选项多标签分类是高考文学类阅读理解选择题解答任务中的重要一环,对不同标签类型的选项调用不同的答题引擎,可以有效提高选择题答题准确率。由于选项类型复杂多样,一个选项可能有多个类别特征,将其看作多标签分类任务。传统多标签分类算法仅考虑到文本与标签间相关性,忽略了标签间相关性,且选项内部存在着强语义关联性,对最终的标签预测产生较大影响。为了充分利用选项内相关性,提出一种基于混合注意力的Seq2seq模型,同时考虑选项标签间相关性和选项内相关性。采用Bi-LSTM获得选项到标签的相互信息,利用多头自注意力获得选项内关联语义。为获取标签间语义相关性,使用标签嵌入方式进行隐式融合。在高考文学类阅读理解选择题数据集上的实验结果表明,对多种相关性建模能有效提升选项多标签分类精度。     

汉语阅读理解中词义判断题的解答研究

阅读理解任务是在给定的单篇文本上,要求计算机根据文本的内容对相应的问题作出回答。以北京语文高考阅读理解为背景,对其中的词义判断题进行了分析与研究,提出了一个基于支持度计算的解答框架,并尝试使用语言模型、点互信息与句子相似度3种方法来计算支持度。通过实验验证,3种方法在真实数据集和自动构造的数据集上均有一定成效。其中,基于点互信息的支持度计算方法在真实数据集上表现最好,获得了75%的选项正确率。     

面向高考阅读理解鉴赏题语言风格判别方法

语言风格是高考阅读理解中的重要考察内容,然而不同考察方式所需的分类层次不尽相同,该文将语言风格鉴赏转化为层次分类问题。在类别标签指导下,利用图分割算法,获取与特定类别相对应的原始簇。基于原始簇,利用层次聚类获取语言风格类别层次结构,之后结合层次结构训练SVM层次分类器。在解答语言风格鉴赏题过程中,依据阅读理解题干确定所需分类层次,利用SVM层次分类器完成对阅读材料语言风格判别,最后结合知识库生成语言风格鉴赏题答案。实验结果表明,基于层次结构的语言风格判别方法,可以为高考鉴赏类考题的解答提供技术支撑。     

基于词语关联的散文阅读理解问题答案获取方法

高考语文阅读理解问答题中的提问方式复杂多样,使用的词语语义抽象,而相关阅读材料的内容表达丰富和含蓄,造成问题中的词语与阅读材料中词语存在一定的语义鸿沟。为了解决这一问题,该文对词语关联进行相关研究。首先利用LDA主题聚类方法,将同一主题类的词语进行聚类,根据各类词语的词性、词频特征,筛选与主题相关联的词语,再利用Word2Vec的语义相似度计算,将每一个主题关联的词语扩展,获得与主题词语义关联的词语。最后,将所提出的方法应用于近12年北京高考题和模拟题的散文抽取类问答题解答中,实验结果表明该方法优于传统的词语扩展方法。     

面向阅读理解复杂问题的句子融合

阅读理解是目前NLP领域的一个研究热点。阅读理解中好的复杂问题解答策略不仅要进行答案句的抽取,还要对答案句进行融合、生成相应的答案,但是目前的研究大多集中在前者。该文针对复杂问题解答中的句子融合进行研究,提出了一种兼顾句子重要信息、问题关联度与句子流畅度的句子融合方法。该方法的主要思想为: 首先,基于句子拆分和词重要度选择待融合部分;然后,基于词对齐进行句子相同信息的合并;最后,利用基于依存关系、二元语言模型及词重要度的整数线性规划优化生成句子。在历年高考阅读理解数据集上的测试结果表明,该方法取得了82.62%的F值,同时更好地保证了结果的可读性及信息量。     

融合因果关系表征的阅读理解因果关系类选项判断

阅读理解因果关系类选项是指存在因果线索词的选项,此类选项需要根据原文中的因果关系表征进行作答。基于高考阅读理解任务构建因果关系网络,提出融合因果关系表征的因果关系类选项判断方法。采用模式匹配方法抽取原文的因果句对,根据文章因果句对抽取出因果关系词对,并通过点互信息计算因果关系词对之间的因果关联强度,从而构建因果关系网络来表征原文的因果关系。在此基础上,将因果关系表征融入到BERT模型中,预测因果关系选项和原文是否一致。同时,根据高考阅读理解大纲结合语料库发现错误类型分为因果颠倒、强加因果、偷换原因或结果、其他类型等4类,根据每一种错误类型的特点结合预测结果确定选项的错误类型,并提供一个错误解释,以增强方法的可解释性。选用近15年全国高考试题及模拟题中的4 071个科技类阅读理解因果选项进行实验,结果显示F1值达到62.09%,验证了该方法的有效性。     

面向高考语文阅读理解的篇章标题选择研究

高考语文阅读理解篇章标题选择题要求机器根据对篇章内容的理解,从多个候选项中选取能够准确恰当的概括表达篇章内容的选项。标题往往是高度凝练且能准确表达文意、结构鲜明的词串。因此,如何对篇章内容进行归纳概括、对标题结构进行梳理和分析是解答篇章标题选择题的关键。针对该问题,提出了标题与篇章要点相关性分析模型。该模型通过分析标题与篇章要点的相关性,构建了基于标题和篇章要点的相关度矩阵。在此基础上融入标题结构特征,选取与篇章最相关的标题。在全国近10年高考真题和测试题上进行实验,验证了该方法的有效性。     

基于框架语义的高考语文阅读理解答案句抽取

高考语文阅读理解问答相对普通阅读理解问答难度更大,问句抽象表述的理解需要更深层的语言分析技术,答案候选句抽取更注重与问句的关联分析,答案候选句排序更注重答案句之间的语义相关性。为此,该文提出借助框架语义匹配和框架语义关系抽取答案候选句,在排序时引入流形排序模型,通过答案句之间的框架语义相关度将排序分数进行传播,最终选取分数较高的Top-4作为答案句。在北京近12年高考语文阅读理解问答题上的准确率与召回率分别达到了53.65%与79.06%。