基于BERT＿Att的机器阅读理解模型

针对当前机器阅读理解模型中文本与问题的语义融合不够充分、缺乏考虑全局的语义信息的问题，提出一种基于BERT、注意力机制与自注意力机制的机器阅读理解模型BERT＿Att。该模型采用BERT将文本和问题分别映射进特征空间，通过Bi-LSTM、注意力机制与自注意力机制将文本与问题进行充分的语义融合，通过Softmax计算答案的概率分布。在公共数据集DuReader上的实验结果表明，该模型的BLEU-4值与ROUGE-L值较现有的模型均有进一步的提升，并且分析了影响模型表现的因素，验证了该模型设计的有效性。     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

基于MHSA和句法关系增强的机器阅读理解方法研究

机器阅读理解 (Machine reading comprehension, MRC)是自然语言处理领域中一项重要研究任务, 其目标是通过机器理解给定的阅读材料和问题, 最终实现自动答题. 目前联合观点类问题解答和答案依据挖掘的多任务联合学习研究在机器阅读理解应用中受到广泛关注, 它可以同时给出问题答案和支撑答案的相关证据, 然而现有观点类问题的答题方法在答案线索识别上表现还不是太好, 已有答案依据挖掘方法仍不能较好捕获段落中词语之间的依存关系. 基于此, 引入多头自注意力(Multi-head self-attention, MHSA)进一步挖掘阅读材料中观点类问题的文字线索, 改进了观点类问题的自动解答方法; 将句法关系融入到图构建过程中, 提出了基于关联要素关系图的多跳推理方法, 实现了答案支撑句挖掘; 通过联合优化两个子任务, 构建了基于多任务联合学习的阅读理解模型. 在2020中国“法研杯”司法人工智能挑战赛(China AI Law Challenge 2020, CAIL2020)和HotpotQA数据集上的实验结果表明, 本文提出的方法比已有基线模型的效果更好.     

基于孪生网络和BERT模型的主观题自动评分系统

由于现在缺乏多语言教学中的主观题自动评分, 针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统. 主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量, BERT模型已经在大规模多种语言的语料上经过训练, 得到的文本向量包含了丰富的上下文语义信息, 并且能处理多种语言信息. 然后把...     

面向高考历史科目试题的自动答题系统

高考是综合评估人类知识和能力水平的标准化考试,与传统的自动问答任务相比其挑战性更高。该文面向我国高考试题历史部分,基于深度神经网络技术,构建了历史科目试题自动答题系统。在答题系统中融合知识的一个主要挑战是知识的上下文相关性: 对于一个问题,在知识库存储的大量知识中,只有少数知识与回答该问题相关。针对这一挑战,该文设计了一种结合知识检索与机器阅读理解的知识融合自动答题系统。该系统利用知识检索的相关排序能力和机器阅读理解模型的知识定位能力,有效地发现问题相关的知识,从而增强自动答题的效果。实验结果显示,该系统可有效地作答高考历史科目试题。     

一种基于数据重构和富特征的神经网络机器阅读理解模型

该文描述了ZWYC团队在“2018机器阅读理解技术竞赛”上提出的机器理解模型。所提出模型将机器阅读理解问题建模成连续文本片段抽取问题,提出基于富语义特征的神经交互网络模型。为了充分使用答案标注信息,模型首先对数据进行细致的重构,让人工标注的多个答案信息都能融合到数据中。通过特征工程,对每个词构建富语义表征。同时提出一种简单有效的问题和文档交互的方式,得到问题感知的文档表征。基于多个文档串接的全局表征,模型进行答案文本预测。在最终测试集上,该模型获得了目前先进的结果,在105支队伍中排名第2。     

基于多粒度交互推理的答案选择方法研究

预训练语言模型已经广泛应用于不同自然语言处理任务，其蕴含的自注意力机制能够在“文本对子”之上形成统一的语义编码表示，从而使BERT模型的输入结构和运算模式理论上适用于处理“目标问题和候选答案”样本。然而，直接应用BERT等语言模型将面临两种局限性：(1)BERT并不侧重词块、短语和子句的独立语义信息表示，使得文本在匹配过程中往往错失不同颗粒度语义相关性的感知；(2)BERT中的多头注意力机制不能在不同粒度的语义结构之间计算交互强度(相关性)。针对上述问题，该文提出一种基于BERT的多粒度交互推理网络，该方法将问题与候选答案的语言信息进行多粒度语义编码，丰富了句子间的语义信息与交互性。此外，该文提出句子级的编码损失策略，借以提高编码过程对关键子句的加权能力。在WPQA数据集上的实验结果显示，该方法有效提高了非事实性问题的答案选择性能。     

基于数据增强的高考阅读理解自动答题研究

机器阅读理解是自然语言处理领域中的一项重要研究任务,高考阅读理解自动答题是近年来阅读理解任务中的又一挑战。目前高考语文阅读理解任务中真题和模拟题的数量相对较少,基于深度学习的方法受到实验数据规模较小的限制,所得的实验结果相比传统方法无明显优势。基于此,该文探索了面向高考语文阅读理解的数据增强方法,结合传统的EDA数据增强思路提出了适应于高考阅读理解的EDA策略,针对阅读材料普遍较长的特征提出了基于滑动窗口的材料动态裁剪方式,围绕材料中不同句子的重要性差异明显的问题,提出了基于相似度计算的材料句质量评价方法。实验结果表明,三种方法均能提升高考题阅读理解自动答题的效果,答题准确率最高可提升5个百分点以上。     

融合序列和图结构的机器阅读理解

机器阅读理解是自然语言处理中的一项重要而富有挑战性的任务。近年来,以BERT为代表的大规模预训练语言模型在此领域取得了显著的成功。但是,受限于序列模型的结构和规模,基于BERT的阅读理解模型在长距离和全局语义构建的能力有着显著缺陷,影响了其在阅读理解任务上的表现。针对这一问题,该文提出一种融合了序列和图结构的机器阅读理解的新模型。首先,提取文本中的命名实体,使用句子共现和滑动窗口共现两种方案构建命名实体共现图;基于空间的图卷积神经网络学习命名实体的嵌入表示;将通过图结构得到的实体嵌入表示融合到基于序列结构得到的文本嵌入表示中;最终采用片段抽取的方式实现机器阅读理解问答。实验结果表明,与采用BERT所实现的基于序列结构的阅读理解模型相比,融合序列和图结构的机器阅读理解模型EM值提高了7.8％,F₁值提高了6.6％。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

Ti-Reader:基于注意力机制的藏文机器阅读理解端到端网络模型

机器阅读理解旨在教会机器去理解一篇文章并且回答与之相关的问题。为了解决低资源语言上机器阅读理解模型性能低的问题,该文提出了一种基于注意力机制的藏文机器阅读理解端到端网络模型Ti-Reader。首先,为了编码更细粒度的藏文文本信息,将音节和词相结合进行词表示,然后采用词级注意力机制去关注文本中的关键词,利用重读机制去捕捉文章和问题之间的语义信息,自注意力机制去匹配问题与答案的隐变量本身,为答案预测提供更多的线索。最后,实验结果表明,Ti-Reader模型提升了藏文机器阅读理解的性能,同时在英文数据集SQuAD上也有较好的表现。     

基于混合注意力Seq2seq模型的选项多标签分类

选项多标签分类是高考文学类阅读理解选择题解答任务中的重要一环,对不同标签类型的选项调用不同的答题引擎,可以有效提高选择题答题准确率。由于选项类型复杂多样,一个选项可能有多个类别特征,将其看作多标签分类任务。传统多标签分类算法仅考虑到文本与标签间相关性,忽略了标签间相关性,且选项内部存在着强语义关联性,对最终的标签预测产生较大影响。为了充分利用选项内相关性,提出一种基于混合注意力的Seq2seq模型,同时考虑选项标签间相关性和选项内相关性。采用Bi-LSTM获得选项到标签的相互信息,利用多头自注意力获得选项内关联语义。为获取标签间语义相关性,使用标签嵌入方式进行隐式融合。在高考文学类阅读理解选择题数据集上的实验结果表明,对多种相关性建模能有效提升选项多标签分类精度。     

基于多层感知机和语义矩阵的答案选择模型

答案选择是问答系统领域的关键子任务，其性能表现支撑着问答系统的发展。基于参数冻结的BERT模型生成的动态词向量存在句级语义特征匮乏、问答对词级交互关系缺失等问题。多层感知机具有多种优势，不仅能够实现深度特征挖掘，且计算成本较低。在动态文本向量的基础上，文中提出了一种基于多层感知机和语义矩阵的答案选择模型，多层感知机主要实现文本向量句级语义维度重建，而通过不同的计算方法生成语义矩阵能够挖掘不同的文本特征信息。多层感知机与基于线性模型生成的语义理解矩阵相结合，实现一个语义理解模块，旨在分别挖掘问题句和答案句的句级语义特征；多层感知机与基于双向注意力计算方法生成的语义交互矩阵相结合，实现一个语义交互模块，旨在构建问答对之间的词级交互关系。实验结果表明，所提模型在WikiQA数据集上MAP和MRR分别为0.789和0.806,相比基线模型，该模型在性能上有一致的提升，在SelQA数据集上MAP和MRR分别为0.903和0.911,也具有较好的性能表现。     

基于BERT的三阶段式问答模型

预训练语言模型的发展极大地推动了机器阅读理解任务的进步.为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型.首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶...     

U-Net:用于包含无答案问题的机器阅读理解的轻量级模型

处理机器阅读理解任务时,识别其中没有答案的问题是自然语言处理领域的一个新的挑战。该文提出U-Net模型来处理这个问题,该模型包括3个主要成分: 答案预测模块、无答案判别模块和答案验证模块。该模型用一个U节点将问题和文章拼接为一个连续的文本序列,该U节点同时编码问题和文章的信息,在判断问题是否有答案时起到重要作用,同时对于精简U-Net的结构也有重要作用。与基于预训练的BERT不同,U-Net的U节点的信息获取方式更多样,并且不需要巨大的计算资源就能有效地完成机器阅读理解任务。在SQuAD 2.0中,U-Net的单模型F₁得分72.6、EM得分69.3,U-Net的集成模型F₁得分74.9、EM得分71.4,均为公开的非基于大规模预训练语言模型的模型结果的第一名。     

面向高考阅读理解鉴赏题语言风格判别方法

语言风格是高考阅读理解中的重要考察内容,然而不同考察方式所需的分类层次不尽相同,该文将语言风格鉴赏转化为层次分类问题。在类别标签指导下,利用图分割算法,获取与特定类别相对应的原始簇。基于原始簇,利用层次聚类获取语言风格类别层次结构,之后结合层次结构训练SVM层次分类器。在解答语言风格鉴赏题过程中,依据阅读理解题干确定所需分类层次,利用SVM层次分类器完成对阅读材料语言风格判别,最后结合知识库生成语言风格鉴赏题答案。实验结果表明,基于层次结构的语言风格判别方法,可以为高考鉴赏类考题的解答提供技术支撑。     

长短答案分类指导的机器阅读理解方法

针对现有机器阅读理解模型存在长答案不完整、短答案冗余，即模型对答案的边界信息捕捉能力有待提升问题，该文基于“问题分类+答案预测联合学习”的流水线式策略，提出了一种通过答案长短特征分类指导机器阅读理解的神经网络模型。该方法采用预训练语言模型对问题和文章进行语义表示，并以待预测答案的长短类型对相应问题进行分类，然后将问题分类的结果用于指导阅读理解中的答案预测模块，最终以多任务学习的方式得到全部答案的开始位置和结束位置。实验结果表明，该模型在CMRC2018数据集上的EM平均值为67.4%,F₁平均值为87.6%,相比基线模型，分别提升了0.9%和1.1%。在自建的中文桥梁检测问答数据集上的EM平均值为89.4%、F₁平均值为94.7%,相比基线模型，分别提升了1.2%和0.5%。在更少训练集规模的CMRC2018和中文繁体数据集DRCD上，该文方法也优于基线模型。     

融合机器阅读理解的中文医学命名实体识别方法

医学命名实体识别是自动构建大规模医学知识库的关键，但医学文本中存在实体嵌套现象，采用序列标注的方法不能识别出嵌套中的实体。文中提出了基于阅读理解框架的中文医学命名实体识别方法，该方法将嵌套命名实体识别问题建模为机器阅读理解问题，使用BERT建立阅读理解问题和医学文本之间的联系，并引入多头注意力机制强化问题和嵌套实体之间的语义联系，最后用两个分类器对实体开头和结尾位置进行预测。与目前5种主流方法相比，该方法取得了最优结果，综合F1值达到了67.65%;与经典的实体识别模型BiLSTM-CRF相比，F1值提升了7.17%,其中嵌套较多的临床表现实体提升16.81%。     

结合外部知识的动态多层次语义抽取网络模型

针对复杂多文本机器阅读理解任务中的语义理解与答案提取问题,提出结合外部知识的动态多层次语义理解与答案抽取模型.首先利用改进的门控单元循环神经网络匹配文本内容与问题集,分别在向量化文本内容及问题集上实施多维度动态双向注意力机制分析,提高语义匹配精度.然后利用动态指针网络确定问题答案范围,改进网络模型语义匹配效率,降低答案提取冗余度.最后结合外部知识与经验改进候选答案精准性排序,得到最终答案.实验表明文中模型的语义匹配与答案提取精度显著提升,对不同领域的复杂文本阅读理解任务具有较高的鲁棒性.     

面向机器阅读理解的候选句抽取算法

使机器理解人类自然语言是人工智能在认知领域的终极目标,机器阅读理解是自然语言处理技术中继语音识别、语义理解之后的一大挑战,要求计算机具有一定的背景常识,全面理解给定文本材料,并根据材料内容对相应的问题作答。随着深度学习的快速发展,阅读理解成为当前人工智能的热点研究方向,涉及机器学习、信息检索、语义计算等核心技术,在聊天机器人、问答系统、智能化教育等多个领域具有广泛的应用前景。文中聚焦微阅读模式,根据问题或选项从给定文本材料中抽取包含答案的候选句,缩小推理范围,为进一步实现机器阅读理解提供技术支持。传统基于特征的方法耗费大量人力,文中将答案候选句抽取看成一种语义相关度计算问题,提出了一种答案候选句排序方法,即Att-BiGRU/BiLSTM模型。首先,利用双向长短期记忆和门控循环单元来编码句子中表达的语义信息;其次,设计Atten结构,结合相异性和相似性对语义相关度进行建模;最后,采用Adam算法来学习模型的参数。在SemEval-SICK数据集上的实验结果显示,该模型在测试集上的pearson指标超过了基线方法BiGRU将近0.67,在MSE指标上超过BiGRU方法16.83%,收敛速度更快,表明双向和Atten结构能大大提高候选句抽取的精度。