基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

TSPT：基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可以生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型（TSPT）,结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。     

基于小句复合体的中文机器阅读理解研究

机器阅读理解任务要求机器根据篇章文本回答相关问题。该文以抽取式机器阅读理解为例,重点考察当问题的线索要素与答案在篇章文本中跨越多个标点句时的阅读理解问题。该文将小句复合体结构自动分析任务与机器阅读理解任务融合,利用小句复合体中跨标点句话头-话体共享关系,来降低机器阅读理解任务的难度;并设计与实现了基于小句复合体的机器阅读理解模型。实验结果表明,在问题线索要素与答案跨越多个标点句时,答案抽取的精确匹配率(EM)相对于基准模型提升了3.49%,模型整体的精确匹配率提升了3.26%。     

利用依存句法分析和关键词共现的机器阅读理解模型

片段抽取式阅读理解是机器阅读理解典型任务之一，根据所给的篇章回答相关问题得到答案片段。在处理长文本如长问题或者长答案时，在无关词的噪声干扰和词之间长距离的关联跨度影响下，往往模糊了关注度的问题，一方面，依存句法分析通过识别词之间的语义关系，另一方面，增强句子的主干文本结构信息可以提升模型对于长文本阅读能力。该文寻找篇章中相关问题答案的主要方式是找到问题与篇章的关联特征，两者最关联的特征就是关键词，通过建立的关键词指导模型，实现在自注意力机制以获得正确答案的开始和结束位置。实验结果表明，在预训练语言模型的基础上将依存句法分析信息和关键词共现特征结合能够提升阅读理解的效果，在评测语料上F1值达到88.24。     

MCA-Reader:基于多重联结机制的注意力阅读理解模型

机器阅读理解是当下自然语言处理的一个热门任务,其内容是: 在给定文本的基础上,提出问题,机器要在给定文本中寻找并给出最终问题的答案。片段抽取式阅读理解是当前机器阅读理解研究的一个典型的方向,机器通过预测答案在文章中的起始和结束位置来定位答案。在此过程中,注意力机制起着不可或缺的作用。该文为了更好地解决片段抽取式机器阅读理解任务,提出了一种基于多重联结机制的注意力阅读理解模型。该模型通过多重联结的方式,更有效地发挥了注意力机制在片段抽取式机器阅读理解任务中的作用。利用该模型,在第二届“讯飞杯”中文机器阅读理解评测(CMRC2018)的最终测试集上EM值为71.175,F₁值为88.090,排名第二。     

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络（PGN）,提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络（BERT-PGN）。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议（NLPCC2017）单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络（LSTM-attention）等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。     

基于BERT的三阶段式问答模型

预训练语言模型的发展极大地推动了机器阅读理解任务的进步.为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型.首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶...     

片段抽取型机器阅读理解算法研究

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.     

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词（OOV）问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。     

融合BERT语义表示的高考语文阅读理解问答研究

高考语文阅读理解问答相对普通阅读理解问答难度更大,同时高考问答任务中的训练数据较少,目前的深度学习方法不能取得良好的答题效果。针对这些问题,该文提出融合BERT语义表示的高考阅读理解答案候选句抽取方法。首先,采用改进的MMR算法对段落进行筛选;其次,运用微调之后的BERT模型对句子进行语义表示;再次,通过SoftMax分类器对答案候选句进行抽取,最后利用PageRank排序算法对输出结果进行二次排序。该方法在北京近十年高考语文阅读理解问答题上的召回率和准确率分别达到了61.2%和50.1%,验证了该方法的有效性。     

融合语义信息与问题关键信息的多阶段注意力答案选取模型

自动问答系统可以帮助人们快速从海量文本中提取出有效信息,而答案选取作为其中的关键一步,在很大程度上影响着自动问答系统的性能.针对现有答案选择模型中答案关键信息捕获不准确的问题,本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型.该方法首先利用双向LSTM模型分别对问题和候选答案进行语义表示;然后采用问题的关键信息,包括问题类型和问题中心词,利用注意力机制对候选答案集合进行信息增强,筛选Top K个候选答案;然后采用问题的语义信息,再次利用注意力机制对Top K个候选答案集合进行信息增强,筛选出最佳答案.通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合,有效提高了对候选答案关键信息的捕获能力,从而提升了答案选取系统的性能.在三个数据集上对本文所提出的模型进行验证,相较已知同类最好模型,最高性能提升达1.95%.     

基于用户回答顺序的社区问答答案质量预测研究

近年来,随着互联网的普及和知识爆炸性的增长,社区问答网站积累了大量的用户和内容,同时也产生了大量的低质量文本,极大地影响了用户检索满意答案的效率,因此如何提升答案质量预测的性能十分重要。目前,社区问答答案质量预测方面的研究大都是使用点方式(pointwise)来实现分类模型,但由于问题的难度不同,对答案的要求也有所差异,使用点方式会忽略掉部分答案的特点,所以该文使用点对方式(pairwise)来预测答案质量。另外,已有的研究工作表明,社区问答中同一问题下的答案数量特征对答案质量预测没有效果,甚至有冗余作用。对于时间差也有相同的结论,即不能提升预测性能。该文提出了一种将上述两者结合在一起的新特征,实验结果表明,该特征能显著提高社区问答答案质量预测的性能。     

Multitask learning for neural generative question answering

Neural generative model in question answering (QA) usually employs sequence-to-sequence (Seq2Seq) learning to generate answers based on the user’s questions as opposed to the retrieval-based model selecting the best matched answer from a repository of pre-defined QA pairs. One key challenge of neural generative model in QA lies in generating high-frequency and generic answers regardless of the questions, partially due to optimizing log-likelihood objective function. In this paper, we investigate multitask learning (MTL) in neural network-based method under a QA scenario. We define our main task as agenerative QA via Seq2Seq learning. And we define our auxiliary task as a discriminative QA via binary QAclassification. Both main task and auxiliary task are learned jointly with shared representations, allowing to obtain improved generalization and transferring classification labels as extra evidences to guide the word sequence generation of the answers. Experimental results on both automatic evaluations and human annotations demonstrate the superiorities of our proposed method over baselines.     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

基于正负样本和Bi-LSTM的文本相似度匹配模型

相似度匹配是自然语言处理领域一个重要分支,也是问答系统抽取答案的重要途径之一.本文提出了一种基于正负样本和Bi-LSTM的文本相似度匹配模型,该模型首先为了提升问题和正确答案之间的相似度,构建正负样本问答对用于模型训练;其次为了解决分词错误引起的实验误差,采用双层嵌入词向量方法进行预训练;再次为了解决注意力机制导致的特征向量向后偏移的问题,在特征提取之前,采取内部注意力机制方法;然后为了保留重要的时序特性,采用Bi-LSTM神经网络进行数据训练;最后为了能在语义层次上计算相似度,提出一种包含语义信息的相似度计算函数.将本文提出的文本相似度匹配模型在公共数据集DuReader上进行了仿真实验,并和其他模型进行对比分析,实验结果表明,提出的模型不仅准确率高且鲁棒性好,top-1准确率达到78.34%.     

统计图问答任务的神经网络算法研究

现有的统计图问答任务算法大多依赖于大型的预训练深度网络获取图像的特征,但采用预训练的方式不能保障算法在场景任务下的泛化能力,并且大型算法网络会限制算法模型在实际场景下的响应等性能.本文通过研究统计图问答任务下的图像特征获取技术,结合神经网络的稠密连接技术,提出新的轻量型算法获取丰富的图像特征,来提升图像特征在问答推理过...     

基于全局覆盖机制与表示学习的生成式知识问答技术

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率,减少由预测模式混乱导致的重复输出问题,提高答案的质量.本文在知识问答模型基础上结合知识表示学习的推理结果,使模型具备模糊回答的能力.在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量,能对推理知识进行模糊回答.     

基于潜在语义分析的智能答疑系统研究与实现

文中研究的是基于常问问题库（FAQ库）的智能答疑系统。FAQ库是很多智能答疑系统中的一个重要组成部分,它把用户常问的问题和相关答案保存起来,对于用户输入的问题,可以首先在FAQ库中查找答案。如果能够找到相似的问题,就可以直接将问题所对应的答案返回给用户。为解决智能答疑系统因词的同义或多义现象而导致的“漏答”或“错答”,采用一种基于加权潜在语义分析模型的相似度计算方法。针对特定教育领域的智能答疑系统．改进了反映词与词之间相关性的权值计算。通过对特定课程中常问问题的实验,结果显示明显优于向量空间模型。     

Attention-based encoder-decoder model for answer selection in question answering

One of the key challenges for question answering is to bridge the lexical gap between questions and answers because there may not be any matching word between them. Machine translation models have been shown to boost the performance of solving the lexical gap problem between question-answer pairs. In this paper, we introduce an attention-based deep learning model to address the answer selection task for question answering. The proposed model employs a bidirectional long short-term memory (LSTM) encoder-decoder, which has been demonstrated to be effective on machine translation tasks to bridge the lexical gap between questions and answers. Our model also uses a step attention mechanism which allows the question to focus on a certain part of the candidate answer. Finally, we evaluate our model using a benchmark dataset and the results show that our approach outperforms the existing approaches. Integrating our model significantly improves the performance of our question answering system in the TREC 2015 LiveQA task.