基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

The Interaction between the Source and the Level of Feedback in Blended Courses and Its Impact on Achievement and Self-efficacy

The purpose of this study was to investigate the impact of the interaction between the source and the level of feedback in blended learning courses on students＇ self-efficacy and achievement. To achieve this goal, the researcher conducted a quasi-experimental study on a sample consisted of 34 graduates students enrolled in a master program in distance teaching and training at the Arabian Gulf University. They were divided into two groups： pair＋ feedback and focus group＋ feedback. A framework for the interaction between the source and the level of feedback was developed and applied on a mixed assessment technique that combined both formative assessment and summative assessment tasks. The comparison of pre-test post-test for each group revealed that both pair＋ and focus group＋ feedback in blended learning have a statistical and a practical impact on students＇ self-efficacy and achievement when provided at multiple levels. Moreover, the comparison between groups in the post-test revealed that focus group＋ feedback is more likely to improve students＇ self-efficacy and academic achievement much better than pair＋ feedback specially when provided at multiple levels. The results of this study also revealed that feedback source when delivered at multiple levels could be a supporting metaphor for cognitive, psychosocial and affective scaffoldings through a combination of pedagogical, social and mental presence.     

基于神经网络的机器阅读理解综述

机器阅读理解的目标是使机器理解自然语言文本,并能够正确回答与文本相关的问题.由于数据集规模的制约,早期的机器阅读理解方法大多基于人工特征以及传统机器学习方法进行建模.近年来,随着知识库、众包群智的发展,研究者们陆续提出了高质量的大规模数据集,为神经网络模型以及机器阅读理解的发展带来了新的契机.对基于神经网络的机器阅读理解相关的最新研究成果进行了详尽的归纳:首先,概述了机器阅读理解的发展历程、问题描述以及评价指标;然后,针对当前最流行的神经阅读理解模型架构,包括嵌入层、编码层、交互层和输出层中所使用的相关技术进行了全面的综述,同时阐述了最新的BERT预训练模型及其优势;之后,归纳了近年来机器阅读理解数据集和神经阅读理解模型的研究进展,同时,详细比较分析了最具代表性的数据集以及神经网络模型;最后展望了机器阅读理解研究所面临的挑战和未来的研究方向.     

基于预训练模型的机器阅读理解研究综述

近年来深度学习技术不断进步,随着预训练模型在自然语言处理中的应用与发展,机器阅读理解不再单纯地依靠网络结构与词嵌入相结合的方法。预训练语言模型的发展推动了机器阅读理解的进步,在某些数据集上已经超越了人类的表现。简要介绍机器阅读理解以及预训练语言模型的相关概念,综述当下基于预训练模型的机器阅读理解研究进展,对目前预训练模型在相关数据集上的性能进行分析,总结了目前存在的问题并对未来进行展望。     

基于双线性函数注意力Bi-LSTM模型的机器阅读理解

近年来,随着深度学习(Deep Learning)在机器阅读理解(Machine Reading Comprehension)领域的广泛应用,机器阅读理解迅速发展。针对机器阅读理解中的语义理解和推理,提出一种双线性函数注意力(Attention)双向长短记忆网络(Bi directional-Long Short-Term Memory)模型,较好地完成了在机器阅读理解中抽取文章、问题、问题候选答案的语义并给出了正确答案的任务。将其应用到四六级(CET-4,CET-6)听力文本上测试,测试结果显示,以单词为单位的按序输入比以句子为单位的按序输入准确率高2%左右;此外,在基本的模型之上加入多层注意力转移的推理结构后准确率提升了8%左右。     

D-Reader:一种以全文预测的阅读理解模型

该文针对2018机器阅读理解技术竞赛提出一个基于双向注意流(BiDAF)BiDAF的阅读理解模型,实作于DuReader中文问答数据集。该文观察到基线系统采用与问题最相近的段落,作为预测的筛选条件,而改以完整段落来预测答案,结果证实优于原方法。并利用fastText训练词向量以强化上下文信息,最后通过集成学习优化结果,提升效能与稳定性。此外,针对DuReader的是非类题型,该文集成两个分类模型,分别基于注意力机制(attention)与相似性机制(similarity)来预测答案类别。该模型最终在“2018机器阅读理解技术竞赛”的评比中得到了ROUGE-L 56.57与 BLEU-4 48.03。     

基于阅读技巧识别和双通道融合机制的机器阅读理解方法

机器阅读理解任务旨在要求系统对给定文章进行理解, 然后对给定问题进行回答. 先前的工作重点聚焦在问题和文章间的交互信息, 忽略了对问题进行更加细粒度的分析(如问题所考察的阅读技巧是什么?). 受先前研究的启发, 人类对于问题的理解是一个多维度的过程. 首先, 人类需要理解问题的上下文信息; 然后, 针对不同类型问题, 识别其需要使用的阅读技巧; 最后, 通过与文章交互回答出问题答案. 针对这些问题, 提出一种基于阅读技巧识别和双通道融合的机器阅读理解方法, 对问题进行更加细致的分析, 从而提高模型回答问题的准确性. 阅读技巧识别器通过对比学习的方法, 能够显式地捕获阅读技巧的语义信息. 双通道融合机制将问题与文章的交互信息和阅读技巧的语义信息进行深层次的融合, 从而达到辅助系统理解问题和文章的目的. 为了验证该模型的效果, 在FairytaleQA数据集上进行实验, 实验结果表明, 该方法实现了在机器阅读理解任务和阅读技巧识别任务上的最好效果.     

T-Reader:一种基于自注意力机制的多任务深度阅读理解模型

该文介绍THUIR团队在“2018机器阅读理解技术竞赛”中的模型设计与实验结果。针对多文档机器阅读理解任务,设计了基于自注意力机制的多任务深度阅读理解模型T-Reader,在所有105支参赛队伍中取得了第八名的成绩。除文本信息外,提取了问题与段落精准匹配等特征作为模型输入;在模型的段落匹配阶段,采用跨段落的文档级自注意力机制,通过循环神经网络实现了跨文档的问题级信息交互;在答案范围预测阶段,通过进行段落排序引入强化学习的方法提升模型性能。     

融合序列和图结构的机器阅读理解

机器阅读理解是自然语言处理中的一项重要而富有挑战性的任务.近年来,以BERT为代表的大规模预训练语言模型在此领域取得了显著的成功.但是,受限于序列模型的结构和规模,基于BERT的阅读理解模型在长距离和全局语义构建的能力有着显著缺陷,影响了其在阅读理解任务上的表现.针对这一问题,该文提出一种融合了序列和图结构的机器阅读理...     

基于自注意力机制的阅读理解模型

机器阅读理解是自然语言处理领域一项得到广泛关注与研究的任务。该文针对中文机器阅读理解数据集DuReader,分析其数据集的特点及难点,设计了一种基于循环神经网络和自注意力机制的抽取式模型Mixed Model。通过设计段落融合等策略,该文提出的模型在DuReader测试集上达到了54.2的Rouge-L得分和49.14的Bleu-4得分。     

面向阅读理解的句子组合模型

阅读理解任务需要综合运用文本的表示、理解、推理等自然语言处理技术。针对高考语文中文学作品阅读理解的选项题问题,提出了基于分层组合模式的句子组合模型,用来实现句子级的语义一致性计算。首先,通过单个词和短语向量组成的三元组来训练一个神经网络模型;然后,通过训练好的神经网络模型来组合句子向量（两种组合方法：一种为递归方法;另一种为循环方法）,得到句子的分布式向量表示。句子间的一致性利用两个句子向量之间的余弦相似度来表示。为了验证所提方法,收集了769篇模拟材料+13篇北京高考语文试卷材料（包括原文与选择题）作为测试集。实验结果表明,与传统最优的基于知网语义方法相比,循环方法准确率在高考材料中提高了7.8个百分点,在模拟材料中提高了2.7个百分点。     

面向机器阅读理解的多任务层次微调模型

机器阅读理解与问答一直以来被认为是自然语言理解的核心问题之一, 要求模型通过给定的文章与问题去挑选出最佳答案. 随着BERT等预训练模型的兴起, 众多的自然语言处理任务取得了重大突破, 然而在复杂的阅读理解任务方面仍然存在一些不足, 针对该任务, 提出了一个基于回顾式阅读器的机器阅读理解模型. 模型使用RoBERTa预...     

机器阅读理解中观点型问题的求解策略研究

针对机器阅读理解中观点型问题的求解,提出一个端到端深度学习模型,使用Bi-GRU对文章和问题进行上下文语义编码,然后运用基于拼接、双线性、点乘和差集4种函数的注意力加上Query2Context和Context2Query两个方向注意力的融合算法获取文章和问题的综合语义信息,之后运用多层注意力转移推理机制不断聚焦,进一步获取更加准确的综合语义,最终将其与候选答案进行比较,选出正确答案。该模型在AIchallager2018观点型阅读理解中文测试数据集上准确率达到76.79%,性能超过基线系统。此外,该文尝试文章以句子序列作为输入表示进行答案求解,准确率达到78.48%,获得较好试验效果。