面向阅读理解复杂问题的句子融合

阅读理解是目前NLP领域的一个研究热点。阅读理解中好的复杂问题解答策略不仅要进行答案句的抽取,还要对答案句进行融合、生成相应的答案,但是目前的研究大多集中在前者。该文针对复杂问题解答中的句子融合进行研究,提出了一种兼顾句子重要信息、问题关联度与句子流畅度的句子融合方法。该方法的主要思想为: 首先,基于句子拆分和词重要度选择待融合部分;然后,基于词对齐进行句子相同信息的合并;最后,利用基于依存关系、二元语言模型及词重要度的整数线性规划优化生成句子。在历年高考阅读理解数据集上的测试结果表明,该方法取得了82.62%的F值,同时更好地保证了结果的可读性及信息量。     

基于关系向量模型的句子相似度计算

句子相似度的计算在自然语言处理的各个领域占有很重要的地位,一些传统的计算方法只考虑句子的词形、句长、词序等表面信息,并没有考虑句子更深层次的语义信息,另一些考虑句子语义的方法在实用性上的表现不太理想。在空间向量模型的基础上提出了一种同时考虑句子结构和语义信息的关系向量模型,这种模型考虑了组成句子的关键词之间的搭配关系和关键词的同义信息,这些信息反应了句子的局部结构成分以及各局部之间的关联关系,因此更能体现句子的结构和语义信息。以关系向量模型为核心,提出了基于关系向量模型的句子相似度计算方法。同时将该算法应用到网络热点新闻自动摘要生成算法中,排除文摘中意思相近的句子从而避免文摘的冗余。实验结果表明,在考虑网络新闻中的句子相似度时,与考虑词序与语义的算法相比,关系向量模型算法不但提高了句子相似度计算的准确率,计算的时间复杂度也得到了降低。     

基于动态词遮掩的句子匹配预训练模型

BERT通过遮掩语言模型、下一句预测等自监督学习任务学习通用语言规律,在自然语言理解任务中取得了良好效果。但BERT的下一句预测任务不能直接建模句子的语义匹配关系,且随机遮掩策略也不能高效处理句子的关键内容。针对上述问题,该文提出基于动态词遮掩的预训练模型: 基于预训练模型获得句子的向量表示,并通过近似语义计算获取大规模“句子对”预训练数据,最后遮掩重要字词训练遮掩语言模型。在4个句子匹配数据集上的实验表明,使用该文提出的预训练方法,RBT3和BERT base的效果都有一定提升,平均准确率分别提升1.03%和0.61%。     

句子语义相似度计算

句子或文本片段相似度计算在与Web相关的任务中起着越来越重要的作用。在基于概念之间的语义相似度基础之上,提出一种句子语义相似度的计算方法SSBS并进行了相关的实验。与其他方法相比,SSBS方法在特征的量化过程中不仅考虑两个句子的概念对之间的语义相似度和字符串编辑距离,还考虑了不同词性的概念对句子相似度的影响。     

基于自然语言理解的在线答疑系统设计与实现

基于自然语言理解的相似度计算仍是计算机语言处理技术尚需深入研究的内容.通过在“知网”知识表示的基础上,综合考虑深度和密度两方面的影响因素,利用一种较为成熟的改进的多因素语义相似度处理算法,基于全文检索匹配技术,设计并实现了一个限定领域内的在线答疑系统.实例运行结果表明,系统可靠性较高,且答疑效果较为明显,达到了预期目标.     

传递信息分类的句子间相似性度量

提出了一种计算英文句子间相似度的方法。基于句子所传递的信息——其描述的对象、描述对象的属性和动作,首先将待比较的两个句子进行语块分析,并从中提取以上三个方面的信息;然后通过语义向量的方法,分别计算两个句子在这三个方面的相似度;最后将它们结合起来作为两个句子的整体相似度,并通过训练得到最优的结合参数。实验表明,提出的方法与目前计算句子间相似度的方法相比更加符合人工判断句子间相似度的过程,表现出更高的准确性,达到了较高的性能指标。     

一种改进的维吾尔语句子相似度计算方法

在基于实例的维吾尔语汉语机器翻译系统中维吾尔语相似度计算起重要作用。维吾尔语的黏着性特性要求对单词进行词干提取。本文提出的方法结合简单的句子结构相似度计算方法,通过对单词词干提取进行句子相似度计算。小规模实验结果比较接近人工评价的句子相似度。     

隐喻理解的计算模型综述

国际上,隐喻在思维及语言中所处的中心地位正逐渐引起人工智能研究者的重视。但在国内学术界,还鲜有开展隐喻计算化这方面研究的;实际上,作为异常用法的隐喻现象是自然语言中的普遍情况,因此隐喻问题若得不到很好的解决,将成为制约自然语言理解和机器翻译的瓶颈问题。本文结合相关的隐喻理论基础,根据不同的计算路线对已有隐喻理解计算模型进行分类,包括基于语义优先方法、基于知识表示的方法、基于逻辑的方法和基于统计语料库的方法,并在分析这些方法的适用范围和优缺点的基础上,对隐喻的计算理解方法以及面向汉语的隐喻理解计算模型研究提出了展望和建议。     

语文阅读理解词义判断题的支持度计算解答模型设计

本文以计算机为辅助设计语文阅读理解词义判断题的支持度计算解答模型。首先设计词义判断题解答架构,其次详细设计语言模型、点互信息、句子相似度三种不同支持度计算解答模型,最后进行实验分析。实验结果表明,在真实数据集中三种模型正确率,即63.2%、76.1%、63.2%;而在自动生成数据集中,正确率为68.2%、66.2%、65.1%。因此,此支持度计算解答模型为语文阅读理解问答解答奠定了坚实基础,促进了阅读理解深化探究。     

选择式机器阅读理解综述

机器阅读理解是自然语言处理领域的研究热点之一,对提升机器阅读能力和智能水平有着重要意义,为跟进相关领域的研究进展对其进行综述。首先,介绍机器阅读理解的发展历程及主要任务;其次,重点梳理当前选择式机器阅读理解基于深度学习方法的相关工作,并从语义匹配、预训练模型、语义推理、外部知识四个方面展开叙述;归纳总结了相关数据集以及评价指标;最后,对选择式机器阅读理解的未来发展趋势进行了展望。     

基于事件表示的机器阅读理解模型

要真正理解一段语篇,在阅读理解过程对原文主旨线索的把握是非常重要的。针对机器阅读理解中主旨线索类型的问题,提出了基于事件表示的机器阅读理解分析方法。首先,通过线索短语从阅读材料中抽取篇章事件图,其中包括事件的表示、事件要素的抽取和事件关系的抽取等;然后,综合考虑事件的时间要素、情感要素以及每个词在文档中的重要性,采用TextRank算法选出线索相关的事件;最后,依据所选出的线索事件构建问题的答案。在收集了339道线索类题组成的测试集上,实验结果表明所提方法在BLEU和CIDEr评价指标上与基于TextRank算法的句子排序方法相比均有所提升,具体来说,BLEU-4指标提升了4.1个百分点,CIDEr指标提升了9个百分点。     

片段抽取型机器阅读理解算法研究

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.     

基于多头注意力机制Tree-LSTM的句子语义相似度计算

针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。     

基于构式语块的句子相似度计算

针对当前主要的汉语句子相似度计算方法存在的问题,通过对大量的中文语句进行构式语义分析,提取构式语块特征,构建构式义特征库,并提出了一种基于构式语块的中文句子相似度计算方法.该方法最大化语块粒度,缩小语义理解间隙.在计算时,首先,通过自上而下语块分析方法,利用HMM学习算法,对复杂多样的汉语句子进行构式语块识别;然后,采用自底向上的计算方式,获取得到构式块间的相似度;最后,计算得出句子间的相似度量值.对比句子相似度实验结果表明,论文提出的计算方法优于其他算法.     

基于分段语义比较的语句相似度计算方法

为了能更为准确地计算两个语句之间的语义相似度;提出了一种基于分段语义比较的语句相似度计算方法.将语句分成主干部分和修饰部分,并根据设定的语法规则,对修饰部分进行更为细致的划分;计算语义相似度时,将计算过程分为两部分:主干部分计算、修饰部分计算,并赋以不同权值;能够按照语法和语义结构,更为合理、细致地计算出两个语句之间的语义相似程度.实验结果表明了该方法的能够取得较好的计算结果.     

基于深度学习的机器阅读理解研究综述

机器阅读理解任务在近年来备受关注,它赋予计算机从文本数据中获取知识和回答问题的能力。如何让机器理解自然语言是人工智能领域长期存在的挑战之一,近年来大规模高质量数据集的发布和深度学习技术的运用,使得机器阅读理解取得了快速发展。基于神经网络的端到端的模型结构,基于预训练语言模型以及推理技术的应用,其性能在大规模评测数据集上有很大提升,但距离真正的理解语言还有较大差距。本文对机器阅读理解任务的研究现状与发展趋势进行了综述,主要包括任务划分、机器阅读理解模型与相关技术的分析,特别是基于知识推理的机器阅读理解技术,总结并讨论了该领域的发展趋势。