基于多视角图编码的选择式阅读理解方法

选择式阅读理解通常采用证据抽取和答案预测的两阶段流水线框架,答案预测的效果非常依赖于证据句抽取的效果.传统的证据抽取多依赖词段匹配或利用噪声标签监督证据抽取的方法,准确率不理想,这极大地影响了答案预测的性能.针对该问题,提出一种联合学习框架下基于多视角图编码的选择式阅读理解方法,从多视角充分挖掘文档句子之间以及文档句子和问句之间的关联关系,实现证据句及其关系的有效建模;同时通过联合训练证据抽取和答案预测任务,利用证据和答案之间强关联关系提升证据抽取与答案预测的性能.具体来说,所提方法首先基于多视角图编码模块对文档、问题和候选答案联合编码,从统计特性、相对距离和深度语义3个视角捕捉文档、问题和候选答案之间的关系,获得问答对感知的文档编码特征;然后,构建证据抽取和答案预测的联合学习模块,通过协同训练强化证据与答案之间的关系,证据抽取子模块实现证据句的选择,并将其结果和文档编码特征进行选择性融合,并用于答案预测子模块完成答案预测.在选择式阅读理解数据集ReCO和RACE上的实验结果表明,所提方法提升了从文档中选择证据句子的能力,进而提高答案预测的准确率.同时,证据抽取与答案预测联合学习很大程...     

基于词性特征的明喻识别及要素抽取方法

比喻是一种利用事物之间的相似点建立关系的修辞方式。明喻是比喻中最常见的形式,具有明显的喻词,例如"像",用于关联本体和喻体。近年来高考语文散文类鉴赏题中多有考查明喻句的试题,为了解答此类鉴赏题,需要识别比喻句中的本体和喻体要素。该文提出了基于词性特征的明喻识别及要素抽取方法。首先将句子中词向量化表示与词性特征向量化表示进行融合,将融合后的向量输入到BiLSTM中进行训练,然后利用CRF解码出全局最优标注序列;最后得到明喻识别和要素抽取的结果。公开数据集上的实验结果表明,该方法优于已有的单任务方法;同时也将该文方法应用于北京高考语文鉴赏题中比喻句的识别与要素抽取,验证了方法的可行性。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

基于问答交互的答案句选择算法

答案选择任务的精度对问答系统、文本处理等应用的效果具有重要的影响.针对答案选择模型问句与候选答案句语义信息和句子浅层特征利用不充分的问题,提出一种基于问答句交互的答案选择模型.给定问句Q和候选答句A,模型首先使用BiLSTM编码器对它们进行编码,然后针对问句Q使用Feed-Forward注意力机制得到句子编码;针对答句...     

基于语言特征自动获取的反问句识别方法

反问句是以疑问的形式表达强烈情感的修辞方式,对其有效识别可为自然语言处理中的情感分析任务提供技术支持。该文提出了一种基于语言特征自动获取的反问句识别方法。首先,利用标签注意机制,建立了一个数据驱动的特征抽取模型,用于获取与任务相关的词汇、句法结构、符号标记和话题等语言特征。其次,利用Bi-LSTM模型分别对句子和语言特征进行表示,两者的交互注意被用于获取句子的各个词和符号的注意力权重向量。该权重向量作用于句子的表示,用于构建一个强化语言特征的反问句识别模型。在中文微博数据集上的实验结果表明,提出的方法与之前的工作相比,反问句识别性能有显著提升。     

基于句子关联图的汉越双语多文档新闻观点句识别

传统的观点句识别多利用句子内部的情感特征进行分类,而在跨语言的多文档观点句识别任务中,不同语言、不同文档的句子之间具有密切的关联,这些关联特征对于观点句识别有一定的支撑作用。因此,提出一种基于双向长短期记忆（Bi-LSTM）网络框架并融入句子关联特征的汉越双语多文档新闻观点句识别方法。首先提取汉越双语句子的情感要素和事件要素,构建句子关联图,并利用TextRank算法得到句子关联特征;然后基于双语词嵌入和Bi-LSTM将汉语和越语的新闻文本编码在同一个语义空间;最后联合考虑句子编码特征和关联特征进行观点句识别。理论分析和模拟结果表明,融入句子关联图能够有效地提升多文档观点句识别的准确率。     

面向阅读理解复杂问题的句子融合

阅读理解是目前NLP领域的一个研究热点。阅读理解中好的复杂问题解答策略不仅要进行答案句的抽取,还要对答案句进行融合、生成相应的答案,但是目前的研究大多集中在前者。该文针对复杂问题解答中的句子融合进行研究,提出了一种兼顾句子重要信息、问题关联度与句子流畅度的句子融合方法。该方法的主要思想为: 首先,基于句子拆分和词重要度选择待融合部分;然后,基于词对齐进行句子相同信息的合并;最后,利用基于依存关系、二元语言模型及词重要度的整数线性规划优化生成句子。在历年高考阅读理解数据集上的测试结果表明,该方法取得了82.62%的F值,同时更好地保证了结果的可读性及信息量。     

基于隐马尔可夫模型的主观句识别

文本情感倾向分析是意见挖掘和情感文摘中的一个重要环节,而在情感倾向分析中涉及到的是主观性文本,这就需要进行主客观文本分类。当前的主客观文本分类方法主要是基于特征词典的概率统计方法,并没有考虑特征之间的语法与语义关系。针对该问题,该文提出一种基于隐马尔可夫模型(HMM)的主观句识别方法。该方法首先从训练语料中抽取具有明显分类效果的七类主客观特征,然后每个句子应用HMM进行特征角色类别标注,并依据标注的结果计算句子的权重,最终识别主观句。该方法在第六届中文倾向性分析评测任务中能够有效地识别主观句。     

基于句子关联图的汉越双语多文档新闻观点句识别

传统的观点句识别多利用句子内部的情感特征进行分类，而在跨语言的多文档观点句识别任务中，不同语言、不同文档的句子之间具有密切的关联，这些关联特征对于观点句识别有一定的支撑作用。因此，提出一种基于双向长短期记忆（Bi-LSTM）网络框架并融入句子关联特征的汉越双语多文档新闻观点句识别方法。首先提取汉越双语句子的情感要素和事件要素，构建句子关联图，并利用TextRank算法得到句子关联特征；然后基于双语词嵌入和Bi-LSTM将汉语和越语的新闻文本编码在同一个语义空间；最后联合考虑句子编码特征和关联特征进行观点句识别。理论分析和模拟结果表明，融入句子关联图能够有效地提升多文档观点句识别的准确率。     

基于细粒度特征的话题句识别方法

话题句（TC）识别中采用穷举方法生成标点句的候选话题句（CTC）影响系统的执行效率和话题句识别的准确率。提出一种新的候选话题句生成方法,利用标点句在篇章中的位置特征、话题的语法特征以及话题串与说明的邻接性特征,指导候选话题句的生成过程。实验结果表明,该方法减少了候选话题句的个数,提高了系统效率。而且,通过与基于穷举式候选话题句生成策略的话题句识别工作进行对比,该方法使单个标点句话题句识别的准确率提高了0.96个百分点,使标点句序列话题句识别的准确率提高了1.31个百分点。     

基于网络的中文问答系统及信息抽取算法研究

问答系统(Question Answering System)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著,对测试问题集的MRR值达到0.51。     

基于网络的中文问答系统的研究

文章设计并实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间,提出了一种针对该系统的信息抽取算法,并采用一种基于语句相似度计算的答案抽取算法并且进行了改进。实验结果表明该系统对人名及时间类型的问题效果显著。对测试问题集的MRR值达到0.47。     

利用模式及语言学特征提高阅读理解性能

阅读理解(reading comprehension,RC)任务的目的在于理解一篇文档并对提出的问题返回答案句.提出了一种充分利用外部资源来提高RC系统性能的方法,使得RC系统性能在Remedia和ChungHwa两种语料上均得到提高.特别地,在对基于Remedia语料RC系统的性能分析表明,24.1%的性能提高归因于基于Web的答案模式匹配的运用,11.1%的性能提高归因于语言学特征匹配策略运用.同时也进行了t-test,结果表明答案模式匹配、语言学特征匹配和词汇语义关联推理的运用所得到的性能提高是显著的.     

基于外部知识和层级篇章表示的阅读理解方法

阅读理解指的是基于给定文章自动回答相关问题,这是人工智能及自然语言处理领域的一个研究热点。目前已提出许多基于深度学习的阅读理解方法,但是这些方法对问题理解及篇章建模不充分,导致模型获取答案准确率不高。为了解决上述问题,该文提出一个基于外部知识和层级篇章表示的阅读理解方法。该方法特点有: ①通过引入问题重要词的字典释义、HowNet义原,并结合问题类型,加强问题理解; ②使用层级篇章表示,提升模型对篇章的理解; ③在一个框架下联合优化问题类型预测与答案预测两个子任务。在DuReader数据集上的实验结果表明,该方法与基线系统性能相比最大提升了8.2%。     

基于阅读理解智能问答的RPR融合模型研究

基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本,然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答,但这种方法遇到原文中不存在的答案片段或需要对原文总结后回复这两种情况时不能很好解决,而使用预训练模型进行生成式模型训练,这种生成式回复在一定程度上解决了需要总结原文才能回答的问题。因此,改进了只采用RoBERTa-wwm-ext模型进行抽取答案的方式,在此基础上融合了基于RAG模型的生成式问答模型,用于回答RoBERTa-wwm-ext等抽取式模型无法处理的问题。同时,吸取了PGN模型的优点,对RAG模型进行改进得到RPGN子模型,可以更好地利用阅读理解的文章生成合理的答案。由此,提出RPR(RAG、PGN、RoBERTa-wwm-ext)的融合模型,用于同时处理抽取式问题任务和生成式问答任务。     

AnswerSeeker:基于互联网挖掘的智能问答系统

智能问答系统是一种处理自然语言的新型的信息检索系统。介绍了AnswerSeeker智能问答系统,该系统采用了模块化和可扩展的框架,以便整合多种智能问答技术和多样化数据源。通过将与语言无关的代码和语言相关的代码分离,并且将语言相关的代码封装为组件,只要替换相应的组件,该系统可以适用于多种语言。由于很多自然语言处理技术还没有针对中文的,目前为止,我们系统的内核只支持英文,所以将以英语自然语言为例介绍AnswerSeeker的架构和工作原理。该系统采用了两种互联网挖掘的方法来寻找问题的答案：知识挖掘和知识诠释。AnswerSeeker使用网络作为一个知识源,当然它也可以使用其他小的语料库或面向专业领域的知识库作为知识源。此外,提出了一种新的问题的表示和答案提取的方法一文本模式,文本模式分为问题模式和答案模式;其中问题模式用来表示问题,答案模式用来提取精确的答案。AnswerSeeker通过将问题-答案对作为训练数据,自动学习答案模式。实验表明将互联网作为知识源,将模式学习和知识诠释的技术集成在同一系统中进行答案挖掘是一种这种很有前途的方法。     

句子相似度计算新方法及在问答系统中的应用

计算句子的相似度在机器问答、机器翻译、文本分类等系统中有着非常重要的作用。该文对基于相同关键词的句子相似模型作了进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词以及近义词的情形。并以此为基础,实现了一个基于常问问题集的中文自动问答系统,对用户以自然语言输入的问题,该系统能够自动地在FAQ（Frequently-Asked Question）库中寻找候选问题集,通过计算句子相似度,将匹配的答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验结果表明,这种新方法在问答系统中匹配问句时比其他方法具有较高的准确率。     

融合事实文本的知识库问答方法

在自然语言问题中,由于知识库中关系表达的多样化,通过表示学习匹配知识库问答的答案仍是一项艰巨任务.为了弥补上述不足,文中提出融合事实文本的知识库问答方法,将知识库中的实体、实体类型和关系转换为事实文本,并使用双向Transformer编码器(BERT)进行表示,利用BERT丰富的语义模式得到问题和答案在低维语义空间中的...     

面向高考历史科目试题的自动答题系统

高考是综合评估人类知识和能力水平的标准化考试,与传统的自动问答任务相比其挑战性更高。该文面向我国高考试题历史部分,基于深度神经网络技术,构建了历史科目试题自动答题系统。在答题系统中融合知识的一个主要挑战是知识的上下文相关性: 对于一个问题,在知识库存储的大量知识中,只有少数知识与回答该问题相关。针对这一挑战,该文设计了一种结合知识检索与机器阅读理解的知识融合自动答题系统。该系统利用知识检索的相关排序能力和机器阅读理解模型的知识定位能力,有效地发现问题相关的知识,从而增强自动答题的效果。实验结果显示,该系统可有效地作答高考历史科目试题。     

基于多策略的单文档问答式信息检索技术

单文档问答式信息检索,即是阅读理解(Reading Comprehension,简称RC).该任务的目的在于理解一篇文档并对提出的问题返回答案句.提出了充分利用外部资源采用多策略技术来提高RC系统性能的方法,包括基于Web的答案模式匹配应用、词汇语义关联推理以及上下文辅助等策略.本方法使得RC系统性能在Remedia标准测试集上的性能得到提高.描述了不同策略对提高系统性能的有效性,t-test结果表明,运用答案模式匹配和词汇语义关联推理策略所得到的性能显著提高;同时分析了指代消解策略在系统中的关键作用;最后比较了RC任务和多文档问答式信息检索(Question Answering,简称QA)任务的差异性.