基于答案及其上下文信息的问题生成模型

基于文本的问题生成是从给定的句子或段落中生成相关问题。目前,主要采用序列到序列的神经网络模型来研究包含答案的句子生成问题,然而这些方法存在以下问题:①生成的疑问词与答案类型不匹配;②问题与答案的相关性不强。该文提出一个基于答案及其上下文信息的问题生成模型。该模型首先根据答案与上下文信息的关系确定与答案类型匹配的疑问词;然后利用答案及其上下文信息确定问题相关词,使问题尽可能使用原文中的词;最后结合原句作为输入来生成问题。相关实验表明,该文提出的模型性能明显优于基线系统。     

基于序列到序列神经网络模型的古诗自动生成方法

计算机写诗是实现计算机写作的第一步,目前计算机写诗普遍存在主题不明确、诗的内容与写作意图不一致的问题。为改善这些问题,效仿古人写诗的过程,提出了一种两个阶段生成古诗的方法。第一阶段获取写诗大纲,采用TextRank算法对用户输入文本提取关键词,并提出一种基于注意力机制的序列到序列神经网络模型用于关键词扩展;第二阶段根据写诗大纲生成每一行诗句,并提出一种包含双编码器和注意力机制的序列到序列神经网络模型用于古诗生成。最后通过对实验结果的评估验证了提出方法的有效性。与基准方法相比,该方法生成的古诗的主题意义更加明确,诗所表现的内容和写作意图更加一致。     

基于密令位置信息特征的问题生成

问题生成是指在理解特定陈述句语义的前提下,自动地生成一条或多条关于该陈述句的问题。该文主要针对其中一项子任务开展研究,即一对一的问题生成(Point-wise Question Generation,PQG)。现有PQG研究,主要以端到端的序列化生成模型为框架,相应方法生成的问句,在流畅度方面已达到有限的可接受度(BlEU-4约13%)。尽管如此,现有方法缺乏语块一级的注意力建模,从而无法将“潜在提问对象”的语义独立且整体地纳入表示学习过程。这一不足往往负面影响解码端的问题类型预测和提问词估计。针对这一问题,该文提出了一种融合密令注意力机制的端对端PQG模型。其中,密令是对短语和语块一级的潜在答案的总体概括,其往往表现为陈述句中的一组连续的词项。在方法实现方面,该文在端对端架构的编码过程中,将密令的位置信息与全句语义信息进行融合,而在解码过程中,则加强了针对密令的注意力。实验采用SQuAD语料予以实施,测试结果显示,该文所提方法的性能优于现有主流模型,其获得的BLEU-4指标高于基准系统1.98%。     

基于位置感知的情感可控对话生成模型研究

基于序列到序列的对话生成在实现情感状态转移时大多采用外部情感词嵌入的方式,编码器很难捕获解码器的情感状态,解码器被强制嵌入的外部情感词干扰,造成生成回复情感词堆叠及缺乏情感信息上下文.为解决上述问题,该文提出基于位置感知的情感可控对话生成模型.在编码的过程中,当前输入词向量和位置向量共同参与编码,在不影响当前输入的情况...     

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题,提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统,结合情感词典识别输入语句的情绪特征并计算回复语句的情感值,基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明,相对传统的对话生成模型,提出模型可以主动识别用户情绪,生成更加合乎逻辑、适应语境的回复,实现拟人程度更高的情感对话过程。     

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法--基于分层编码的深度增强学习对话模型（EHRED）,用以解决当前标准序列到序列（seq2seq）结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络（RNN）模型5.7~11.1个百分点。     

基于多对抗训练的古诗生成方法

目前许多古诗生成方法离人类创作的水平仍有较大的差距,尤其是在主题关联性及诗句的语义方面。为弥补现有方法的不足,提出一种多对抗训练的古诗生成框架。以融合了注意力机制并采用双编码器的序列到序列模型作为古诗生成器,以层级RNN和TextCNN组合的多判别模型指导古诗的生成,同时基于策略梯度进行多对抗训练。在古诗意象数据集上进行实验表明,相较于已提出的方法,基于多对抗训练的古诗生成方法有效提升了诗句与意象词之间的关联性,古诗所表现的语义内涵也更加丰富。     

一种会话理解模型的问题生成方法

会话问题生成(Conversational Question Generation,CQG)不同于根据段落和答案生成单轮问题的问题生成任务,CQG额外考虑由历史问答对构成的会话信息,生成的问题承接会话历史内容,保持较高的一致性.针对这一特性,文中提出了字级别和句级别注意力机制模块来增强对会话历史信息的提取能力,确保当前...     

基于句子级LSTM编码的文本标题生成

在标题自动生成任务中,BiLSTM表示文本是随着时间循环递归对每个单词进行编码,需要逐字读取单词序列,语义信息会随着状态的传递不断减弱.对此,构建一个句子级LSTM的编码器,并行对文本中每个单词编码表示.循环步骤同时对单词之间的局部状态和整体文本的全局状态进行信息交换,编码得到语义表示后使用混合指针网络的解码器生成标题...     

基于多任务深度学习的关键词生成方法

针对现有的关键词生成模型往往不能充分利用题目与关键词之间密切的关系预测关键词的问题,提出一种基于序列到序列的多任务注意力联合训练模型(Joint-MT)。将关键词生成任务作为主要任务,题目生成作为辅助任务;在目标函数上,除独立的多任务交叉熵损失,还添加一致性损失,加强多任务注意力机制之间的约束。实验结果表明,Joint-MT无论是在文内关键词预测还是在缺失关键词预测上都优于其它对比模型,说明Joint-MT模型能够增强任务之间的相互关系,提升关键词预测的效果。     

问题生成研究综述

问题生成是给定文本,自动生成内容通顺、语义相关的自然语言问题.问题生成可应用于教育领域的阅读理解、辅助问答系统和对话系统,因此近年来引起了研究者的广泛关注和兴趣.该文对问题生成的相关研究进行了综述.首先阐释了问题生成的研究意义与应用场景,继而简略概述了基于规则的问题生成方法,然后从输入文本是句子/段落、有/无答案信息等...     

基于佐证图神经网络的多跳问题生成

多跳问题生成任务旨在聚合多段离散信息进行复杂推理并生成自然语言的问句。对于给定的问答对,文本中多数句子都是冗余或含有不相关信息的句子,而之前大多数方法在模型的训练和应用推断中都需要提前标注好的句级标签。然而,大规模的句子标注数据在现实场景中是难以获取的。为了解决这一问题,该文提出一种基于佐证句选择的图神经网络(Graph-based Evidence Selection network,GES)。该模型通过图神经网络从离散文档中提取出若干个关键句,然后根据对应结果引入归纳偏置来辅助问题生成。同时采用直通估计量(straight-through estimator)来端到端地训练模型。在公开数据集HotpotQA的对比实验中,该方法在问题生成的多个指标上均取得了显著的性能提升。     

基于双注意力的段落级问题生成研究

段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的段落级问题生成模型。该模型首先对段落和答案所在句子分别使用注意力机制,然后利用门控机制动态地分配权重并融合上下文信息,最后利用改进的指针生成网络结合上下文向量和注意力分布来生成问题。实验结果表明,该模型在SQuAD数据集上比现有主流模型具有更高的性能。     

结合问题类型及惩罚机制的问题生成

问题生成旨在理解输入端的语义,从而自动生成疑问句.该文主要解决目标答案可知的问题生成任务,输入为陈述句和目标答案,输出为疑问句,该疑问句的答案为给定的目标答案.为了提高问题类型的准确率,使问句的表述更确切,该文提出一种融合问题类型及惩罚机制的问题生成模型,首先使用预训练BERT模型对问题类型进行分类,得到对应问题类型的...     

基于关键信息的问题相似度计算

判断问题相似是社区问答(community question answer, CQA)中很重要的一个研究方向.社区问答中的问题通常由主题和描述构成.由于社区问答的开放性,用户的提问长短不一,而问题中会包含大量干扰模型判断问题是否相似的背景信息.为了减少上述问题对计算问题相似度的影响,模型将关键词及问题主题视为问题的关键信息,并使用这些信息计算问题相似度.首先,在基于文本间相似及相异信息的CNN模型的基础上引入了关键词抽取技术.同时,为了更好地利用问题主题的信息,模型融合了问题主题相似度的特征.模型在SemEval2017评测的问题相似任务中进行了实验,其平均精度均值(mean average precision, MAP)达到了49.65%,超过了评测中的最佳结果.     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码...     

基于Graph Transformer的知识库问题生成

知识库问答依靠知识库推断答案,需要大量带标注信息的问答对,但构建大规模且精准的数据集不仅代价昂贵,还受领域等因素限制.为缓解数据标注问题,面向知识库的问题生成任务引起了研究者关注,该任务的特点是利用知识库三元组自动生成问题,但现有方法仅由一个三元组生成的问题过于简短,且缺乏多样性.为生成信息量丰富且多样化的问题,该文采...