基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.     

基于多视角对抗学习的开放域对话生成模型

近年来,随着智能家居的普及,对话系统在生活中发挥着越来越重要的作用,基于神经网络构建的生成式对话系统由于其灵活性高受到了许多研究者的关注。以提高生成模型对话的流畅性、上下文相关性为目的,提出基于多视角对抗学习的开放域对话生成模型。其中,模型生成器是基于检索到的相似对话进行改写得到生成的对话;模型的判别器是由两个二分类器共同组成的,该二元判别器分别从句子、对话两个层面多视角地对生成句子进行判别。在中文对话语料上进行实验,该模型在人工评价和自动评测上的得分都高于目前常用的对话生成模型。实验结果表明,利用二元判别器多视角训练可以同时提高生成回复的流畅度和上下文相关性。     

基于记忆网络的知识感知医疗对话生成

为了解决就医过程中医疗资源短缺和患者时间不充裕、行程不便的问题,提出了结合外部知识的基于记忆网络的知识感知医疗对话生成模型(memory networks based knowledge-aware medical dialogue generation model, MKMed).该模型首先通过利用精确字匹配的方法在对话历史中进行实体追踪;随后在外部实体知识数据库里设计2阶段的实体预测,筛选出可能出现在回复中的医疗实体及对应知识,其中2阶段实体预测分别利用计算共现矩阵和余弦相似度的方法;模型接着用记忆网络来存储知识和对话历史的信息;最后整合记忆网络存储的信息,并使用注意力机制以及循环神经网络生成回复.在带有外部知识的大规模医疗对话数据集KaMed上进行了相关实验,该数据集为收集自在线平台的真实数据.实验结果表明提出的模型生成的回复在流畅性、多样性、正确性和专业性等方面均显著优于大部分基准模型.证明了合理引入外部知识的医疗对话模型能产生成更有医疗价值的回复.     

基于生成对抗网络的情感对话回复生成

近年来,随着神经网络技术和自然语言处理技术的不断深入发展,基于深度神经网络的对话生成研究取得了突破性的进展,使得人机对话系统广泛应用于生活中,提供便利,比如电商客服、语音助手等。然而,现有的模型倾向于产生一般的回答,普遍缺乏情感因素。针对该问题,提出了一种基于生成对抗网络的情感对话内容生成模型——EC-GAN(emotional conversation generative adversarial network),通过结合多指标奖励与情感编辑约束产生更有意义和可定制的情感回复。对于生成器,使用Seq2Seq模型生成回复,接受判别器的奖励,引导生成句子的回复,提高多样性和情感丰富度;对于判别器,使用双判别器、内容判别器可以确定回复是否属于通用回复,情感判别器判别生成语句的情感与指定的情感类别的一致性,并将判别结果反馈到生成器,指导回复生成。注意观察输入与回复之间的情感变化,验证交互情感的共鸣度存在的方向性。在NLPCC 2017 Shared Task 4——emotional conversation generation的实验表明,模型不仅可以提高回复的流畅性和多样性,同时也显著...     

医疗诊断本体自动生成系统的研发

本体是概念化的明确的规范说明,其目标是捕获相关领域的知识,提供对该领域知识的共同理解,确定该领域内共同认可的词汇,并从不同层次的形式化模式上给出这些词汇(术语)和词汇间相互关系的明确定义。传统的手工本体建模是一项耗时费力的繁杂工作。研发一个面向医疗诊断领域的本体自动生成系统,主要是对电子病历进行分析挖掘,构造医疗诊断本体,为今后的医疗诊断智能系统的开发建立知识基础。     

医疗诊断本体自动生成系统的研发

本体是概念化的明确的规范说明,其目标是捕获相关领域的知识,提供对该领域知识的共同理解。确定该领域内共同认可的词汇,并从不同层次的形式化模式上给出这些词汇（术语）和词汇间相互关系的明确定义。传统的手工本体建模是一项耗时费力的繁杂工作。研发一个面向医疗诊断领域的本体自动生成系统,主要是对电子病历进行分析挖掘．构造医疗诊断本体．为今后的医疗诊断智能系统的开发建立知识基础．     

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向,对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量,并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题,提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话,通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN,能处理GAN在对话生成时导致的反向传播不可微分的情况,在保证生成模型单调非减训练的同时,通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明,对比于极大似然估计与Adver-REGS等对话生成算法,PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。     

基于Prompt的两阶段澄清问题生成方法

在自然语言相关系统中,当用户输入存在歧义时,生成澄清问题询问用户有助于系统理解用户需求;基于Prompt的方法可以更好地挖掘预训练语言模型的潜在知识,但往往需要手动设计模板,限制其生成澄清问题的多样性。为解决这一问题,提出了TSCQG（two-stage clarification question generation）方法。首先,在动态Prompt模板生成阶段,利用歧义上下文和预训练语言模型生成动态的Prompt模板;然后在缺失信息生成阶段,将Prompt模板与外部知识相结合,充分利用预训练语言模型的生成能力生成相应的缺失信息。实验结果表明,在CLAQUA数据集的多轮对话情况中,BLEU值和ROUGE-L值分别达到了58.31和84.33,在ClariQ-FKw数据集上,BLEU值和ROUGE-L值分别达到了31.18和58.86。实验结果证明了TSCQG方法在澄清问题生成任务上的有效性。     

基于对话约束的回复生成研究

现有的对话系统中存在着生成“好的”“我不知道”等无意义的安全回复问题。日常对话中,对话者通常围绕特定的主题进行讨论且每句话都有明显的情感和意图。因此该文提出了基于对话约束的回复生成模型,即在Seq2Seq模型的基础上,结合对对话的主题、情感、意图的识别。该方法对生成回复的主题、情感和意图进行约束,从而生成具有合理的情感和意图且与对话主题相关的回复。实验证明,该文提出的方法能有效提高生成回复的质量。     

基于改进编解码器和情感词典的对话生成模型

针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题,提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统,结合情感词典识别输入语句的情绪特征并计算回复语句的情感值,基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明,相对传统的对话生成模型,提出模型可以主动识别用户情绪,生成更加合乎逻辑、适应语境的回复,实现拟人程度更高的情感对话过程。     

基于深度学习的对话情绪生成研究综述

情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重要的理论意义和实际应用价值。得益于深度神经网络在自然语言处理领域的优异表现,基于深度学习的对话系统情绪生成受到越来越多研究人员的关注。总结目前基于深度学习的对话情绪生成相关工作,现阶段利用深度学习的对话系统情绪生成相关研究主要包含三方面内容：情绪感知、情绪预测和情绪决策。简要介绍了一些常用的情绪对话数据集,最后对该任务当前问题进行了归纳概况并展望未来发展趋势。     

基于深度学习的情感对话响应综述

人机对话作为人工智能的重要领域,以其方便快捷的交互特点广泛应用于任务型和闲聊型机器人等诸多商业场景,并被视为新一代人机交互的主要形式.但情绪感知与表达能力的缺乏致使人机对话技术在复杂交互场景中难以满足人们对情感交流的强烈需求.为弥补人机对话技术中情感智能的缺失,基于深度学习的情感对话响应任务被提出且已发展为对话领域中一个重要的研究方向.本文首先回顾了基于深度学习的情感对话响应任务的发展历程,其次按照任务将情感对话响应分为可控情感对话生成、共情对话响应、情绪支持、多模态情感对话生成、新任务五类.随后本文也按照常用的结构将模型进行了归类与分析,以求更细致地阐述各种结构在情感对话响应任务中的具体用法,之后介绍了常用数据与评测指标.最后本文也对模型进行了总结,并在此基础上进一步展望了该任务未来的发展方向.     

基于图卷积网络的知识感知对话生成

引入结构化知识的对话系统因为能够生成流畅度更高、多样性更丰富的对话回复而受到广泛关注, 但是以往的研究只注重于结构化知识中的实体, 却忽略了实体之间的关系以及知识的完整性. 本文提出了一种基于图卷积网络的知识感知对话生成模型(KCG). 该模型通过知识编码器分别捕获实体与关系的语义信息并利用图卷积网络增强实体表征; 再利用知识选择模块获得与对话上下文相关的实体与关系的知识选择概率分布; 最后将知识选择概率分布与词表概率分布融合, 解码器以此选择知识或词表字词. 本文在中文公开数据集DuConv上进行实验, 结果表明, KCG在自动评估指标上优于目前的基线模型, 能生成更加流畅并且内容更加丰富的回复.     

融合检索与生成的复合对话模型

对话模型是自然语言处理的重要方向之一.现如今的对话模型主要分为基于检索的方式和基于生成的方式.然而,检索方式无法回应语料库中未出现的问句,而生成方式容易出现安全回复的问题.鉴于此,提出融合检索与生成的复合对话模型,通过将检索方式与生成方式相结合来弥补各自的缺点.首先通过检索模块得到K个检索上下文以及所对应的K个检索候选...     

基于场景与对话结构的摘要生成研究

对话摘要是从复杂的对话中提取关键信息以转化成简短的文本,供用户快速浏览对话内容。相比传统文本摘要,对话摘要数据具有篇幅较长、结构复杂等特点。传统的摘要模型难以充分地利用数据的长文本信息,并且无法考虑对话的结构信息。为此,结合抽取和生成模型,提出一种基于场景与对话结构的摘要生成方法,以对话中的场景、角色和对话内容为主要信息生成对话摘要。通过对话解析构建以角色、动作说明和会话为要素的对话结构图,并使用序列标注任务微调BERT预训练模型,生成以对话句子为单位的向量表示,利用图神经网络建模对话结构,筛选出包含关键信息的句子。在此基础上,将得到的抽取结果作为生成模型的输入,利用双向自回归变压器（BART）预训练模型作为基础框架,在编码端额外引入角色和场景信息,丰富生成模型的语义特征,使用加入多头注意力机制的解码器生成摘要。实验结果表明,相比BART、MV＿BART、HMNet等方法,该方法在ROUGE-1指标上最高可提升5.3个百分点。     

基于检索结果融合机制的对话生成模型

对话生成模型是对话系统中十分重要的组件.传统的对话生成模型仅利用用户的输入信息生成回复,这导致在生成过程中常会出现无意义的万能回复.最近有工作尝试将检索的方法融入生成模型从而提高模型的生成质量,但这些方法往往将重点放在如何编辑检索结果上,没有考虑检索结果与用户查询之间的语义空间差别.为解决这一问题,该文提出了基于检索结...     

基于情感变量的二阶段对话生成模型

情感对话生成是近年来自然语言处理任务中的热门方向之一,生成带有情感色彩的响应能提高人机间的互动性。现有的情感对话生成模型情感变量单一,容易生成枯燥的响应。为确保响应语句不仅语义逻辑正确且具有多样性,该文提出了二阶段对话生成模型。第一阶段,利用DialoGPT强大的语言理解能力来确保生成语义正确的响应;为解决响应枯燥单调的缺点,该文提出融合主情感变量和混合情感变量作为全局情感变量用于后续操作;第二阶段,在第一阶段生成的响应基础上,利用全局情感变量对语句进行重写操作,从而生成高质量的响应。实验结果表明,该文提出的模型在Empathetic Dialogues数据集上的响应质量要优于基线模型。     

任务型对话系统中的自然语言生成研究进展综述

任务型对话系统中的自然语言生成模块(ToDNLG)旨在将系统的对话动作转换为 自然语言回复,其受到研究者的广泛关注.随着深度神经网络的发展和预训练语言模型的爆发,ToDNLG的研究已经获得了重大突破.然而,目前仍然缺乏对现有方法和最新趋势的全面调研.为了填补这个空白,该文全面调研了 ToDNLG的最新进展和前沿领域,包...     

基于抽取的高考作文生成

机器人自动写作是人工智能和自然语言处理领域重要的研究方向,然而传统的自动写作方法主要针对体育新闻、天气预报等较短的段落级文本进行研究,并没有对篇章级文本自动生成技术进行深入地建模.针对这一问题,我们着重研究面向高考作文的篇章级文本生成任务.具体而言我们提出了一种基于抽取式的高考作文生成模型,即先进行抽取再利用深度学习排序方法进行段落内部的文本组合生成.通过实际专家评测,我们所生成的作文能够达到北京高考二类卷平均分数,具有一定的实际应用价值.