基于位置感知的情感可控对话生成模型研究

基于序列到序列的对话生成在实现情感状态转移时大多采用外部情感词嵌入的方式,编码器很难捕获解码器的情感状态,解码器被强制嵌入的外部情感词干扰,造成生成回复情感词堆叠及缺乏情感信息上下文.为解决上述问题,该文提出基于位置感知的情感可控对话生成模型.在编码的过程中,当前输入词向量和位置向量共同参与编码,在不影响当前输入的情况...     

基于注意力机制的主题扩展情感对话生成

越来越多的研究开始聚焦于情感对话生成,然而现有的研究往往只关注情感因素,却忽视了对话中主题的相关性和多样性以及与主题密切相关的情感倾向,这可能导致生成响应的质量下降。因此提出一种融合主题信息和情感因素的主题扩展情感对话生成模型。该模型首先将对话上下文进行全局编码,引入主题模型以获得全局主题词,并使用外部情感词典获得全局情感词;其次在融合模块里利用语义相似度扩展主题词,并利用依存句法分析提取与主题相关的情感词;最后将上下文、主题词和情感词输入到一个基于注意力机制的解码器中,促使解码器生成主题相关的情感响应。实验结果表明,该模型能生成内容丰富且情感相关的回答。相较于主题增强情感对话生成模型（TE-ECG）,所提出的模型在unigram多样性（distinct-1）和bigram多样性（distinct-2）上平均提高了16.3%和15.4%;相较于基于注意力机制的序列到序列模型（Seq2SeqA）,所提出的模型在unigram多样性（distinct-1）和bigram多样性（distinct-2）上平均提高了26.7%和28.7%。     

基于深度学习的情感对话响应综述

人机对话作为人工智能的重要领域,以其方便快捷的交互特点广泛应用于任务型和闲聊型机器人等诸多商业场景,并被视为新一代人机交互的主要形式.但情绪感知与表达能力的缺乏致使人机对话技术在复杂交互场景中难以满足人们对情感交流的强烈需求.为弥补人机对话技术中情感智能的缺失,基于深度学习的情感对话响应任务被提出且已发展为对话领域中一个重要的研究方向.本文首先回顾了基于深度学习的情感对话响应任务的发展历程,其次按照任务将情感对话响应分为可控情感对话生成、共情对话响应、情绪支持、多模态情感对话生成、新任务五类.随后本文也按照常用的结构将模型进行了归类与分析,以求更细致地阐述各种结构在情感对话响应任务中的具体用法,之后介绍了常用数据与评测指标.最后本文也对模型进行了总结,并在此基础上进一步展望了该任务未来的发展方向.     

面向端到端的情感对话生成研究综述

人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注.受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注.其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,生成有意义且多样性的回复,被广泛地应用于情感对话生成研究中.面向基于端到端模型的情感对话生成研究展开综...     

基于多任务深度学习的关键词生成方法

针对现有的关键词生成模型往往不能充分利用题目与关键词之间密切的关系预测关键词的问题,提出一种基于序列到序列的多任务注意力联合训练模型(Joint-MT)。将关键词生成任务作为主要任务,题目生成作为辅助任务;在目标函数上,除独立的多任务交叉熵损失,还添加一致性损失,加强多任务注意力机制之间的约束。实验结果表明,Joint-MT无论是在文内关键词预测还是在缺失关键词预测上都优于其它对比模型,说明Joint-MT模型能够增强任务之间的相互关系,提升关键词预测的效果。     

基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

基于双层解码的多轮情感对话生成模型

情感对话系统的成功取决于语言理解、情感感知和表达能力,同时面部表情和个性等也能提供帮助。然而,尽管这些信息对于多轮情感对话至关重要,但是现有系统既未能够充分利用多模态信息的优势,又忽略了上下文相关性的重要性。为了解决这个问题,提出了一种基于双层解码的多轮情感对话生成模型（MEDG-DD）。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合,以获得更加全面的对话上下文。然后,使用基于注意力机制的双层解码器,以生成与对话上下文相关的富含情感的言辞。实验结果表明,该模型能够有效地整合多模态信息,实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比,该模型在各项评估指标上均有显著的提升。     

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法--基于分层编码的深度增强学习对话模型（EHRED）,用以解决当前标准序列到序列（seq2seq）结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络（RNN）模型5.7~11.1个百分点。     

基于循环神经网络和注意力模型的文本情感分析

将循环神经网络中的长短期记忆网络和前馈注意力模型相结合,提出一种文本情感分析方案。在基本长短期记忆网络中加入前馈注意力模型,并在Tensorflow深度学习框架下对方案进行了实现。根据准确率、召回率和◢F◣▼1▽测度等衡量指标,与现有的方案对比表明,提出的方案较传统的机器学习方法和单纯的长短期记忆网络的方法有明显的优势。     

基于序列到序列神经网络模型的古诗自动生成方法

计算机写诗是实现计算机写作的第一步,目前计算机写诗普遍存在主题不明确、诗的内容与写作意图不一致的问题。为改善这些问题,效仿古人写诗的过程,提出了一种两个阶段生成古诗的方法。第一阶段获取写诗大纲,采用TextRank算法对用户输入文本提取关键词,并提出一种基于注意力机制的序列到序列神经网络模型用于关键词扩展;第二阶段根据写诗大纲生成每一行诗句,并提出一种包含双编码器和注意力机制的序列到序列神经网络模型用于古诗生成。最后通过对实验结果的评估验证了提出方法的有效性。与基准方法相比,该方法生成的古诗的主题意义更加明确,诗所表现的内容和写作意图更加一致。     

基于词典和文本分类算法的中医药文本情感分析研究

使用Python爬虫从新浪微博获取数据,通过数据清洗、采用Jieba分词工具进行分词、去停用词等对数据进行预处理,构建了基于词典和文本分类算法的文本情感分析模型,对微博评论展开研究,模型准确率为0.878.     

基于深度学习的对话情绪生成研究综述

情绪生成是人工情感计算研究中的子任务,在对话系统中情绪生成任务旨在生成待回复话语中的情绪类别。对话情绪生成可以推动对话情绪理解和对话表达研究,同时在智能闲聊机器人、情绪安慰、推荐系统和人机情感交互等诸多智能化领域具有重要的理论意义和实际应用价值。得益于深度神经网络在自然语言处理领域的优异表现,基于深度学习的对话系统情绪生成受到越来越多研究人员的关注。总结目前基于深度学习的对话情绪生成相关工作,现阶段利用深度学习的对话系统情绪生成相关研究主要包含三方面内容：情绪感知、情绪预测和情绪决策。简要介绍了一些常用的情绪对话数据集,最后对该任务当前问题进行了归纳概况并展望未来发展趋势。     

基于情感变量的二阶段对话生成模型

情感对话生成是近年来自然语言处理任务中的热门方向之一,生成带有情感色彩的响应能提高人机间的互动性。现有的情感对话生成模型情感变量单一,容易生成枯燥的响应。为确保响应语句不仅语义逻辑正确且具有多样性,该文提出了二阶段对话生成模型。第一阶段,利用DialoGPT强大的语言理解能力来确保生成语义正确的响应;为解决响应枯燥单调的缺点,该文提出融合主情感变量和混合情感变量作为全局情感变量用于后续操作;第二阶段,在第一阶段生成的响应基础上,利用全局情感变量对语句进行重写操作,从而生成高质量的响应。实验结果表明,该文提出的模型在Empathetic Dialogues数据集上的响应质量要优于基线模型。     

基于多对抗训练的古诗生成方法

目前许多古诗生成方法离人类创作的水平仍有较大的差距,尤其是在主题关联性及诗句的语义方面。为弥补现有方法的不足,提出一种多对抗训练的古诗生成框架。以融合了注意力机制并采用双编码器的序列到序列模型作为古诗生成器,以层级RNN和TextCNN组合的多判别模型指导古诗的生成,同时基于策略梯度进行多对抗训练。在古诗意象数据集上进行实验表明,相较于已提出的方法,基于多对抗训练的古诗生成方法有效提升了诗句与意象词之间的关联性,古诗所表现的语义内涵也更加丰富。     

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向,对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量,并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题,提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话,通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN,能处理GAN在对话生成时导致的反向传播不可微分的情况,在保证生成模型单调非减训练的同时,通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明,对比于极大似然估计与Adver-REGS等对话生成算法,PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。     

基于生成对抗网络的情感对话回复生成

近年来,随着神经网络技术和自然语言处理技术的不断深入发展,基于深度神经网络的对话生成研究取得了突破性的进展,使得人机对话系统广泛应用于生活中,提供便利,比如电商客服、语音助手等。然而,现有的模型倾向于产生一般的回答,普遍缺乏情感因素。针对该问题,提出了一种基于生成对抗网络的情感对话内容生成模型——EC-GAN(emotional conversation generative adversarial network),通过结合多指标奖励与情感编辑约束产生更有意义和可定制的情感回复。对于生成器,使用Seq2Seq模型生成回复,接受判别器的奖励,引导生成句子的回复,提高多样性和情感丰富度;对于判别器,使用双判别器、内容判别器可以确定回复是否属于通用回复,情感判别器判别生成语句的情感与指定的情感类别的一致性,并将判别结果反馈到生成器,指导回复生成。注意观察输入与回复之间的情感变化,验证交互情感的共鸣度存在的方向性。在NLPCC 2017 Shared Task 4——emotional conversation generation的实验表明,模型不仅可以提高回复的流畅性和多样性,同时也显著...     

基于预训练模型和基础词典扩展的酒店评论情感分析

本文主要针对酒店领域的评论信息进行情感分析,研究用户对于酒店配置、服务等方面的态度,以便为酒店提高个性化服务质量提供一定的帮助.本文基于BiLSTM神经网络构建预训练模型进行实验,同时与传统的机器学习算法进行比较,实验结果显示,相较于朴素贝叶斯,支持向量机的分析准确率更为稳定,而利用预训练模型进行预测的精确率相比前两者有小幅度的提高;同时以基础词典为主体,构建适用于酒店评论的扩展情感词典,对否定词的权重进行了弱化处理,减小对带有相反含义语句的分类效果的影响,将基础词典与扩展词典对获取的同一语料进行情感分类,比较二者的结果表明采用扩展词典进行正向分类的准确率为86%,负向分类的准确率为84%,结果显示扩展词典分类比基础词典的分类效果更好.     

基于多方注意力建模的对话情感分类

对话情感分析旨在对一段对话中的每个句子进行情感分类,既要考虑到说话者个人的情感惯性,也要考虑到说话者之间的情感传递,对于构建具有移情功能的对话系统等具有重要作用。在目前已有的工作中,多数是基于循环神经网络构建记忆网络对说话者建模,该文从基于Transformer的对话建模的角度出发,为了多方注意力机制建模不同说话者之间的交互,更好地模拟对话场景。实验表明,该文提出的Dialogue Transformer相较于其他前沿模型,其实现简洁,运行速率更快,且加权F₁值也有较大提高。     

基于指针生成网络的中文对话文本摘要模型

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network, PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果.     

基于Reformer模型的文本情感分析

为提高中文文本情感分析任务的准确率,优化训练时长,提出基于Reformer的文本情感分析模型.利用Reformer模型的上下文语义编码能力,充分获得文本上下文的特征,提高文本分类准确率;在Transformer模型的基础上,引入局部敏感哈希注意力机制及可逆残差,降低模型的复杂度及内存的占用.在3个公开数据集上进行实验,...