基于深度学习的关键词生成研究综述

关键词生成是自然语言处理中一项经典但具有挑战性的任务,需要从文档中自动生成一组具有代表性和特征性的词语。基于深度学习的序列到序列模型在这项任务中取得了显著的效果,弥补了以往关键词抽取存在的一个严重缺陷：无法产生不存在于原文中的关键词。由于其产生的结果更切合实际,关键词生成方法逐渐超越了以往的抽取方法,成为了关键词提取任务的主流方法。介绍了关键词提取的发展历程以及关键词生成任务的主要数据集,对基础设计采用序列到序列模型的关键词生成方法进行了分类梳理,分析其原理和优缺点。概述了关键词生成任务的评价方法,并对其未来研究重点进行了展望。     

基于注意力机制的Tree2Seq代码注释自动生成

代码注释可以帮助开发人员快速理解代码,降低代码维护成本。为了保留代码的结构信息,针对经典的Seq2Seq模型将代码的结构信息压缩为序列,导致结构信息丢失的问题,提出使用Tree-LSTM编码器直接将代码转化成抽象语法树进行编码,使注释生成模型能有效获取代码的结构信息,提升注释生成效果。采用基于注意力机制的Tree2Seq模型实现代码注释生成任务,避免了编码器端将所有输入信息压缩为固定向量,导致部分信息丢失的情况。通过在Java和Python 2种编程语言的数据集上进行实验,使用3种机器翻译常用的自动评测指标进行评估验证,并选取一部分测试数据进行了人工评估。实验结果表明,基于注意力机制的Tree2Seq模型能为解码器提供更全面且丰富的语义结构信息,为后续实验分析和改进提供指导。     

判别增强的生成对抗模型在文本至图像生成中的研究与应用

目前大部分基于生成对抗网络GAN的文本至图像生成算法着眼于设计不同模式的注意力生成模型,以提高图像细节的刻画与表达,但忽略了判别模型对局部关键语义的感知,以至于生成模型可能生成较差的图像细节“欺骗“判别模型。提出了判别语义增强的生成对抗网络DE-GAN模型,试图在判别模型中设计词汇-图像判别注意力模块,增强判别模型对关键语义的感知和捕捉能力,驱动生成模型生成高质量图像细节。实验结果显示,在CUB-Bird数据集上,DE-GAN在IS指标上达到了4.70,相比基准模型提升了4.2%,达到了较高的性能表现。     

基于深度学习的个性化聊天机器人研究

为了对传统的聊天机器人局限性进行改进,增强其回复时的个性化和多样化,并使其具有一定的准确性,研究改进了一种基于深度学习Seq2Seq模型的对话系统。对传统的编码器-解码器(Encoder-Decoder)模型进行了研究,在原有模型的基础上使用了深度LSTM结构并且加入注意力机制使其能更好地适应不同长度的问句。在解码过程中,将原有模型的贪心算法改为了Beam Search算法。在训练过程中,利用了多次训练的方法,训练出模拟电视剧角色的聊天机器人,为聊天机器人赋予一个特定的身份。通过使用两种自动评估指标BLEUs和Distinct-n去测试聊天机器人,并使用一些问句测试聊天机器人的反应,最终实验结果表明新模型与原有的模型相比,两种指标都取得了较好的效果,并且输出句子的合理性以及回复质量也有明显的提高。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

面向主动式BPM的IoT服务动态绑定方法

在现有的物联网(IoT)服务及业务流程管理(BPM)系统研究的基础上,提出一种面向主动式BPM的IoT服务动态绑定方法。首先,该方法构建了从时序序列中学习情境信息及IoT服务绑定规律的模型,并预测可绑定的IoT服务列表。该模型基于双向门控循环单元(Bi-GRU)搭建编码器解码器结构网络模型,引入注意力机制,通过优化神经网络结构提取时序数据依赖关系,从而通过该预测模型提升BPM系统的主动性。其次,将用户任务与边界非中断事件相结合实现IoT服务动态绑定活动,该活动通过集成上述预测模型和IoT服务动态切换及多IoT服务并行运行架构实现BPM系统在运行时动态绑定IoT服务。实现面向主动式BPM的基于情境感知的IoT服务动态绑定系统,基于液化天然气(LNG)危化品海上运输安全监管场景进行案例分析,对系统中预测模型的性能进行了定量的实验评价。经过对比,提出的预测模型在多项指标中均优于其他模型。案例分析和实验结果验证了方法的有效性。     

基于Self-Attention模型的机器翻译系统

近几年来神经机器翻译（Neural Machine Translation, NMT）发展迅速，Seq2Seq框架的提出为机器翻译带来了很大的优势，可以在观测到整个输入句子后生成任意输出序列。但是该模型对于长距离信息的捕获能力仍有很大的局限，循环神经网络（RNN）、 LSTM网络都是为了改善这一问题提出的，但是效果并不明显。注意力机制的提出与运用则有效地弥补了该缺陷。Self-Attention模型就是在注意力机制的基础上提出的，本文使用Self-Attention为基础构建编码器-解码器框架。本文通过探讨以往的神经网络翻译模型，分析Self-Attention模型的机制与原理，通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现，在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比，表明该模型取得了较好的翻译效果。     

基于序列到序列模型的事件识别

事件识别是以事件为单位进行信息抽取的起点,对后续各个子任务都意义重大。针对事件识别任务,该文提出了一种融入文档信息的序列到序列方法,一方面借助神经网络减少了特征工程产生的人工依赖,另一方面借助注意力机制将局部的词、实体与全局的文档中事件的共现等信息统一建模。在LDC2017E02语料上实验结果表明,该方法能有效提高事件识别的性能。     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题，在注意力生成对抗网络（AttnGAN）的基础上提出了多层次分辨率递进生成对抗网络（MPRGAN）模型。首先，在低分辨率层采用语义分离-融合生成模块，将文本特征在自注意力机制引导下分离为3个特征向量，并用这些特征向量分别生成特征图谱；然后，将特征图谱融合为低分辨率图谱，并采用mask图像作为语义约束以提高低分辨率生成器的稳定性；最后，在高分辨率层采用分辨率递进残差结构，同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明，在数据集CUB-200-2011和Oxford-102上，所提模型的IS分别达到了4.70和3.53，与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题，同时其生成的图像也更接近真实图像。     

多维注意力机制改进燃气负荷预测

燃气负荷预测是一项让城市安全经济地调配燃气的重要的工作. 目前, 基于注意力机制的Seq2Seq模型越来越多地应用于燃气数据预测, 是一种有效的燃气负荷预测方法. 然而, 针对燃气负荷数据这种突变频率高、幅度大的特点, 一般基于注意力机制的Seq2Seq模型难以提取数据中的多维时间模式信息与应对数据随机突变情况, 在处理影响因素复杂的燃气负荷的预测问题时仍然需要改进. 为此, 本文提出多维注意力机制Seq2Seq模型. 一方面设计研究了多层次时间注意力模块, 综合单时间步长、多时间步长的注意力计算提取数据中不同时间模式信息; 另一方面, 设计增加了局部历史注意力模块, 以改进模型中无法区分重要历史信息的缺陷, 使模型在预测时倾向于参考更为重要的历史信息. 本改进模型针对燃气负荷的独特特性, 具有较好的预测表现. 使用国内某市区的燃气消耗数据与2016年电工数学建模竞赛的电力负荷数据的实验结果表明, 本改进模型相对于一般注意力机制Seq2Seq模型, MAE分别降低了17%与9%.     

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题,在注意力生成对抗网络（AttnGAN）的基础上提出了多层次分辨率递进生成对抗网络（MPRGAN）模型。首先,在低分辨率层采用语义分离-融合生成模块,将文本特征在自注意力机制引导下分离为3个特征向量,并用这些特征向量分别生成特征图谱;然后,将特征图谱融合为低分辨率图谱,并采用mask图像作为语义约束以提高低分辨率生成器的稳定性;最后,在高分辨率层采用分辨率递进残差结构,同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明,在数据集CUB-200-2011和Oxford-102上,所提模型的IS分别达到了4.70和3.53,与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题,同时其生成的图像也更接近真实图像。     

基于回复生成的对话意图预测

随着人机对话系统的不断发展,让计算机能够准确理解对话者的对话意图,并根据对话的历史信息对回复进行意图预测,对于人机对话系统有着十分重要的意义。已有研究重点关注根据对话文本和已有标签对回复进行意图预测,但是,在很多场景下回复可能并没有生成。因此,文中提出了一种结合回复生成的对话意图预测模型。在生成部分,使用Seq2Seq结构,根据对话历史信息生成文本,作为对话中未来回复的文本信息;在分类部分,利用LSTM模型,将生成的回复文本与已有的对话信息转变为子句级别的表示,并结合注意力机制突出同一轮次对话句与生成回复的联系。实验结果表明,所提出的模型相比简单基线模型取得了2.54%的F1-score提升,并且联合训练的方式有助于提升模型性能。     

一种基于Seq2Seq框架和文本数据处理的问答对生成方法

为解决从未标记文本中自动化的生成问答对（Q&A）,提出了一种基于Seq2Seq框架和自动化构建数据的问答对生成方法（Seq2Seq-TDP-QAG）。首先,已知段落、问题、答案的阅读理解数据集中,通过构造函数从中获得线索、问题类型信息构造训练数据集,并用数据训练基于Seq2Seq框架的问题生成模型;其次,采用三步取样法从未标记文本中获取答案、线索、问题类型信息,构造问题生成模型的输入数据集,并输入模型中初步生成问题信息;最后,通过数据过滤器来控制问题的质量,生成高质量的问题信息,并和答案组成问答对。将提出的方法在SQuAD数据集上进行实验,与PCFG-Trans模型相比ROUGE-L和METEOR分别提升18.68和6.13,结果证明,Seq2Seq-TDP-QAG有能够生成质量更高的问答对。     

基于BiLSTM-Attention的微博热搜情绪指数分析

重大突然事件下的网络舆情安全治理对于相关部门至关重要,为更好地把握舆论走向,帮助相关部门引导舆论新闻的导向,该文针对微博热搜交互数据,提出基于BiLSTM-Attention-Seq2Seq模型来解决微博热搜情感分析问题,有助于关注微博网民热搜情绪指数,及时发现舆论风向问题,提升人民幸福感。     

融合流注意力机制的中文摘要生成方法

针对现有文本摘要生成方法对源文全局语义信息提取不充分问题,提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词;然后在编码阶段引入多头流注意力机制,从而更全面地提取源文的全局语义信息;其次运用并行编码器训练模型,使得输入序列中语义信息获得更大权重;最后将编码得到的全局语义信息送入到融合指针的解码器中,通过指针复制源文词汇,减少生成摘要中未登录词的出现,从而使得解码过程中生成的摘要更加全面准确地匹配源文语义.模型在CLTS和NLPCC两个数据集上进行实验,使用ROUGE-1、ROUGE-2和ROUGE-L作为评价指标.实验结果显示,与基准模型相比在CLTS数据集上分别有2.62%、1.44%和0.87%的提升,在NLPCC数据集上分别有2.82%、1.84%和1.64%的提升,表明所提算法模型在中文摘要生成任务上更加有效.