基于变分自编码器的无监督文本风格转换

近年来,文本风格转换作为一种可控的文本生成任务受到学者们越来越多的关注。该文基于变分自编码器模型,通过鉴别器与变分自编码器的对抗性训练,将源端句子的内容和风格在隐变量空间进行分离,从而实现无监督的文本风格转换。针对文本语义内容和风格的解纠缠过程中利用固定的二进制向量通过线性变换来对风格进行表征的方法的不足,该文提出更具细腻度的联合表征方法: 利用独立的编码器从原句中提取风格的连续隐向量,再和标签向量结合作为最终风格的表征,以提升风格转换的准确率。该文提出的联合表征方法在常用数据集Yelp上进行评测,与两个基线方法相比,风格转换准确率均有显著提升。     

变分自编码器模型综述

变分自编码器（VAE）作为深度隐空间生成模型的一种，近年来其表现性能取得了极大的成功，尤其是在图像生成方面。变分自编码器模型作为无监督式特征学习的重要工具之一，可以通过学习隐编码空间与数据生成空间的特征映射，进而在输出端重构生成输入数据。梳理了传统变分自编码器模型及其衍生变体模型的发展与研究现状，并就此做了总结和对比，最后分析了变分自编码器模型存在的问题与挑战，并就可能的发展趋势做了展望。     

基于变分自编码器的交互式旋律生成方法

现有的交互式神经音乐生成方法主要存在控制模式不灵活、数据标注困难以及模型难以优化等问题。针对这些问题,提出了一种基于变分自编码器(VAE)的无监督交互式旋律生成方法。通过为VAE引入显式的旋律轮廓条件推理学习,实现了对生成旋律局部与全局特征的灵活控制。实验表明,该方法易于优化且具有良好的旋律局部与全局特征的控制能力。通过对大量生成样本的分析,证明了模型从音乐数据中学习到了有用的音乐知识。     

基于双编码器的短文本自动摘要方法

针对当前生成式文本摘要方法存在的语义信息利用不充分、摘要精度不够等问题,提出一种基于双编码器的文本摘要方法。首先,通过双编码器为序列映射（Seq2Seq）架构提供更丰富的语义信息,并对融入双通道语义的注意力机制和伴随经验分布的解码器进行了优化研究;然后,在词嵌入生成技术中融合位置嵌入和词嵌入,并新增词频-逆文档频率（TF-IDF）、词性（POS）、关键性得分（Soc）,优化词嵌入维度。所提方法对传统序列映射Seq2Seq和词特征表示进行优化,在增强模型对语义的理解的同时,提高了摘要的质量。实验结果表明,该方法在Rouge评价体系中的表现相比传统伴随自注意力机制的递归神经网络方法（RNN+atten）和多层双向伴随自注意力机制的递归神经网络方法（Bi-MulRNN+atten）提高10~13个百分点,其文本摘要语义理解更加准确、生成效果更好,拥有更好的应用前景。     

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词（OOV）问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。     

跨域变分对抗自编码器

现有跨域图像生成算法通常要求用户提供成对数据,且生成能力有限,往往仅支持一对一的跨域图像生成.针对以上问题,提出了一种跨域变分对抗自编码器框架,在不提供任何成对数据的前提下,实现了跨域图像的一对多连续变换.假定来自不同域的图像共享相同的内容属性,且拥有独立的风格属性,则跨域图像一对多连续变换问题可转换为图像内容属性和风格属性的解耦、编码、拟合和跨域拼接.首先利用编码器解耦建立跨域数据的内容编码和风格编码;然后利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码;最后通过拼接单域图像的内容编码和风格编码实现图像重构,通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换.在标准数据集MNIST和SVHN上进行的有监督跨域图像生成结果同时满足真实性和多样性,且在分类准确率和域自适应性的定量评价中优于其他跨域图像生成算法;在人脸数据集NIR-VIS和草图数据集Edges-Shoes上实现了无监督跨域图像一对一生成,其可视化结果充分说明了生成图像的特征分布和源特征分布的一致性.以上实验全面验证了变分对抗自编码器框架的可行性和有效性.     

基于聚类变分自编码器的协同过滤算法

针对协同过滤推荐模型的数据稀疏性问题,提出一种带有聚类隐变量的变分自编码器,用于处理用户的隐式反馈数据.该深度生成模型既能学习到隐变量的特征分布,同时又能完成对特征的聚类.先以多项式似然来重构原始数据,再用贝叶斯变分推断估计参数,并且将正则化系数引入到模型当中,通过调节其大小能够避免过度正则化,使模型的拟合效果更好.这种非线性的概率模型对缺失评分的预测有更好的建模能力.在MovieLens的三个数据集上的实验结果表明,该算法相比较于其他先进的基线有更优秀的推荐性能.     

基于生成对抗网络和变分自编码器的离群点检测算法

针对传统离群点检测算法在类极度不平衡的高维数据集中难以学习离群点的分布模式,导致检测率低的问题,提出了一种生成对抗网络(generative adversarial network,GAN)与变分自编码器(variational auto-encoder,VAE)结合的GAN-VAE算法。算法首先将离群点输入VAE训练,学习离群点的分布模式;然后将VAE与GAN结合训练,生成更多潜在离群点,同时学习正常点与离群点的分类边界;最后将测试数据输入训练后的GAN-VAE,根据正常点与离群点相对密度的差异性计算每个对象的离群值,将离群值高的对象判定为离群点。在四个真实数据集上与六个离群点检测算法进行对比实验,结果表明GAN-VAE在AUC、准确率和F;值上平均提高了5.64%、5.99%和13.30%,证明GAN-VAE算法是有效可行的。     

基于变分自编码器的实验设计

针对现有实验设计方法难以对复杂系统进行高效实验设计的问题, 本文提出了一种基于变分自编码器的实验设计方法, 首先利用实验历史记录数据训练变分自编码器将复杂的实验样本空间编码到一个较为简单的隐变量空间, 然后在该隐变量空间里进行取样, 最后通过解码器还原产生新的实验样本, 完成实验设计. 通过对比本文方法与数种基准实验设...     

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成（Pointer Generator）网络和覆盖损失（Coverage Loss）进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖（OOV）的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。     

基于深度学习的文本自动摘要方案

针对自然语言处理（NLP）生成式自动摘要领域的语义理解不充分、摘要语句不通顺和摘要准确度不够高的问题，提出了一种新的生成式自动摘要解决方案，包括一种改进的词向量生成技术和一个生成式自动摘要模型。改进的词向量生成技术以Skip-Gram方法生成的词向量为基础，结合摘要的特点，引入词性、词频和逆文本频率三个词特征，有效地提高了词语的理解；而提出的Bi-MulRnn+生成式自动摘要模型以序列映射（seq2seq）与自编码器结构为基础，引入注意力机制、门控循环单元（GRU）结构、双向循环神经网络（BiRnn）、多层循环神经网络（MultiRnn）和集束搜索，提高了生成式摘要准确性与语句流畅度。基于大规模中文短文本摘要（LCSTS）数据集的实验结果表明，该方案能够有效地解决短文本生成式摘要问题，并在Rouge标准评价体系中表现良好，提高了摘要准确性与语句流畅度。     

融合语言特征的抽象式中文摘要模型

为了解决传统抽象式摘要模型生成的中文摘要难以保存原文本语义信息的问题,提出了一种融合语言特征的抽象式中文摘要模型。模型中添加了拼接层,将词性、命名实体、词汇位置、TF-IDF等特征拼接到词向量上,使输入模型的词向量包含更多的维度的语义信息来确定关键实体。结合指针机制有选择地复制原文中的关键词到摘要中,从而提高生成的摘要的语义相关性。使用LCSTS新闻数据集进行实验,取得了高于基线模型的ROUGE得分。分析表明本模型能够生成语义相关度较高的中文摘要。     

一种融合关键词的生成式摘要方法

针对生成式文本摘要中模型对文本语义了解不够充分以及生成摘要缺乏关键信息的问题,提出一种融合关键词的中文摘要生成模型KBPM(Key-BERT-Pen model).首先使用TextRank方法将文本中关键词抽取出来,然后将抽取出的关键词与原文一起经过BERT预训练模型得到更加精确的上下文表示,最终将得到的词向量输入到带有双重注意力机制的指针模型中,指针模型从词汇表或原文中取出词汇来生成最终的摘要.实验结果表明,KBPM模型能够生成可读性更好、ROUGE分数更高的文本摘要.通过对比分析也验证了KBPM模型有效解决了生成摘要中缺乏关键信息的问题.     

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络（PGN）,提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络（BERT-PGN）。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议（NLPCC2017）单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络（LSTM-attention）等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。     

融合关键词的中文新闻文本摘要生成

The existing seq2seq model often suffers from semantic irrelevance when generating summaries, and does not consider the role of keywords in summary generation. Aiming at this problem, this paper proposes a Chinese news text abstractive summarization method with keywords fusion. Firstly, the source text words are input into the Bi-LSTM model in order. The obtained hidden state is input to the sliding convolutional neural network, so local features between each word and adjacent words are extracted. Secondly, keyword information and gating unit are used to filter news text information, so as to remove redundant information. Thirdly, the global feature information of each word is obtained through the self-attention mechanism, and the hierarchical combination of local and global word features representation is obtained after encoding. Finally, the encoded word feature representation is input into the LSTM model with the attention mechanism to decode the summary information. The method models the n-gram features of news words through a sliding convolutional network. Based on this, the self-attention mechanism is used to obtain hierarchical local and global word feature representations. At the same time, the important role of keywords in abstractive summary is considered, and the gating unit is used to remove redundant information to obtain more accurate news text information. Experiments on Sogou's news corpus show that this method can effectively improve the quality of summary generation, and effectively enhance the values of ROUGE-1、ROUGE-2、ROUGE-L.