多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于生成对抗网络的动漫头像生成研究

在深度学习中,数据是三大核心要素之一.尤其在某些领域,数据的稀有、人工标注造成大量人力的浪费、数据好坏对产出结果的影响,都显现出数据的重要性.鉴于在动漫领域中,人物的制作需要花费大量的人力和时间,所以从动漫头像出发,基于生成对抗网络,结合编码器、残差网络、解码器,经过编码器改变图像的维度,最后利用解码器将提取到的特征数...     

基于生成对抗网络的主机入侵风险识别

随着互联网的发展,针对主机漏洞发起的入侵层出不穷,计算机安全问题日益突出,基于深度学习的入侵检测成为研究热点,但仍然存在攻击训练样本少以及无法有效检测未知攻击的问题.基于AC-GAN和LS-GAN,设计并实现主机入侵风险识别网络TR-GAN,该模型能有效解决梯度偏移或梯度消失的问题.TR-GAN相较于AC-GAN及LS-GAN,不但风险识别准确率更稳定,最大识别准确率达到80％,且其风险样本生成模块能在较少训练迭代轮数下就生成与真实攻击样本具有相同特征的攻击样本.生成的攻击样本不但可以作为训练样本的补充,而且可作为部署系统安全策略的参考.     

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题，在注意力生成对抗网络（AttnGAN）的基础上提出了多层次分辨率递进生成对抗网络（MPRGAN）模型。首先，在低分辨率层采用语义分离-融合生成模块，将文本特征在自注意力机制引导下分离为3个特征向量，并用这些特征向量分别生成特征图谱；然后，将特征图谱融合为低分辨率图谱，并采用mask图像作为语义约束以提高低分辨率生成器的稳定性；最后，在高分辨率层采用分辨率递进残差结构，同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明，在数据集CUB-200-2011和Oxford-102上，所提模型的IS分别达到了4.70和3.53，与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题，同时其生成的图像也更接近真实图像。     

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题,在注意力生成对抗网络（AttnGAN）的基础上提出了多层次分辨率递进生成对抗网络（MPRGAN）模型。首先,在低分辨率层采用语义分离-融合生成模块,将文本特征在自注意力机制引导下分离为3个特征向量,并用这些特征向量分别生成特征图谱;然后,将特征图谱融合为低分辨率图谱,并采用mask图像作为语义约束以提高低分辨率生成器的稳定性;最后,在高分辨率层采用分辨率递进残差结构,同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明,在数据集CUB-200-2011和Oxford-102上,所提模型的IS分别达到了4.70和3.53,与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题,同时其生成的图像也更接近真实图像。     

基于生成对抗网络的情感对话回复生成

近年来,随着神经网络技术和自然语言处理技术的不断深入发展,基于深度神经网络的对话生成研究取得了突破性的进展,使得人机对话系统广泛应用于生活中,提供便利,比如电商客服、语音助手等。然而,现有的模型倾向于产生一般的回答,普遍缺乏情感因素。针对该问题,提出了一种基于生成对抗网络的情感对话内容生成模型——EC-GAN(emotional conversation generative adversarial network),通过结合多指标奖励与情感编辑约束产生更有意义和可定制的情感回复。对于生成器,使用Seq2Seq模型生成回复,接受判别器的奖励,引导生成句子的回复,提高多样性和情感丰富度;对于判别器,使用双判别器、内容判别器可以确定回复是否属于通用回复,情感判别器判别生成语句的情感与指定的情感类别的一致性,并将判别结果反馈到生成器,指导回复生成。注意观察输入与回复之间的情感变化,验证交互情感的共鸣度存在的方向性。在NLPCC 2017 Shared Task 4——emotional conversation generation的实验表明,模型不仅可以提高回复的流畅性和多样性,同时也显著...     

基于改进生成对抗网络的动漫人物头像生成算法

针对已有的动漫人物头像生成方法中生成结果的多样性较差,且难以准确地按照用户想法按类生成或按局部细节生成的问题,基于含辅助分类器的对抗生成网络(ACGAN),结合互信息理论、多尺度判别等提出了一种改进模型LMV-ACGAN(Latent label attached Multi scale ACGAN with impr...     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于复合生成对抗网络的对抗样本生成算法研究

对抗样本能够作为训练数据辅助提高模型的表达能力,还能够评估深度学习模型的稳健性.然而,通过在一个小的矩阵范数内扰乱原始数据点的生成方式,使得对抗样本的规模受限于原始数据.为了更高效地获得任意数量的对抗样本,探索一种不受原始数据限制的对抗样本生成方式具有重要意义.鉴于此,提出一种基于生成对抗网络的对抗样本生成模型(multiple attack generative adversarial networks, M-AttGAN).首先,将模型设计为同时训练2组生成对抗网络,分别对原始数据样本分布和模型潜在空间下的扰动分布进行建模;然后,训练完成的M-AttGAN能够不受限制地高效生成带有扰动的对抗样本,为对抗训练和提高深度神经网络的稳健性提供更多可能性;最后,通过MNIST和CIFAT-10数据集上的多组实验,验证利用生成对抗网络对数据分布良好的学习能力进行对抗样本生成是可行的.实验结果表明,相较于常规攻击方法,M-AttGAN不仅能够脱离原始数据的限制生成高质量的对抗样本,而且样本具备良好的攻击性和攻击迁移能力.     

基于一种条件熵距离惩罚的生成式对抗网络

生成高质量的样本一直是生成式对抗网络(generative adversarial networks,简称GANs)领域的主要挑战之一.鉴于此,利用条件熵构建一种距离,并将此直接惩罚于GANs生成器目标函数,在尽可能保持熵不变的条件下,迫使生成分布逼近目标分布,从而大幅度地提高网络生成样本的质量.除此之外,还通过优化G...     

基于生成对抗网络的高照度可见光图像生成

为解决夜间低照度条件下目标检测准确率偏低的问题,提出一种基于循环生成对抗网络的高照度可见光图像生成方法。为提高生成器提取特征的能力,在转换器模块引入CBAM注意力模块;为避免在生成图像中产生伪影的噪声干扰,把生成器解码器的反卷积方式改为最近邻插值加卷积层的上采样方式;为了提高网络训练的稳定性,把对抗损失函数由交叉熵函数换为最小二乘函数。生成的可见光图像与红外图像、夜间可见光图像相比,在光谱信息、细节信息丰富和可视性方面取得好的优势提升,能够有效地获取目标和场景的信息。分别通过图像生成指标和目标检测指标验证该方法的有效性,其中对生成可见光图像测试得到的mAP较红外图像和真实可见光图像分别提高了11.7个百分点和30.2个百分点,可以有效提高对夜间目标的检测准确率和抗干扰能力。     

改进生成对抗网络在图片数据生成中的应用

图片数据生成旨在根据现有的图片数据,产生与原始图片数据分布相似的图片数据。当前主流的生成对抗网络模型（generative adversarial networks,GAN）产生的图片数据质量较差,模型的训练总是遇到调试困难、训练不稳定、梯度消失、模式崩溃等一系列问题。根据稀疏表达结构和残差结构组合而成的生成器,残差结构组成的辨别器,提出了一种能够生成高质量图片的GAN模型。根据分支网络模型构成的生成器,设计了多种类图片数据生成模型,可以使用一个模型同时训练生成多种类型的图片数据。为了更好地对数据进行训练,设计了一种动态匀速下降学习率,能够根据运行时间对学习率的衰减进行指导。在各个数据集上的实验结果表明,改进模型结构在图像数据生成上比其他算法更加稳定、鲁棒,能够生成更高质量的图片数据。     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成.为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,...     

一种基于生成式对抗网络的图像描述方法

近年来,深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取,递归神经网络对特征拼接生成语句.然而,当图像较为复杂时,特征提取不准确且语句生成模型模式固定,部分语句不具备连贯性.基于此,提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征,与COCO图像集进行近似特征比对,选择排序靠前的图像特征作为生成式对抗网络的输入,通过生成器与鉴别器之间的博弈过程,训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明,CACNN-GAN能够有效地对图像进行语义描述,相比其他主流算法,显示出了更高的准确率.     

基于面部动作编码系统的表情生成对抗网络

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元（AUs）,提出一种基于面部动作编码系统（FACS）的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于生成式对抗神经网络的股票预测研究

针对股票价格具有非线性、非平稳的特点,提出一种结合自注意力机制和残差网络的生成式对抗神经网络模型（SAR-GAN）。该模型的生成器（generator）由长短期记忆网络（LSTM）层、自注意力机制层、残差层等构建而成,用于生成所预测股票的价格;判别器（discriminator）用于鉴别生成的股票价格与真实的股票价格。为验证模型良好的泛化性,选取上证指数及不同股票市场的热点行业龙头股票进行预测实验。实验结果表明,与LSTM、GRU、CNN-LSTM、CNN-GRU等模型相比,SAR-GAN模型能不同程度地减少预测误差。