生成对抗网络在各领域应用研究进展

随着深度学习的快速发展, 生成式模型领域也取得了显著进展. 生成对抗网络(Generative adversarial network, GAN)是一种无监督的学习方法, 它是根据博弈论中的二人零和博弈理论提出的. GAN具有一个生成器网络和一个判别器网络, 并通过对抗学习进行训练. 近年来, GAN成为一个炙手可热的研究方向. GAN不仅在图像领域取得了不错的成绩, 还在自然语言处理(Natural language processing, NLP)以及其他领域崭露头角. 本文对GAN的基本原理、训练过程和传统GAN存在的问题进行了阐述, 进一步详细介绍了通过损失函数的修改、网络结构的变化以及两者结合的手段提出的GAN变种模型的原理结构, 其中包括: 条件生成对抗网络(Conditional GAN, CGAN)、基于Wasserstein 距离的生成对抗网络(Wasserstein-GAN, WGAN)及其基于梯度策略的WGAN (WGAN-gradient penalty, WGAN-GP)、基于互信息理论的生成对抗网络(Informational-GAN, InfoGAN)、序列生成对抗网络(Sequence GAN, SeqGAN)、Pix2Pix、循环一致生成对抗网络(Cycle-consistent GAN, Cycle GAN)及其增强Cycle-GAN (Augmented CycleGAN). 概述了在计算机视觉、语音与NLP领域中基于GAN和相应GAN变种模型的基本原理结构, 其中包括: 基于CGAN的脸部老化应用(Face aging CGAN, Age-cGAN)、双路径生成对抗网络(Two-pathway GAN, TP-GAN)、表示解析学习生成对抗网络(Disentangled representation learning GAN, DR-GAN)、对偶学习生成对抗网络(DualGAN)、GeneGAN、语音增强生成对抗网络(Speech enhancement GAN, SEGAN)等. 介绍了GAN在医学、数据增强等领域的应用情况, 其中包括: 数据增强生成对抗网络(Data augmentation GAN, DAGAN)、医学生成对抗网络(Medical GAN, MedGAN)、无监督像素级域自适应方法(Unsupervised pixel-level domain adaptation method, PixelDA). 最后对GAN未来发展趋势及方向进行了展望.     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

改进的GAN技术在图对图迁移学习中的应用

生成的对抗性网络GAN在近年的技术上突破了越来越多,被人们称为"下一代深度学习",可见其重要程度.本文是针对GAN网络的技术问题进行了改良以及应用到制作生成性对抗网络(GANs)框架上的各个新型架构特点与训练过程.我们主要采用了启发式激励技术(特征匹配、虚拟批标准化等),对图像质量的评价这两类技术来对原网络进行改进,并...     

生成式对抗网络及其在图像生成中的研究进展

生成式对抗网络(GAN)现已成为深度学习领域热门的研究方向,其独特的对抗性思想来源于博弈论中的二人零和博弈,如何解决GAN训练不稳定、生成样本质量差、评价体系不够健全、可解释性差等问题是目前GAN研究的重点和难点.调研了生成式对抗网络的研究背景和发展趋势.首先阐述了生成式对抗网络的基本思想和算法实现,分析了GAN的优势与不足,然后对已有改进方法进行了较为系统的分类,从基于结构改变和基于损失函数变体的两种类型分别梳理了一些典型的GAN的优化方法和衍生模型;比较了GAN与其他生成模型的异同,介绍了各自的优势与不足;对比了GAN及其衍生模型的性能,总结了它们的运作机制、优点、局限性以及适用场景,介绍了生成式对抗网络在图像生成领域中的应用;最后列举了生成式对抗网络的主流评价指标,分析了GAN研究中仍面临的主要问题并给出对应的解决思路,并将列举出的主流解决手段在解决效果及可应用性方面进行了对比分析,展望了未来的研究方向.     

生成对抗网络改进角度与应用研究综述

生成对抗网络(GAN)作为一种新兴的生成式模型,逐渐发展应用于图像生成、三维重构、跨模态转换等领域,有效解决了常规卷积神经网络在图像生成类任务方面效率低下的问题,填补了深度学习在图像生成领域上的短板。为了帮助后续研究人员快速并全面了解GAN,根据近年来的文献对GAN的改进模型进行梳理。首先从网络结构、目标函数两个角度介绍了GAN的基本原理,然后对GAN的各种衍生模型从改进角度、应用类型两个方面进行详细的阐述和总结,分别从主观定性、客观定量和任务专项评估等角度对生成图像的质量和多样性进行归纳分析,最后讨论了GAN系列模型近年来的一些核心问题与最新研究进展,并分析了未来的发展趋势。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于生成式对抗网络及自注意力机制的无监督单目深度估计和视觉里程计

提出了一种基于生成式对抗网络(GAN)和自注意力机制(self-attention mechanism)的单目视觉里程计方法,命名为SAGANVO(SAGAN visual odometry).该方法将生成式对抗网络学习框架应用于深度估计和视觉里程计任务中,通过GAN生成逼真的目标帧来准确求解出场景的深度图和6自由度位姿.与此同时,为了提高深度网络对场景细节、边缘轮廓的学习能力,将自注意力机制结合到网络模型中.最后,在公开数据集KITTI上展现了所提出的模型和方法的高质量结果,并与现有方法进行了对比,证明了SAGANVO在深度估计和位姿估计中的性能优于现有的主流方法.     

基于深度残差生成式对抗网络的样本生成方法

作为样本生成的重要方法之一,生成式对抗网络(GAN)可以根据任意给定数据集中的数据分布生成样本,但它在实际的训练过程中存在生成样本纹理模糊、训练过程不稳定以及模式坍塌等问题.针对以上问题,在深度卷积生成式对抗网络(DCGAN)的基础上,结合残差网络,设计一种基于深度残差生成式对抗网络的样本生成方法RGAN.该样本生成方法利用残差网络和卷积网络分别构建生成模型和判别模型,并结合正负样本融合训练的学习优化策略进行优化训练.其中:深度残差网络可以恢复出丰富的图像纹理;正负样本融合训练的方式可以增加对抗网络的鲁棒性,有效缓解对抗网络训练不稳定和模式坍塌现象的发生.在102 Category Flower Dataset数据集上设计多个仿真实验,实验结果表明RGAN能有效提高生成样本的质量.     

用于白盒目标攻击的GAN对抗样本生成

深度神经网络易受对抗样本攻击的影响并产生错误输出,传统的生成对抗样本的方法都是从优化角度生成对抗样本.文中提出基于生成对抗网络(GAN)的对抗样本生成方法,使用GAN进行白盒目标攻击,训练好的生成器对输入样本产生扰动,生成对抗样本.使用四种损失函数约束生成对抗样本的质量并提高攻击成功率.在MNIST、CIFAR-10、ImageNet数据集上的大量实验验证文中方法的有效性,文中方法的攻击成功率较高.     

基于小样本学习和因果干预的ResNeXt对抗攻击

随着深度学习相关技术在计算机视觉、自然语言处理等领域的快速发展和广泛应用,深度学习模型逐渐成为了高价值攻击目标,其固有的易受噪声干扰的安全隐患也逐步暴露出来,如基于生成对抗网络(GAN)或机器学习的方式,通过添加少量特定的噪声来生成对抗样本,导致现有的深度学习模型失效.目前的对抗攻击技术一般针对特定深度学习模型,使用海...     

用于无监督域适应的深度对抗重构分类网络

最近迁移学习的新方法对抗域适应,将生成对抗网络(GAN)的思想添加到深度网络中,能够学习数据的可迁移表示形式进行域适应.虽然通过GAN的思想能够很好地提取出源域数据和目标域数据的共同特征,有效地进行不同域之间的知识迁移,但现有的对抗域适应算法不能有效地保留目标域数据的局部特征,而目标域数据的某些特征可能会对分类精度有显...     

生成对抗网络及其个性化推荐研究

生成对抗网络(Generative Adversarial Nets)是一种融合了生成学习和对抗学习的无监督学习方法,以零和博弈作为核心思想,其组件通过互相对抗不断地提升模型效果.将GAN模型融入到推荐领域中,可有效缓解数据稀疏性问题,提高推荐效果.本文从模型输入的是隐式反馈信息或显式反馈信息两个方面对基于GAN的个性...     

生成对抗网络与文本图像生成方法综述

随着多传感器的普及，多模态数据获得科研和产业面的持续关注，通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一，由于生成对抗网络（GAN）生成图像更具有真实感，使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN，并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较，厘清脉络；分析了现有的评估指标以及常用的数据集，阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势；系统性地补充了生成对抗网络在文本图像生成方面的分析，将有助于研究者进一步推进这一领域。     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像...     

基于SGAN的中文问答生成研究

生成对抗网络GAN(Generative adversarial networks)仅适用于解决连续型数据,同时中文对话模型训练缺乏高质量的样本数据集。研究开放域中文闲聊的问答生成,对话文本是离散型数据,GAN的使用受到限制。设计新的序列对抗生成网络SGAN(Sequence GAN)来解决此问题。SGAN使用基于强化学习的生成器扩展GAN,可以解决序列生成问题。同时使用Actor-Critic策略梯度训练模型,评价指标采用精准度和召回率。实验结果表明,该对话序列对抗模型能够生成足够的对话样本混淆人为提供的样本。     

条件概率图产生式对抗网络

产生式对抗网络(generative adversarial networks,简称GANs)可以生成逼真的图像,因此最近被广泛研究.值得注意的是,概率图生成对抗网络(graphical-GAN)将贝叶斯网络引入产生式对抗网络框架,以无监督的方式学习到数据的隐藏结构.提出了条件概率图生成对抗网络(conditional graphical-GAN),它可以在弱监督环境下,利用粗粒度监督信息来学习到更精细而复杂的结构.条件概率图生成对抗网络的推理和学习遵循与graphical-GAN类似的方法.提出了条件概率图生成对抗网络的两个实例.条件高斯混合模型(conditional Gaussian mixture GAN,简称cGMGAN)可以在给出粗粒度标签的情况下从混合数据中学习细粒度聚类.条件状态空间模型(conditional state space GAN,简称cSSGAN)可以在给定对象标签的情况下学习具有多个对象的视频的动态过程.     

生成对抗网络GAN综述

生成对抗网络(GAN)作为一种新的无监督学习算法框架得到越来越多研究者的青睐,已然成为当下的一个研究热点。GAN受启发于博弈论中的二人零和博弈理论,其独特的对抗训练思想能生成高质量的样本,具有比传统机器学习算法更加强大的特征学习和特征表达能力。目前GAN在计算机视觉领域尤其是在样本生成领域取得显著成功,每年有大量GAN相关研究的论文产出。针对GAN这一热点模型,首先介绍了GAN的研究现状;接着介绍了GAN的理论、框架,详细分析了GAN在训练过程中存在梯度消失和模式崩溃的原因;然后讨论了一些典型的GAN的改进模型,总结了它们理论的改进之处、优点、局限性、应用场景以及实现成本,同时还将GAN与VAE、RBM模型进行比较,总结出GAN的优势和劣势;最后展示了GAN在数据生成、图像超分辨率、图像风格转换等方面的应用成果,并探讨了GAN目前面临的挑战以及未来的研究方向。     

差分隐私保护WGAN-GP算法研究

针对攻击者利用生成式对抗网络技术(GAN)还原出训练集中的数据,泄露用户隐私信息的问题,提出了一种差分隐私保护梯度惩罚Wasserstein生成对抗网络(WGAN-GP)的方法.该方法在深度学习训练过程中对梯度添加精确计算后的高斯噪声,并使用梯度惩罚进行梯度修正,实现差分隐私保护.利用梯度惩罚Wasser-stein生成对抗网络与原始数据相似的数据.实验结果表明,在保证数据可用性的前提下,该方法可以有效保护数据的隐私信息,且生成数据具有较好的质量.     

一种能量函数意义下的生成式对抗网络

生成式对抗网络（Generative adversarial network,GAN）是目前人工智能领域的一个研究热点,引起了众多学者的关注.针对现有GAN生成模型效率低下和判别模型的梯度消失问题,本文提出一种基于重构误差的能量函数意义下的生成式对抗网络模型（Energy reconstruction error GAN,E-REGAN）.首先,将自适应深度信念网络（Adaptive deep belief network,ADBN）作为生成模型,来快速学习给定样本数据的概率分布并进一步生成相似的样本数据.其次,将自适应深度自编码器（Adaptive deep autoencoder,ADAE）的重构误差（Reconstruction error,RE）作为一个表征判别模型性能的能量函数,能量越小表示GAN学习优化过程越趋近纳什均衡的平衡点,否则反之.同时,通过反推法给出了E-REGAN的稳定性分析.最后在MNIST和CIFAR-10标准数据集上的实验结果表明,相较于现有的类似模型,E-REGAN在学习速度和数据生成能力两方面均有较大提高.