生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。     

生成对抗网络在各领域应用研究进展

随着深度学习的快速发展, 生成式模型领域也取得了显著进展. 生成对抗网络(Generative adversarial network, GAN)是一种无监督的学习方法, 它是根据博弈论中的二人零和博弈理论提出的. GAN具有一个生成器网络和一个判别器网络, 并通过对抗学习进行训练. 近年来, GAN成为一个炙手可热的研究方向. GAN不仅在图像领域取得了不错的成绩, 还在自然语言处理(Natural language processing, NLP)以及其他领域崭露头角. 本文对GAN的基本原理、训练过程和传统GAN存在的问题进行了阐述, 进一步详细介绍了通过损失函数的修改、网络结构的变化以及两者结合的手段提出的GAN变种模型的原理结构, 其中包括: 条件生成对抗网络(Conditional GAN, CGAN)、基于Wasserstein 距离的生成对抗网络(Wasserstein-GAN, WGAN)及其基于梯度策略的WGAN (WGAN-gradient penalty, WGAN-GP)、基于互信息理论的生成对抗网络(Informational-GAN, InfoGAN)、序列生成对抗网络(Sequence GAN, SeqGAN)、Pix2Pix、循环一致生成对抗网络(Cycle-consistent GAN, Cycle GAN)及其增强Cycle-GAN (Augmented CycleGAN). 概述了在计算机视觉、语音与NLP领域中基于GAN和相应GAN变种模型的基本原理结构, 其中包括: 基于CGAN的脸部老化应用(Face aging CGAN, Age-cGAN)、双路径生成对抗网络(Two-pathway GAN, TP-GAN)、表示解析学习生成对抗网络(Disentangled representation learning GAN, DR-GAN)、对偶学习生成对抗网络(DualGAN)、GeneGAN、语音增强生成对抗网络(Speech enhancement GAN, SEGAN)等. 介绍了GAN在医学、数据增强等领域的应用情况, 其中包括: 数据增强生成对抗网络(Data augmentation GAN, DAGAN)、医学生成对抗网络(Medical GAN, MedGAN)、无监督像素级域自适应方法(Unsupervised pixel-level domain adaptation method, PixelDA). 最后对GAN未来发展趋势及方向进行了展望.     

基于多域VQGAN的文本生成国画方法研究

随着生成式对抗网络的出现,从文本描述合成图像最近成为一个活跃的研究领域.然而,目前文本描述往往使用英文,生成的对象也大多是人脸和花鸟等,专门针对中文和中国画的研究较少.同时,文本生成图像任务往往需要大量标注好的图像文本对,制作数据集的代价昂贵.随着多模态预训练的出现与推进,使得能够以一种优化的方式来指导生成对抗网络的生成过程,大大减少了对数据集和计算资源的需求.提出一种多域VQGAN模型来同时生成多种域的中国画,并利用多模态预训练模型WenLan来计算生成图像和文本描述之间的距离损失,通过优化输入多域VQGAN的隐空间变量来达到图片与文本语义一致的效果.对模型进行了消融实验,详细比较了不同结构的多域VQGAN的FID及R-precisoin指标,并进行了用户调查研究.结果表示,使用完整的多域VQGAN模型在图像质量和文本图像语义一致性上均超过原VQGAN模型的生成结果.     

生成对抗网络的三维生成及其应用研究综述

生成式对抗网络(GAN)具有比传统机器学习算法更强大的特征学习和特征表达能力,基于GAN的三维生成是当前研究的热点方向之一.本文以基于生成式对抗网络的三维生成模型及其应用为研究对象,阐述了GAN的研究现状与研究方向,归纳出生成式对抗网络在三维室内场景生成、三维人体等多个三维生成研究方向的研究现状和发展趋势,并对各研究方向进行深入探讨与总结,通过对比分析每种方法的基本思想、特点及使用场景等,对未来可能的发展方向进行了展望.当前已有多种GAN模型应用在三维生成的任务中,在生成效果与性能上各有优劣.这些基于GAN的三维生成模型在低分辨率场景与单一场景下效果显著,生成的三维目标效果较完整真实,但对于生成高质量多目标的应用场景需进一步研究.GAN作为一种新的三维生成模型具有很高的研究与应用价值,但目前仍存在一些理论上的限制,在应用方面生成多目标或高质量三维室内外场景生成是值得研究的方向.     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像...     

生成对抗网络研究综述

自生成对抗网络GAN提出以后,现这一方向已成为人工智能方向的研究热点.GAN的思想采用二人零和博弈方法,由生成器和判别器构成,生成器负责生成样本分布,判别器则判别输入是真实样本还是生成样本,生成器和判别器不断交互优化,最终达到最优效果.GAN模型的提出无疑是很新颖的,但也存在很多缺点,比如梯度消失问题、模式崩溃等.随着研究的深入,GAN不断优化扩展,GAN的衍生模型也层出不穷.GAN可应用于不同领域,主要为计算机图像和视觉领域,在图像领域有着突出的效果,能生成高分辨率逼真的图像,能对图像进行修复、风格迁移等,也能生成视频并进行预测等.GAN也能生成文本,可以进行对话生成、机器翻译、语音生成等.同时,GAN在其他领域也有涉及,比如生成音乐、密码破译等.但是GAN在其他领域的应用效果并不显著,那么,如何提高GAN在其他领域的应用效果将值得深入研究,使生成对抗网络在人工智能方面大放异彩.     

判别增强的生成对抗模型在文本至图像生成中的研究与应用

目前大部分基于生成对抗网络GAN的文本至图像生成算法着眼于设计不同模式的注意力生成模型,以提高图像细节的刻画与表达,但忽略了判别模型对局部关键语义的感知,以至于生成模型可能生成较差的图像细节“欺骗“判别模型。提出了判别语义增强的生成对抗网络DE-GAN模型,试图在判别模型中设计词汇-图像判别注意力模块,增强判别模型对关键语义的感知和捕捉能力,驱动生成模型生成高质量图像细节。实验结果显示,在CUB-Bird数据集上,DE-GAN在IS指标上达到了4.70,相比基准模型提升了4.2%,达到了较高的性能表现。     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

生成式对抗网络及其在图像生成中的研究进展

生成式对抗网络(GAN)现已成为深度学习领域热门的研究方向,其独特的对抗性思想来源于博弈论中的二人零和博弈,如何解决GAN训练不稳定、生成样本质量差、评价体系不够健全、可解释性差等问题是目前GAN研究的重点和难点.调研了生成式对抗网络的研究背景和发展趋势.首先阐述了生成式对抗网络的基本思想和算法实现,分析了GAN的优势与不足,然后对已有改进方法进行了较为系统的分类,从基于结构改变和基于损失函数变体的两种类型分别梳理了一些典型的GAN的优化方法和衍生模型;比较了GAN与其他生成模型的异同,介绍了各自的优势与不足;对比了GAN及其衍生模型的性能,总结了它们的运作机制、优点、局限性以及适用场景,介绍了生成式对抗网络在图像生成领域中的应用;最后列举了生成式对抗网络的主流评价指标,分析了GAN研究中仍面临的主要问题并给出对应的解决思路,并将列举出的主流解决手段在解决效果及可应用性方面进行了对比分析,展望了未来的研究方向.     

基于动态卷积的多模态脑MR图像生成

近年来, 通过自动生成方法获取多模态MR图像得到了广泛研究, 但仍难以通过一种模态直接生成其他各类模态的图像. 针对该问题, 本文提出了动态生成对抗网络. 新模型通过将生成对抗网络与动态卷积相结合, 同时加入任务标签这一条件, 实现从一种MR模态同时生成其他3种MR模态. 同时为了提高图像生成质量, 进一步提出了多尺度判别策略, 通过融合多个尺度来提升判别效果. 基于BRATS19数据集进行生成验证, 实验结果表明, 新方法不但可以同时生成多种模态的数据, 而且提高了生成图像的质量.     

生成对抗网络及其图像处理应用研究进展

生成对抗网络（GAN）是一种基于对抗思想的架构体系。作为人工智能大发展背景下诞生的前沿算法,GAN已经在图像处理的多个领域取得了显著的成果。从传统GAN的算法入手,对其模型架构、数学机理、优缺点进行剖析。总结了具有代表性的GAN变体,并对GAN在图像处理方面的前沿应用进行介绍。结合现有GAN发展依然存在的问题,对GAN的发展趋势进行了展望。     

生成对抗网络GAN综述

生成对抗网络(GAN)作为一种新的无监督学习算法框架得到越来越多研究者的青睐,已然成为当下的一个研究热点。GAN受启发于博弈论中的二人零和博弈理论,其独特的对抗训练思想能生成高质量的样本,具有比传统机器学习算法更加强大的特征学习和特征表达能力。目前GAN在计算机视觉领域尤其是在样本生成领域取得显著成功,每年有大量GAN相关研究的论文产出。针对GAN这一热点模型,首先介绍了GAN的研究现状;接着介绍了GAN的理论、框架,详细分析了GAN在训练过程中存在梯度消失和模式崩溃的原因;然后讨论了一些典型的GAN的改进模型,总结了它们理论的改进之处、优点、局限性、应用场景以及实现成本,同时还将GAN与VAE、RBM模型进行比较,总结出GAN的优势和劣势;最后展示了GAN在数据生成、图像超分辨率、图像风格转换等方面的应用成果,并探讨了GAN目前面临的挑战以及未来的研究方向。     

基于图像-文本语义一致性的文本生成图像方法

近年来，以生成对抗网络（generative adversarial network, GAN）为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征，提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模，忽略了初始文本特征的局限性，且没有充分利用具有语义一致性的生成图像对文本特征的指导作用，因而降低了文本生成图像中文本信息的表征性.其次，由于没有考虑到生成目标区域间的动态交互，生成网络只能粗略地划分目标区域，且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题，提出了一种基于图像-文本语义一致性的文本生成图像方法 ITSC-GAN.该模型首先设计了一个文本信息增强模块（text information enhancement module, TEM），利用生成图像对文本信息进行增强，从而提高文本特征的表征能力.另外，该模型提出了一个图像区域注意力模块（image regional attention module, IRAM），通过挖掘图像子区域之间的关系，增强图像特...     

生成对抗网络及其应用研究综述

生成对抗网络的理论研究与应用不断获得成功,已经成为当前深度学习领域研究的热点之一。对生成对抗网络理论及其应用从模型的类型、评价标准和理论研究进展等方面进行系统的综述：分别分析基于显式密度和基于隐式密度的生成模型的优缺点;总结生成对抗网络的评价标准,解读各标准之间的关系,并从应用层面介绍生成对抗网络在图像及其他领域中的研究进展,即通过图像转换、图像生成、图像修复、视频生成、文本生成及图像超分辨率等的应用;从模型的结构表示、训练控制、性能稳定以及评价标准等角度分析生成对抗网络的理论研究进展。研究讨论生成对抗网络的挑战,展望未来可能存在的发展方向。     

面向GAN生成图像的被动取证及反取证技术综述

生成对抗网络（generative adversarial network,GAN）快速发展,并在图像生成和图像编辑技术等多个方面取得成功应用。然而,若将上述技术用于伪造身份或制作虚假新闻,则会造成严重的安全隐患。多媒体取证领域的研究者面向GAN生成图像已提出了多种被动取证与反取证方法,但现阶段缺乏相关系统性综述。针对上述问题,本文首先阐述本领域的研究背景和研究意义,然后分析自然图像采集与GAN图像生成过程的区别。根据上述理论基础,详细介绍了现有GAN生成图像的被动取证技术,包括：GAN生成图像检测算法,GAN模型溯源算法和其他相关取证问题。此外,针对不同应用场景介绍基于GAN的反取证技术。最后,通过实验分析当前GAN生成图像被动取证技术所面临的挑战。本文根据对现有技术从理论和实验两方面的分析得到以下结论：现阶段,GAN生成图像的被动取证技术已在空间域和频率域形成了不同技术路线,较好地解决了简单场景下的相关取证问题。针对常见取证痕迹,基于GAN的反取证技术已能够进行有效隐藏。然而,该领域研究仍存在诸多局限：1）取证与反取证技术的可解释性不足;2）取证技术鲁棒性和泛化性较弱;3）反取证技术缺乏多特征域协同的抗分析能力等。上述问题和挑战还需要研究人员继续深入探索。     

基于掩码损失的人脸图像生成方法

当前主流的基于生成对抗网络（Generative Adversarial Network,GAN）的图像生成方法，在生成真实度较高的人脸图像方面取得了显著进展，但在生成人脸图像的头发、牙齿等细节区域时易出现失真现象。针对存在的问题，提出掩码损失，并将其整合到Style GAN2中。该损失函数通过人脸分割网络生成人脸掩码，基于掩码调整生成图像在细节和非细节区域的贡献程度，以提高细节区域的合成质量。实验结果表明，所提方法显著改善了头发、牙齿等细节区域的合成质量，提高了生成图像的真实度。     

生成对抗网络GAN的研究进展

基于零和博弈思想的生成式对抗网络(generative adversarial network,GAN)模型的意义在于可通过无监督学习获得数据的分布,并能生成较逼真的数据。它可以应用在很多领域,尤其是在计算机视觉领域中的图像生成方面取得了很大成果,成为当下的一个研究热点。以GAN模型及其在特定领域的应用结果为研究对象,对GAN的改进和扩展的研究成果进行了广泛的研究,并从图像超分辨率重建、文本合成图片等多个实际应用领域展开讨论,系统地梳理、总结出GAN的优势与不足,同时结合自然语言处理、强化学习对GAN的发展趋势及应用前景进行预测分析。     

生成对抗网络在肝脏肿瘤图像分割中的应用综述

由于肝脏肿瘤图像复杂多样且肝脏肿瘤图像数据集获取困难等问题,快速准确地诊断肝脏肿瘤疾病面临着诸多挑战,尤其是肝脏肿瘤的分割是其中的关键研究内容。生成对抗网络在半监督学习领域具有强大的优越性,因此其在医学图像处理中得到广泛应用。为了分析肝脏肿瘤图像在分割领域的现状以及未来发展,针对应用GAN的肝脏肿瘤图像分割方法进行研究,介绍GAN模型的网络结构与衍生模型,重点总结并分析生成对抗网络在肝脏肿瘤图像分割中的应用,包括基于网络结构改进的GAN方法、基于生成器或判别器改进的GAN方法和基于GAN的其他改进方法。最后在已有的研究进展和基础之上,对GAN在肝脏肿瘤图像分割中的应用进行总结,讨论GAN在肝脏肿瘤图像分割上所面临的挑战,并对其未来发展进行展望。     

基于生成对抗网络的Sentinel-2遥感图像超分辨率分析

为了将开放访问的Sentinel-2卫星遥感图像的分辨率提升至商业卫星的水平,提出基于生成对抗网络（GAN）的超分辨率分析方法 KN-SRGAN,该方法仅使用开放数据提供的图像,不须高分辨率监督图像,通过核估计和噪声注入构造高-低分辨率图像对训练数据集,构建带有感知特征提取器的GAN,实现卫星图像×4倍的超分辨率分析。与残差通道注意力网络（RCAN）、强化深度残差网络（EDSR）、强化超分辨率生成对抗网络（ESRGAN）、退化核超分辨率生成对抗网络（DKN-SR-GAN）等最新方法比较,KN-SRGAN的生成图在直观视觉效果上具有更清晰的细节以及更好的感知效果,无参考图像质量评估指标的定量对比也证明了KN-SRGAN的有效性。