基于条件生成对抗网络的图像翻译综述

图像翻译旨在实现多组不同领域图像间的转换,同时需要约束样本空间与目标空间分布的一致性.文章旨在寻找条件生成对抗网络与图像翻译问题的结合点,首先,介绍了数据集的特点,指出了不同数据集图像翻译难易程度;其次,从数学表达、性质以及目标函数设计方法得出算法实现的不同方式;将现有图像翻译分成3种类别——匹配图像翻译、非匹配图像翻译和多领域图像翻译,并得出不同应用场景所对应的图像翻译类别,即高清任务对应匹配图像翻译,低成本任务对应非匹配图像翻译,多样化任务对应多领域图像翻译;将图像质量评价方法分为主观图像质量评价与客观图像质量评价,并分析客观图像质量评价中全参考图像与无参考图像质量评价的适用范围;最后,总结条件生成对抗网络在图像翻译中的进展,并分析算法后指出了模式崩塌,模型可解释性和少样本等未来所需解决的问题.     

生成对抗网络及其应用研究综述

生成对抗网络的理论研究与应用不断获得成功,已经成为当前深度学习领域研究的热点之一。对生成对抗网络理论及其应用从模型的类型、评价标准和理论研究进展等方面进行系统的综述：分别分析基于显式密度和基于隐式密度的生成模型的优缺点;总结生成对抗网络的评价标准,解读各标准之间的关系,并从应用层面介绍生成对抗网络在图像及其他领域中的研究进展,即通过图像转换、图像生成、图像修复、视频生成、文本生成及图像超分辨率等的应用;从模型的结构表示、训练控制、性能稳定以及评价标准等角度分析生成对抗网络的理论研究进展。研究讨论生成对抗网络的挑战,展望未来可能存在的发展方向。     

生成对抗网络的研究进展综述

自生成对抗网络(GANs)诞生以来,对其研究已经成为机器学习领域的一个热点。它利用对抗学习的机制训练模型,解决了当年生成算法无法解决的问题。由于GANs的优势,研究者们对其进行深入的研究,产生了许多GANs的衍生模型,这使得GANs得到了快速的发展,形成了所谓的GAN-Zoo。GANs被广泛应用于视觉领域、音频领域、自然语言领域及其他各种领域中,如图像生成、图像翻译、文本生成、音频转换和自然语言翻译等。从传统GANs出发,对近几年内GANs的研究中较为突出的方面进行总结,首先介绍了传统GANs的基本理论,然后对近年来GANs的主要衍生模型进行分析,最后总结了GANs在图像领域和信息安全领域中的主要应用成果。     

生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。     

生成对抗网络在医学图像处理中的应用

生成对抗网络（Generative Adversarial Nets,GANs）模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能。针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型。介绍了生成对抗网络模型的理论和组成结构;介绍了几种典型的变体模型,重点介绍了生成对抗网络模型在图像生成、图像分割、图像分类、目标检测及图像超分辨率重建应用领域上的研究进展及现状。在研究现状和问题基础上进行了深入分析,进一步总结和探讨了GANs模型在医学图像处理领域中未来发展的趋势和所面临的挑战。     

生成对抗式网络及其医学影像应用研究综述

生成对抗式网络（generative adversarial network,GAN）由负责学习数据分布的生成器和负责鉴别样本真伪的判别器构成,二者在相互对抗过程中互相学习逐渐变强。该网络模型使深度学习方法可以自动学习损失函数,减少了对专家知识的依赖,已经广泛应用于自然图像处理领域,对解决医学影像处理的相关瓶颈问题亦具有巨大应用前景。本文旨在找到生成对抗式网络与医学影像领域面临挑战的结合点,通过分析已有工作对未来研究方向进行展望,为该领域研究提供参考。1）阐述了生成对抗式网络的基本原理,从任务拆分、条件约束以及图像到图像的翻译等角度对其衍生模型进行分析回顾;2）对生成对抗式网络在医学影像领域中的数据增广、模态迁移、图像分割以及去噪等方面的应用进行回顾,分析各方法的优缺点与适用范围;3）对现有图像生成质量评估方法进行小结;4）总结生成对抗式网络在医学影像领域的研究进展,并结合该领域问题特性,指出现有理论应用存在的不足与改进方向。生成对抗式网络提出以来,理论不断完善,在医学影像的处理应用中也取得了长足发展,但仍然存在一些亟待解决的问题,包括3维数据合成、几何结构合理性保持、无标记和未配对数据使用以及多模态数据交叉应用等。     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

多模式生成对抗网络

生成对抗网络已经成为深度学习领域最热门的研究方向之一,其最大的优势在于能够以无监督的方式来拟合一个未知的分布。目前,生成对抗网络在图像生成领域大放异彩,其能够产生一些高质量的图像,但也暴露了一些弊端。在生成图像的过程中,经常会出现模式坍塌问题,从而导致生成的样本过于单一。为了解决这个问题,对生成对抗网络的模型结构和损失函数加以改进,使判别器能够从多个角度来度量生成数据的分布和真实数据的分布之间的差异,从而改善了生成样本的多样性。通过在多个数据集上进行实验,结果显示,提出的模型在很大程度上缓解了模式坍塌问题。     

基于多域VQGAN的文本生成国画方法研究

随着生成式对抗网络的出现,从文本描述合成图像最近成为一个活跃的研究领域.然而,目前文本描述往往使用英文,生成的对象也大多是人脸和花鸟等,专门针对中文和中国画的研究较少.同时,文本生成图像任务往往需要大量标注好的图像文本对,制作数据集的代价昂贵.随着多模态预训练的出现与推进,使得能够以一种优化的方式来指导生成对抗网络的生成过程,大大减少了对数据集和计算资源的需求.提出一种多域VQGAN模型来同时生成多种域的中国画,并利用多模态预训练模型WenLan来计算生成图像和文本描述之间的距离损失,通过优化输入多域VQGAN的隐空间变量来达到图片与文本语义一致的效果.对模型进行了消融实验,详细比较了不同结构的多域VQGAN的FID及R-precisoin指标,并进行了用户调查研究.结果表示,使用完整的多域VQGAN模型在图像质量和文本图像语义一致性上均超过原VQGAN模型的生成结果.     

生成对抗网络在肝脏肿瘤图像分割中的应用综述

由于肝脏肿瘤图像复杂多样且肝脏肿瘤图像数据集获取困难等问题,快速准确地诊断肝脏肿瘤疾病面临着诸多挑战,尤其是肝脏肿瘤的分割是其中的关键研究内容。生成对抗网络在半监督学习领域具有强大的优越性,因此其在医学图像处理中得到广泛应用。为了分析肝脏肿瘤图像在分割领域的现状以及未来发展,针对应用GAN的肝脏肿瘤图像分割方法进行研究,介绍GAN模型的网络结构与衍生模型,重点总结并分析生成对抗网络在肝脏肿瘤图像分割中的应用,包括基于网络结构改进的GAN方法、基于生成器或判别器改进的GAN方法和基于GAN的其他改进方法。最后在已有的研究进展和基础之上,对GAN在肝脏肿瘤图像分割中的应用进行总结,讨论GAN在肝脏肿瘤图像分割上所面临的挑战,并对其未来发展进行展望。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中。条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据。传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图像,而cGAN只是对GAN的目标函数加以改进,并没有改变其网络结构,因此cGAN生成的图像中仍然存在长距离特征之间相关性相对较小的问题,从而导致cGAN生成图像的细节不清楚。为了解决这个问题,将自注意力机制引入cGAN中,并提出了一个新的模型SA-cGAN。该模型通过将图像中相距较远的特征相互关联起来生成一致的对象或场景,进而提升生成对抗网络生成细节的能力。将SA-cGAN在CelebA和MNIST手写数据集上进行了实验,并将其与DCGAN,cGAN等几种常用的生成模型进行了比较,结果证明该模型相比其他几种模型在图像生成领域有一定的进步。     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

基于生成式对抗网络的道路交通模糊图像增强

为了提高道路交通模糊图像增强的质量,进一步促进道路交通管理,针对道路交通场景下的运动模糊图像增强问题,提出了一种基于生成式对抗网络的多尺度多路径学习的模型。首先,选用具有多尺度卷积核的神经网络,对输入的图像进行更细致地特征值提取;其次,将局部残差学习和全局残差学习相结合,采用多路径多权重共享的递归学习,并利用判别网络和生成网络间的对抗训练优化网络参数;最后,实现端到端直接生成图像。实验结果表明:提出的模型可以有效地增强道路交通场景下的运动模糊图像,生成的图像细节更加丰富,具有较好的图像视觉效果。     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

深度生成模型综述

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注,网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点,深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用,并给无监督学习提供了良好的范式.本文根据深度生成模型处理似然函数的不同方法将模型分...     

融合VAE和StackGAN的零样本图像分类方法

零样本分类算法旨在解决样本极少甚至缺失类别情况下的分类问题。随着深度学习的发展,生成模型在零样本分类中的应用取得了一定的突破,通过生成缺失类别的图像,将零样本图像分类转化为传统的基于监督学习的图像分类问题,但生成图像的质量不稳定,如细节缺失、颜色失真等,影响图像分类准确性。为此,提出一种融合变分自编码(variational auto-encoder, VAE)和分阶段生成对抗网络(stack generative adversarial networks, StackGAN)的零样本图像分类方法,基于VAE/GAN模型引入StackGAN,用于生成缺失类别的数据,同时使用深度学习方法训练并获取各类别的句向量作为辅助信息,构建新的生成模型stc-CLS-VAEStackGAN,提高生成图像的质量,进而提高零样本图像分类准确性。在公用数据集上进行对比实验,实验结果验证了本文方法的有效性与优越性。     

基于生成对抗网络的运动模糊图像复原

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题，提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程，采用端对端的方式直接获取复原图像；通过引入生成对抗网络思想的对抗损失和对残差网络进行改进，有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试，证明了该方案取得了较好的结果。     

一种改进DCGANs网络的磁瓦缺陷图像生成方法研究

基于机器视觉的磁瓦表面缺陷检测研究对于改进磁瓦生产工艺、提升磁瓦生产效率有着重要意义.但在研究过程中,存在磁瓦含缺陷样本收集困难、不同缺陷样本数不均匀、缺陷类型单一等问题.本文提出一种使用高斯混合模型的深度卷积生成对抗网络(Gaussian Mixture Model Deep Convolution Generative Adversarial Networks,GMM-DCGANs)生成含缺陷磁瓦图像的方法.在深度卷积生成对抗网络的基础上,将生成图像的输入噪声潜在空间复杂化为高斯混合模型,从而提高图像生成网络对有限数量且具有类间及类内多样性训练样本的学习能力.实验结果表明,GMMDCGANs网络可以生成质量更好、缺陷类型更加丰富的磁瓦缺陷图像,并且生成的图像满足缺陷检测及分类的要求.