生成对抗网络在肝脏肿瘤图像分割中的应用综述

由于肝脏肿瘤图像复杂多样且肝脏肿瘤图像数据集获取困难等问题,快速准确地诊断肝脏肿瘤疾病面临着诸多挑战,尤其是肝脏肿瘤的分割是其中的关键研究内容。生成对抗网络在半监督学习领域具有强大的优越性,因此其在医学图像处理中得到广泛应用。为了分析肝脏肿瘤图像在分割领域的现状以及未来发展,针对应用GAN的肝脏肿瘤图像分割方法进行研究,介绍GAN模型的网络结构与衍生模型,重点总结并分析生成对抗网络在肝脏肿瘤图像分割中的应用,包括基于网络结构改进的GAN方法、基于生成器或判别器改进的GAN方法和基于GAN的其他改进方法。最后在已有的研究进展和基础之上,对GAN在肝脏肿瘤图像分割中的应用进行总结,讨论GAN在肝脏肿瘤图像分割上所面临的挑战,并对其未来发展进行展望。     

基于对抗式生成网络的电力用户意图文本生成

回答用户问询是电力营业厅的重要业务,使用智能系统识别用户意图可以大量减少人力成本、简化工作流程。真实的电力用户文本规模小、获取困难,从而导致智能系统深度学习效果仍待提升。为了解决语料不足的问题,提出一种基于对抗式生成网络的用户问询文本生成方法。实验通过将生成的文本加入训练集,使得RNN意图识别网络在测试集上的准确率由79. 6%提升到82. 1%。实验采用BLEU算法为评价方法,验证生成文本和真实文本的高相似度。由此证明使用用户问询文本生成模型可以生成符合实际需求的电力用户问询文本。     

生成式对抗网络及其在图像生成中的研究进展

生成式对抗网络(GAN)现已成为深度学习领域热门的研究方向,其独特的对抗性思想来源于博弈论中的二人零和博弈,如何解决GAN训练不稳定、生成样本质量差、评价体系不够健全、可解释性差等问题是目前GAN研究的重点和难点.调研了生成式对抗网络的研究背景和发展趋势.首先阐述了生成式对抗网络的基本思想和算法实现,分析了GAN的优势...     

改进生成对抗网络在图片数据生成中的应用

图片数据生成旨在根据现有的图片数据,产生与原始图片数据分布相似的图片数据。当前主流的生成对抗网络模型（generative adversarial networks,GAN）产生的图片数据质量较差,模型的训练总是遇到调试困难、训练不稳定、梯度消失、模式崩溃等一系列问题。根据稀疏表达结构和残差结构组合而成的生成器,残差结构组成的辨别器,提出了一种能够生成高质量图片的GAN模型。根据分支网络模型构成的生成器,设计了多种类图片数据生成模型,可以使用一个模型同时训练生成多种类型的图片数据。为了更好地对数据进行训练,设计了一种动态匀速下降学习率,能够根据运行时间对学习率的衰减进行指导。在各个数据集上的实验结果表明,改进模型结构在图像数据生成上比其他算法更加稳定、鲁棒,能够生成更高质量的图片数据。     

使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

人脸年龄合成的生成对抗网络方法综述

年龄信息作为人类生物特征识别的重要组成部分,在社会保障和数字娱乐等领域具有广泛的应用前景。人脸年龄合成技术由于其广泛的应用价值,受到了越来越多学者的重视,已经成为计算机视觉领域的重要研究方向之一。随着深度学习的快速发展,基于生成对抗网络的人脸年龄合成技术已成为研究热点。尽管基于生成对抗网络的人脸年龄合成方法取得了不错的成果,但生成的人脸年龄图像仍存在图像质量较差、真实感较低、年龄转换效果和多样性不足等问题。主要因为当前人脸年龄合成研究仍存在以下困难： 1）现有人脸年龄合成数据集的限制; 2）引入人脸年龄合成的先验知识不足; 3）人脸年龄图像的细粒度性被忽视; 4）高分辨率下的人脸年龄合成问题;5）目前人脸年龄合成方法的评价标准不规范。本文对目前人脸年龄合成技术进行全面综述,以人脸年龄合成方法为研究对象,阐述其研究现状。通过调研文献,对人脸年龄合成方法进行分类,重点介绍了基于生成对抗网络的人脸年龄合成方法。此外,本文还讨论了常用的人脸年龄合成数据集及评价指标,分析了各种人脸年龄合成方法的基本思想、特点及其局限性,对比了部分代表方法的性能,指出了该领域目前存在的挑战并提供了一些具有潜力的研究方向,为研究者们解决存在的问题提供便利。     

深度对抗视觉生成综述

深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容。深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型。生成对抗网络（generative adversarial networks,GANs）是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向。GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务。利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义。本文对近年来深度对抗视觉生成的相关工作进行综述。首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势。     

生成对抗网络GAN综述

生成对抗网络(GAN)作为一种新的无监督学习算法框架得到越来越多研究者的青睐,已然成为当下的一个研究热点。GAN受启发于博弈论中的二人零和博弈理论,其独特的对抗训练思想能生成高质量的样本,具有比传统机器学习算法更加强大的特征学习和特征表达能力。目前GAN在计算机视觉领域尤其是在样本生成领域取得显著成功,每年有大量GAN相关研究的论文产出。针对GAN这一热点模型,首先介绍了GAN的研究现状;接着介绍了GAN的理论、框架,详细分析了GAN在训练过程中存在梯度消失和模式崩溃的原因;然后讨论了一些典型的GAN的改进模型,总结了它们理论的改进之处、优点、局限性、应用场景以及实现成本,同时还将GAN与VAE、RBM模型进行比较,总结出GAN的优势和劣势;最后展示了GAN在数据生成、图像超分辨率、图像风格转换等方面的应用成果,并探讨了GAN目前面临的挑战以及未来的研究方向。     

人脸合成技术综述

人脸合成由于其应用与技术价值,是机器视觉领域的热点之一,而近年来深度学习的突破性进展使该领域吸引了更多关注.将该领域的研究分为四个子类:人脸身份合成、人脸动作合成、人脸属性合成与人脸生成,并系统地总结了这些子类的发展历程、现状,以及现有技术存在的问题.首先针对人脸身份合成,从图形学、数字图像处理与深度学习三个角度总结了各自的合成流程,对关键技术原理进行了详细的解释与分析.其次将人脸动作合成进一步分为利用标签驱动的表情编辑与利用真实人脸驱动的人脸重演,并指出了各自领域中存在的缺陷与难题.然后介绍了基于生成模型,尤其是生成对抗网络在人脸属性合成方面的发展,最终对人脸生成的各类工作进行了简单的阐述.此外,介绍了人脸合成技术的实际应用与当前面临的相关问题,并展望了该领域未来可能的研究方向.     

深度学习汉字生成与字体风格迁移综述

汉字字体风格迁移旨在保证在语义内容不变的同时对汉字的字形作相应的转换。由于深度学习在图像风格迁移任务中表现出色,因此汉字生成可以从汉字图像入手,利用此技术实现汉字字体的转换,减少字体设计的人工干预,减轻字体设计的工作负担。然而,如何提高生成图像的质量仍是一个亟待解决的问题。本文首先系统梳理了当前汉字字体风格迁移的相关工作,将其分为3类,即基于卷积神经网络(convolutional neural network,CNN)、自编码器(auto-encoder,AE)和生成对抗网络(generative adversarial network,GAN)的汉字字体风格迁移方法。然后,对比分析了22种汉字字体风格迁移方法在数据集规模方面的需求和对不同字体类别转换的适用能力,并归纳了这些方法的特点,包括细化汉字图像特征、依赖预训练模型提取有效特征、支持去风格化等。同时,按照汉字部首检字表构造包含多种汉字字体的简繁体汉字图像数据集,并选取代表性的汉字字体风格迁移方法进行对比实验,实现源字体(仿宋)到目标字体(印刷体和手写体)的转换,展示并分析Rewrite2、zi2zi、TET-GAN(texture effects transfer GAN)和Unet-GAN等4种代表性汉字字体风格迁移方法的生成效果。最后,对该领域的现状和挑战进行总结,展望该领域未来发展方向。由于汉字具有数量庞大和风格多样的特性,因此基于深度学习的汉字生成与字体风格迁移技术还不够成熟。未来该领域将从融合汉字的风格化与去风格化为一体、有效提取汉字特征等方面进一步探索,使字体设计工作向更灵活、个性化的方向发展。     

EnGAN：医学图像分割中的增强生成对抗网络

原始采集的医学图像普遍存在对比度不足、细节模糊以及噪声干扰等质量问题,使得现有医学图像分割技术的精度很难达到新的突破。针对医学图像数据增强技术进行研究,在不明显改变图像外观的前提下,通过添加特定的像素补偿和进行细微的图像调整来改善原始图像质量问题,从而提高图像分割准确率。首先,设计引入了一个新的优化器模块,以产生一个连续分布的空间作为迁移的目标域,该优化器模块接受数据集的标签作为输入,并将离散的标签数据映射到连续分布的医学图像中;其次,提出了一个基于对抗生成网络的EnGAN模型,并将优化器模块产生的迁移目标域用来指导对抗网络的目标生成,从而将改善的医学图像质量知识植入模型中实现图像增强。基于COVID-19数据集,实验中使用U-Net、U-Net+ResNet34、U-Net+Attn Res U-Net等卷积神经网络作为骨干网络,Dice系数和交并比分别达到了73.5%和69.3%、75.1%和70.5%,以及75.2%和70.3%。实验的结果表明,提出的医学图像质量增强技术在最大限度保留原始特征的条件下,有效地提高了分割的准确率,为后续的医学图像处理研究提供了一个更为稳健和高效的解决方案。     

条件生成对抗网络的低照度图像增强方法

目的 在日常的图像采集工作中,由于场景光照条件差或设备的补光能力不足,容易产生低照度图像。为了解决低照度图像视觉感受差、信噪比低和使用价值低（难以分辨图像内容）等问题,本文提出一种基于条件生成对抗网络的低照度图像增强方法。方法 本文设计一个具备编解码功能的卷积神经网络（CNN）模型作为生成模型,同时加入具备二分类功能的CNN作为判别模型,组成生成对抗网络。在模型训练的过程中,以真实的亮图像为条件,依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈,使得本文网络模型具备更好的低照度图像增强能力。在本文方法使用过程中,无需人工调节参数,图像输入模型后端到端处理并输出结果。结果 将本文方法与现有方法进行比较,利用本文方法增强的图像在亮度、清晰度以及颜色还原度等方面有了较大的提升。在峰值信噪比、直方图相似度和结构相似性等图像质量评价指标方面,本文方法比其他方法的最优值分别提高了0.7 dB、3.9%和8.2%。在处理时间上,本文方法处理图像的速度远远超过现有的传统方法,可达到实时增强的要求。结论 通过实验比较了本文方法与现有方法对于低照度图像的处理效果,表明本文方法具有更优的处理效果,同时具有更快的处理速度。     

基于生成式对抗网络的中文字体风格迁移

风格多样的中文字体是一种重要的中国文化符号,它的设计和操作是一项需要大量专业知识的艰巨工作。因此,针对这项工作提出一种基于生成式对抗网络的中文字体风格迁移的新方法。实验中,使用基于残差网络结构的生成式模型,在均方误差约束下,进行生成式模型与判别式模型之间的对抗训练,最后使用训练所得的生成式模型实现不同中文字体间一对一和多对多的风格迁移。实验表明,与之前常用的基于◢l◣▼1▽正则化方法相比,使用这种方法在字体细节生成上有更出色的表现,简化了中文字体的建模方式,提高了生成图像的逼真度,并具有更好的灵活性和通用性。     

Re-GAN：残差生成式对抗网络算法

目的 生成式对抗网络（generative adversarial network,GAN）是一种无监督生成模型,通过生成模型和判别模型的博弈学习生成图像。GAN的生成模型是逐级直接生成图像,下级网络无法得知上级网络学习的特征,以至于生成的图像多样性不够丰富。另外,随着网络层数的增加,参数变多,反向传播变得困难,出现训练不稳定和梯度消失等问题。针对上述问题,基于残差网络（residual network,ResNet）和组标准化（group normalization,GN）,提出了一种残差生成式对抗网络（residual generative adversarial networks,Re-GAN）。方法 Re-GAN在生成模型中构建深度残差网络模块,通过跳连接的方式融合上级网络学习的特征,增强生成图像的多样性和质量,改善反向传播过程,增强生成式对抗网络的训练稳定性,缓解梯度消失。随后采用组标准化（GN）来适应不同批次的学习,使训练过程更加稳定。结果 在Cifar10、CelebA和LSUN数据集上对算法的性能进行测试。Re-GAN的IS （inception score）均值在批次为64时,比DCGAN （deep convolutional GAN）和WGAN （Wasserstein-GAN）分别提高了5%和30%,在批次为4时,比DCGAN和WGAN分别提高了0.2%和13%,表明无论批次大小,Re-GAN生成图像具有很好的多样性。Re-GAN的FID （Fréchet inception distance）在批次为64时比DCGAN和WGAN分别降低了18%和11%,在批次为4时比DCGAN和WGAN分别降低了4%和10%,表明Re-GAN生成图像的质量更好。同时,Re-GAN缓解了训练过程中出现的训练不稳定和梯度消失等问题。结论 实验结果表明,在图像生成方面,Re-GAN的生成图像质量高、多样性强;在网络训练方面,Re-GAN在不同批次下的训练具有更好的兼容性,使训练过程更加稳定,梯度消失得到缓解。     

身份保持约束下的人脸图像补全

人脸图像补全作为图像补全技术的一种特殊应用,在被遮挡人脸的识别、人脸修复等问题上有不可替代的作用。现有的人脸补全算法只针对补全图像的真实性,而未考虑其补全后的身份一致性。针对这一问题,设计了一种基于改进的生成式对抗网络的人脸补全算法,通过引入SN-GAN算法,提高了模型训练的稳定性,同时利用人脸识别模型对生成图像加入了身份一致性约束,经过实验证明,所提方法能够在生成高真实性图像时有效保持补全图像的身份一致。     

基于条件的边界平衡生成对抗网络

目前没有能够使用简单的网络结构生成高质量特定图像的生成模型,针对这一项任务,本文结合边界平衡生成对抗网络（boundary equilibrium generative adversarial network,BEGAN）的优点,添加附加条件特征以及均方误差损失,建立了条件边界平衡生成对抗网络（conditional-BEGAN,C-BEGAN）,使用这种方法提取其中的生成模型用于特定图像的生成,实验结果表明,该方法相比于其他监督类生成模型可以使用更简单的网络达到更快的收敛速度并且能够生成具有更好质量以及多样性的图片。     

结合自监督学习和生成对抗网络的小样本人脸属性识别

目的 人脸属性识别是计算机视觉和情感感知等领域一个重要的研究课题。随着深度学习的不断发展,人脸属性识别取得了巨大的进步。目前基于深度学习的人脸属性识别方法大多依赖于包含完整属性标签信息的大规模数据集。然而,对于小样本数据集的属性标签缺失问题,人脸属性识别方法的准确率依然较低。针对上述问题,本文提出了一种结合自监督学习和生成对抗网络的方法来提高在小样本数据集上的人脸属性识别准确率。方法 使用基于旋转的自监督学习技术进行预训练得到初始的属性识别网络;使用基于注意力机制的生成对抗网络得到人脸属性合成模型,对人脸图像进行属性编辑从而扩充训练数据集;使用扩充后的训练数据集对属性识别网络进行训练得到最终模型。结果 本文在小样本数据集UMD-AED（University of Maryland attribute evaluation dataset）上进行了实验并与传统的有监督学习方法进行了比较。传统的有监督学习方法达到了63.24%的平均准确率,而所提方法达到了69.01%的平均准确率,提高了5.77%。同时,本文在CelebA（CelebFaces attributes dataset）、LFWA（labeled faces in the wild attributes dataset）和UMD-AED数据集上进行了使用自监督学习和未使用自监督学习的对比实验,验证了自监督学习在小样本数据集上的有效性。结论 本文所提出的结合自监督学习和生成对抗网络的人脸属性识别方法有效提高了小样本数据集上属性识别的准确率。     

基于生成对抗网络的红外图像数据增强

深度学习在视觉任务中的良好表现很大程度上依赖于海量的数据和计算力的提升,但是在很多实际项目中通常难以提供足够的数据来完成任务。针对某些情况下红外图像少且难以获得的问题,提出一种基于彩色图像生成红外图像的方法来获取更多的红外图像数据。首先,用现有的彩色图像和红外图像数据构建成对的数据集;然后,基于卷积神经网络、转置卷积神经网络构建生成对抗网络（GAN）模型的生成器和鉴别器;接着,基于成对的数据集来训练GAN模型,直到生成器和鉴别器之间达到纳什平衡状态;最后,用训练好的生成器将彩色图像从彩色域变换到红外域。基于定量评估标准对实验结果进行了评估,结果表明,所提方法可以生成高质量的红外图像,并且相较于在损失函数中不加正则化项,在损失函数中加入L1和L2正则化约束后,该方法的FID分数值平均分别降低了23.95和20.89。作为一种无监督的数据增强方法,该方法也可以被应用于其他缺少数据的目标识别、目标检测、数据不平衡等视觉任务中。     

结合门循环单元和生成对抗网络的图像文字去除

目的 图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法 通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果 在1 080组通过人工处理得到的真实数据集和使用文字合成方法合成的1 000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论 本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。     

生成对抗网络驱动的图像隐写与水印模型

目的 图像信息隐藏包括图像隐写术和图像水印技术两个分支。隐写术是一种将秘密信息隐藏在载体中的技术,目的是为了实现隐秘通信,其主要评价指标是抵御隐写分析的能力。水印技术与隐写术原理类似,但其是通过把水印信息嵌入到载体中以达到保护知识产权的作用,追求的是防止水印被破坏而尽可能地提高水印信息的鲁棒性。研究者们试图利用生成对抗网络（generative adversarial networks,GANs）进行自动化的隐写算法以及鲁棒水印算法的设计,但所设计的算法在信息提取准确率、嵌入容量和隐写安全性或水印鲁棒性、水印图像质量等方面存在不足。方法 本文提出了基于生成对抗网络的新型端到端隐写模型（image information hiding-GAN,IIH-GAN）和鲁棒盲水印模型（image robust blind watermark-GAN,IRBW-GAN）,分别用于图像隐写术和图像鲁棒盲水印。网络模型中使用了更有效的编码器和解码器结构SE-ResNet（squeeze and excitation ResNet）,该模块根据通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。结果 实验结果表明隐写模型IIH-GAN相对其他方法在性能方面具有较大改善,当已知训练好的隐写分析模型的内部参数时,将对抗样本加入到IIH-GAN的训练过程,最终可以使隐写分析模型的检测准确率从97.43%降低至49.29%。该隐写模型还可以在256×256像素的图像上做到高达1 bit/像素（bits-per-pixel）的相对嵌入容量;IRBW-GAN水印模型在提升水印嵌入容量的同时显著提升了水印图像质量以及水印提取正确率,在JEPG压缩的攻击下较对比方法提取准确率提高了约20%。结论 本文所提IIH-GAN和IRBW-GAN模型在图像隐写和图像水印领域分别实现了领先于对比模型的性能。