生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。     

生成对抗网络与文本图像生成方法综述

随着多传感器的普及,多模态数据获得科研和产业面的持续关注,通过深度学习来处理多源模态信息的技术是核心所在。文本生成图像是多模态技术的方向之一,由于生成对抗网络（GAN）生成图像更具有真实感,使得文本图像生成取得卓越进展。它可用于图像编辑和着色、风格转换、物体变形、照片增强等多个领域。将基于图像生成功能的GAN网络分为四大类：语义增强GAN、可增长式GAN、多样性增强GAN、清晰度增强GAN,并根据分类法提供的方向将基于功能的文本图像生成模型进行整合比较,厘清脉络;分析了现有的评估指标以及常用的数据集,阐明了对复杂文本的处理等方面的可行性以及未来的发展趋势;系统性地补充了生成对抗网络在文本图像生成方面的分析,将有助于研究者进一步推进这一领域。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像...     

基于生成对抗网络的维语场景文字修改网络

通过对维语的场景文字检测与识别研究发现,人工采集标注自然场景文字图像是耗时耗力的,因此人工合成的数据是作为训练数据的主要来源。为获得更加真实的数据,本文提出一种基于生成对抗网络的维语场景文字修改网络,利用高效的Transformer模块构建网络,充分提取图像全局与局部特征来完成维语场景文字图像修改,并添加微调模块,对最终结果进行微调。采用WGAN思想策略训练模型,可有效应对模型崩溃以及梯度爆炸等问题。通过在英文-英文,英文-维文的文字修改实验来验证模型的泛化能力和鲁棒性,无论在客观评价指标（SSIM、PSNR）还是视觉上均取得不错效果,并在真实场景数据集SVT以及ICDAR 2013上进行了验证。     

基于生成对抗网络的文本生成图像算法

文本生成图像算法对生成图像的质量和文本匹配度有很高的要求. 为了提高生成图像的清晰度, 在现有算法的基础上改进生成对抗网络模型. 加入动态记忆网络、细节校正模块(DCM)、文本图像仿射组合模块(ACM)来提高生成图片的质量. 其中动态记忆网络可以细化模糊图像并选择重要的文本信息存储, 以提高下一阶段生成图像的质量. DCM纠正细节, 完成合成图像中缺失部分. ACM编码原始图像特征, 重建与文本描述无关的部分. 改进后的模型实现了两个目标, 一是根据给定文本生成高质量的图片, 同时保留与文本无关的内容. 二是使生成图像不再较大程度依赖于初始图像的生成质量. 通过在CUB-200-2011鸟类数据集进行研究实验, 结果表明相较之前的算法模型, FID (Frechet inception)有了显著的改善, 结果由16.09变为10.40. 证明了算法的可行性和先进性.     

基于条件生成对抗网络的图像翻译综述

图像翻译旨在实现多组不同领域图像间的转换,同时需要约束样本空间与目标空间分布的一致性.文章旨在寻找条件生成对抗网络与图像翻译问题的结合点,首先,介绍了数据集的特点,指出了不同数据集图像翻译难易程度;其次,从数学表达、性质以及目标函数设计方法得出算法实现的不同方式;将现有图像翻译分成3种类别——匹配图像翻译、非匹配图像翻译和多领域图像翻译,并得出不同应用场景所对应的图像翻译类别,即高清任务对应匹配图像翻译,低成本任务对应非匹配图像翻译,多样化任务对应多领域图像翻译;将图像质量评价方法分为主观图像质量评价与客观图像质量评价,并分析客观图像质量评价中全参考图像与无参考图像质量评价的适用范围;最后,总结条件生成对抗网络在图像翻译中的进展,并分析算法后指出了模式崩塌,模型可解释性和少样本等未来所需解决的问题.     

用于人像提取及半身像合成的生成对抗网络算法

利用生成对抗网络(generative adversarial network,GAN)进行标准上半身人像的合成,从普通人像照片中截取部分区域得到面部对齐后的标准化上半身合成图像,处理后的标准化人像实现了目标主体与背景的分离,可以有效地优化目标识别和分割算法的结果.图像的合成过程分为2个主要步骤,首先利用图像特征识别人脸并截取头部区域,然后以裁切后的头部区域为中心进行上半身人像的合成,得到人脸特征点及头部区域对齐后的上半身合成图像.该算法可以有效地从背景中分离人像区域,利用合成后的图像进行图像分割和评价,可以避免图像背景对于图像识别主体的干扰.通过自有数据集验证了该算法可以改善分割算法的精确度、召回率和F值,最终合成人脸图像的Facenet平均距离及标准差相比现有的人脸图像正则化算法均有减小,通过在CelebA及LFW等通用数据集上的验证测试,显示出算法具有良好的通用性和适应性,该算法可以广泛适用于人像照片的主体提取和人像合成,作为分割和识别等应用的前置步骤.     

基于生成对抗网络的眼底图像生成方法

提出一种带出血病症的眼底图像生成方法,该方法可以丰富眼底图像样本,提升眼底出血检测系统的准确率。该方法用图像分割技术从现有图像中分割出血管树和出血块,利用GAN生成大量血管树和出血块,并经过预处理合并,把合并后的图片和真实眼底图片一起输入到改进的CycleGAN中,生成大量眼底图片。其中对CycleGAN进行改进：改进模型结构,引入Wassertein距离,并加入同一映射损失和感知损失。实验表明,用该方法生成图像的PSNR值比现有技术提高9.82%,SSIM值提高4.17%且收敛速度更快。把生成图像添加到出血检测系统的训练集中,系统的AUC值提升3.51%,证明该方法优于现有技术。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于密集连接自逆生成对抗网络的MR图像生成方法

随着医学成像技术的快速发展,医学图像在临床检测及科研领域得到了广泛的应用。针对临床图像数据集不完备的情况,本文提出了基于密集连接的自逆生成对抗网络用于实现核磁共振T1加权图像和T2加权图像相互生成的模型。该模型在自逆循环对抗生成网络的生成器模块中引入密集连接块结构,并采用U-net的多尺度融合框架,实现了T1与T2加权图像的互相生成。实验采用BraTS 2018数据集进行验证,生成图像的峰值信噪比与结构相似度最高分别可以达到22.78和0.8。基于密集连接块的生成器与基于U-net及ResNet的生成器模型的对比实验结果表明,基于密集连接块的生成模型性能更优。本文提出的基于密集连接自逆生成对抗网络的MR图像生成方法可以较好地改善T1或T2加权像缺失的问题,为临床论断提供更多的信息。     

基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

生成对抗网络及其应用研究综述

生成对抗网络的理论研究与应用不断获得成功,已经成为当前深度学习领域研究的热点之一.对生成对抗网络理论及其应用从模型的类型、评价标准和理论研究进展等方面进行系统的综述:分别分析基于显式密度和基于隐式密度的生成模型的优缺点;总结生成对抗网络的评价标准,解读各标准之间的关系,并从应用层面介绍生成对抗网络在图像及其他领域中的研...     

生成对抗网络GAN的研究综述

为深入研究GAN这一热点模型,对基本GAN模型的原理、优点以及存在的问题进行分析;介绍GAN的发展以及不同的衍生模型,进一步说明GAN模型所做贡献,由此提出未来GAN衍生的改进方向的建议;描述GAN模型在图像、目标检测、文本合成、信息安全等各个领域的应用现状,总结其应用优势、局限性,针对其存在的问题,提出一些改善方法;对本文进行总结以及对该领域未来的研究方向提出一些展望.     

结合门循环单元和生成对抗网络的图像文字去除

目的 图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法 通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果 在1 080组通过人工处理得到的真实数据集和使用文字合成方法合成的1 000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论 本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。     

生成对抗网络改进角度与应用研究综述

生成对抗网络(GAN)作为一种新兴的生成式模型,逐渐发展应用于图像生成、三维重构、跨模态转换等领域,有效解决了常规卷积神经网络在图像生成类任务方面效率低下的问题,填补了深度学习在图像生成领域上的短板。为了帮助后续研究人员快速并全面了解GAN,根据近年来的文献对GAN的改进模型进行梳理。首先从网络结构、目标函数两个角度介绍了GAN的基本原理,然后对GAN的各种衍生模型从改进角度、应用类型两个方面进行详细的阐述和总结,分别从主观定性、客观定量和任务专项评估等角度对生成图像的质量和多样性进行归纳分析,最后讨论了GAN系列模型近年来的一些核心问题与最新研究进展,并分析了未来的发展趋势。     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。