基于条件生成对抗网络的图像描述生成方法

图像描述,即利用电脑自动描述图像的语义内容一直是计算机视觉领域的一项重要研究任务.尽管使用卷积神经网络(convolutional neural networks, CNN)和长短期记忆网络(long short-term memory, LSTM)的组合框架在生成图像描述方面解决了梯度消失和梯度爆炸问题,但是基于LSTM的模型依赖序列化的生成描述,无法在训练时并行处理,且容易在生成描述时遗忘先前的信息.为解决这些问题,提出将条件生成对抗网络(conditionalgenerativeadversarial network, CGAN)引入到描述生成模型训练中,即采用CNN来生成图像描述.通过对抗训练来生成句子描述,并结合注意力机制提升描述的质量.在MSCOCO数据集上进行测试,实验结果表明,与基于CNN的其他方法相比,文中方法在语义丰富程度指标CIDEr上取得了2%的提升,在准确性指标BLEU上有1%左右的性能提升;同时,其在部分指标,尤其是语义指标上超过了基于LSTM模型的图像描述方法的性能;证明该方法生成的图像描述更接近图像的真实描述,并且语义内容更加丰富.     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

基于生成式对抗网络的裂缝图像修复方法

提出一种基于生成式对抗网络的裂缝图像修复方法。在修复过程中,对障碍物所在位置进行信息擦除获得待修复图像。使用生成式对抗网络生成相应的裂缝图像,为待修复图像和生成图像分别覆盖距离加权掩膜,并计算获得修复块。对修复块与待修复图像的拼接图像进行优化获得最终修复结果。实验结果表明,该方法可对裂缝图像进行了准确修复。与传统的修复方法相比,使用该方法修复后的裂缝图像较之前方法峰值信噪比提升了0.6～0.9 dB,实现了在有限的裂缝数据集条件下,生成大量还原度较高的裂缝图像。     

生成式对抗网络在图像补全中的应用*

图像补全是数字图像处理领域的重要研究方向,具有广阔的应用前景。提出了一种基于生成式对抗网络(GAN)的图像补全方法。生成式对抗网络模型由生成器模型和判别器模型两部分构成,通过采用卷积神经网络(CNN)实现。首先,通过生成器模型对图像的缺失区域进行补全;然后,利用判别器模型对图像的补全效果进行判别。采用马尔科夫随机场(MRF)与均方误差(MSE)相结合的损失函数训练生成器模型,加强对图像纹理细节的处理能力。实验结果证明,基于生成式对抗网络的图像补全方法,相较于其他现有的方法,具有更好的补全效果。     

一种基于生成式对抗网络的图像数据扩充方法

针对卷积神经网络(CNN)在数据集(训练集)较小时,易发生过度拟合的现象,提出并实现了一种引入Selu激活函数并结合带参数归一化的Dropout方法的深度卷积生成式对抗网络用于图像增强,生成图像实现数据集扩充,从而解决深度学习图像分类研究中因图像数据不足造成的模型表达能力差、训练时易过度拟合的问题。通过裁剪、旋转、插值、畸变变换等扩充图像集的传统图像增强方法往往只能扩充样式单一甚至信噪比较低的图像,与传统图像增强方法扩充图像集不同,使用生成式对抗网络生成的图像明显区别于原始图像,不仅可以得到数量更多,内容更丰富的高质量图像,数据集扩充效率也得以提升。仿真实验表明,该生成式对抗网络得到了质量相对较高的图像,有效地扩充了数据集。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...     

基于生成式对抗网络的画作图像合成方法

画作图像合成旨在将两个不同来源的图像分别作为前景和背景融合在一起,这通常需要局部风格迁移。现有算法过程繁琐且耗时,不能做到实时的图像合成。针对这一缺点,提出了基于生成式对抗网络(generative adversarial net,GAN)的前向生成模型(PainterGAN)。PainterGAN的自注意力机制和U-Net结构控制合成过程中前景的语义内容不变。同时,对抗学习保证逼真的风格迁移。在实验中,使用预训练模型作为PainterGAN的生成器,极大地节省了计算时间和成本。实验结果表明,比起已有方法,PainterGAN生成了质量相近甚至更好的图像,生成速度也提升了400倍,在解决局部风格迁移问题上是高质量、高效率的。     

基于生成式对抗网络的中文字体风格迁移

风格多样的中文字体是一种重要的中国文化符号,它的设计和操作是一项需要大量专业知识的艰巨工作。因此,针对这项工作提出一种基于生成式对抗网络的中文字体风格迁移的新方法。实验中,使用基于残差网络结构的生成式模型,在均方误差约束下,进行生成式模型与判别式模型之间的对抗训练,最后使用训练所得的生成式模型实现不同中文字体间一对一和多对多的风格迁移。实验表明,与之前常用的基于◢l◣▼1▽正则化方法相比,使用这种方法在字体细节生成上有更出色的表现,简化了中文字体的建模方式,提高了生成图像的逼真度,并具有更好的灵活性和通用性。     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成.为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,...     

基于生成对抗网络的高照度可见光图像生成

为解决夜间低照度条件下目标检测准确率偏低的问题,提出一种基于循环生成对抗网络的高照度可见光图像生成方法。为提高生成器提取特征的能力,在转换器模块引入CBAM注意力模块;为避免在生成图像中产生伪影的噪声干扰,把生成器解码器的反卷积方式改为最近邻插值加卷积层的上采样方式;为了提高网络训练的稳定性,把对抗损失函数由交叉熵函数换为最小二乘函数。生成的可见光图像与红外图像、夜间可见光图像相比,在光谱信息、细节信息丰富和可视性方面取得好的优势提升,能够有效地获取目标和场景的信息。分别通过图像生成指标和目标检测指标验证该方法的有效性,其中对生成可见光图像测试得到的mAP较红外图像和真实可见光图像分别提高了11.7个百分点和30.2个百分点,可以有效提高对夜间目标的检测准确率和抗干扰能力。     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

生成对抗网络在医学图像处理中的应用

生成对抗网络(Generative Adversarial Nets,GANs)模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能.针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型.介绍了生成对抗网络模型的理论和组成结构;介绍了几种典...     

基于生成对抗网络的抗泄露加密算法研究

生成对抗网络（Generative Adversarial Networks,GANs）是一种深度学习模型,通过与辨别模型的对抗获得逐渐完善的生成模型,用以产生真假难辨的数据,而利用生成对抗网络实现加密算法是一个新的研究方向。在16位密钥对称加密方案下,对Abadi等人的基本加密通信模型做了抗泄漏加密通信测试,发现了利用生成对抗网络实现抗泄露加密通信的可能性。对通信双方和敌手的神经网络模型进行了改进,通过修改系统的激活函数,获得3比特密钥泄露情况下的加密算法模型,通过增加解密方和敌手模型的复杂度可提高通信的稳定性。在模型中增加批规格化处理,进一步提升了抗泄露加密通信能力。最终可以在8位泄漏的情况下,保证通信双方正常通信且敌手无法获取秘密信息。为抗泄露加密通信问题提供了一种全新的解决方案,并通过实验证明了方案的可行性。     

基于生成对抗网络的图像去雾算法

为了提高雾霾条件下拍摄到的模糊图像的质量,提出了一种基于生成对抗学习思想的卷积神经网络去雾算法.该卷积网络在生成模型部分将介质透射率和大气光值嵌入一个变量,进行了联合优化,避免了分离优化影响整体去雾性能的缺陷;在对抗模型部分,将生成模型部分的输出清晰图和真实的清晰图进行对比,从而判别生成的输出清晰图是否足够真实.为了生成更加逼真的清晰图像,引入了一种新的损失函数来优化网络参数,该损失函数同时纳入了图像的L₂损失和双向梯度损失、特征损失和判别器损失,从4个方面来保证去雾性能的良好表现.除此之外,在训练网络的过程中,使用了真实图像和合成有雾图像同时作为数据集,其中的合成图像在合成过程中采用引导滤波算法,这样可以使得合成的有雾图像更加接近于自然情况.最后,引入了更多的评价指标验证了所提方法.基于不同方法的实验数据和实验结果证明了本文方法在已有方法上的提升.     

多判别器协同框架:高品质图像的谱归一生成对抗网络

通过生成对抗网络的对抗学习生成仿真图像,已成为人工智能领域的一个研究热点.为了进一步提高生成图像的质量,本文提出了多判别器协同合作的网络框架——采用多个判别器为唯一生成器提供联合损失量,并通过不同的学习率保持各个判别器的差异性.同时,为了满足判别器的Lipschitz连续条件,本文所有的判别器网络一律进行谱归一化操作.实验表明,本文提出的基于多判别器合作框架的生成对抗网络表现较优.     

基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

GAN图像对抗样本生成方法

为了提高生成对抗网络模型对抗样本的多样性和攻击成功率,提出了一种GAN图像对抗样本生成方法.首先,利用原始样本集整体训练一个深度卷积对抗生成网络G1,模拟原始样本集分布;其次,在黑盒攻击场景下,利用模型蒸馏方法对目标模型进行黑盒复制,获取目标模型的本地复制;然后以G1的输出作为输入,以蒸馏模型作为目标模型,训练生成对抗...