基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明：该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。     

基于生成式对抗网络的裂缝图像修复方法

提出一种基于生成式对抗网络的裂缝图像修复方法。在修复过程中,对障碍物所在位置进行信息擦除获得待修复图像。使用生成式对抗网络生成相应的裂缝图像,为待修复图像和生成图像分别覆盖距离加权掩膜,并计算获得修复块。对修复块与待修复图像的拼接图像进行优化获得最终修复结果。实验结果表明,该方法可对裂缝图像进行了准确修复。与传统的修复方法相比,使用该方法修复后的裂缝图像较之前方法峰值信噪比提升了0.6～0.9 dB,实现了在有限的裂缝数据集条件下,生成大量还原度较高的裂缝图像。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...     

基于卷积自编码生成式对抗网络的高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(str...     

多尺度梯度对抗样本生成网络

传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始...     

基于多尺度注意力残差网络的图像阴影去除算法

针对在复杂环境下的阴影去除存在阴影区域颜色、纹理失真以及半阴影区域去除不够彻底的问题,提出了一种基于生成式对抗网络的多尺度注意力残差网络的图像阴影去除算法。首先,使用4个不同大小的卷积核提取输入图像特征,以获得不同尺度上的特征信息;其次,通过压缩和激励网络（Squeeze and Excitation Networks,SE-Net）网络校准每个通道的特征信息,以增强重要特征信息并弱化非重要特征信息;最后,拼接所有通道,得到最终具有多尺度特征信息的特征图。实验表明,所提出算法在复杂阴影场景中能准确恢复阴影区域的颜色、纹理及阴影边缘等细节,其性能优于现有的主流算法。     

生成式对抗网络及其计算机视觉应用研究综述

目的 生成式对抗网络（GAN）的出现为计算机视觉应用提供了新的技术和手段,它以独特零和博弈与对抗训练的思想生成高质量的样本,具有比传统机器学习算法更强大的特征学习和特征表达能力。目前在机器视觉领域尤其是样本生成领域取得了显著的成功,是当前研究的热点方向之一。方法 以生成式对抗网络的不同模型及其在计算机视觉领域的应用为研究对象,在广泛调研文献特别是GAN的最新发展成果基础上,结合不同模型的对比试验,对每种方法的基本思想、方法特点及使用场景进行分析,并对GAN的优势与劣势进行总结,阐述了GAN研究的现状、在计算机视觉上的应用范围,归纳生成式对抗网络在高质量图像生成、风格迁移与图像翻译、文本与图像的相互生成和图像的还原与修复等多个计算机视觉领域的研究现状和发展趋势,并对每种应用的理论改进之处、优点、局限性及使用场景进行了总结,对未来可能的发展方向进行展望。结果 GAN的不同模型在生成样本质量与性能上各有优劣。当前的GAN模型在图像的处理上取得较大的成就,能生成以假乱真的样本,但是也存在网络不收敛、模型易崩溃、过于自由不可控的问题。结论 GAN作为一种新的生成模型具有很高的研究价值与应用价值,但目前存在一些理论上的桎梏亟待突破,在应用方面生成高质量的样本、逼真的场景是值得研究的方向。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于生成对抗网络的破损老照片修复

提出一种基于生成对抗网络的破损老照片修复方法.生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域.考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性.此外,生成器的损失...     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约...     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

一种基于生成式对抗网络的图像描述方法

近年来,深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进行特征提取,递归神经网络对特征拼接生成语句.然而,当图像较为复杂时,特征提取不准确且语句生成模型模式固定,部分语句不具备连贯性.基于此,提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征,与COCO图像集进行近似特征比对,选择排序靠前的图像特征作为生成式对抗网络的输入,通过生成器与鉴别器之间的博弈过程,训练句法多样、语句通顺、词汇丰富的语句生成器模型.在实际数据集上的实验结果表明,CACNN-GAN能够有效地对图像进行语义描述,相比其他主流算法,显示出了更高的准确率.     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.