Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于双鉴别网络的生成对抗网络图像修复方法

针对现有神经网络图像修复方法的修复结果在视觉连通性上存在结构扭曲、训练过程中易陷入过度学习等问题,提出了一种基于双鉴别网络的生成对抗网络（GAN）图像修复方法。该方法的修复模型使用了修复网络、全局鉴别网络和局部鉴别网络。修复网络将待修复图像破损区域用相似信息填充后作为输入,极大地提高了生成图像的速度与质量;全局鉴别网络综合采用图像全局的边缘结构信息和特征信息以保证修复网络输出的修复图像结果符合视觉连通性;而局部鉴别网络在鉴别输出图像的同时,利用在多个图像中寻找到的辅助特征块来提高鉴别的泛化能力,很好地抑制了修复网络在特征过于集中或单一时容易过度学习的问题。实验结果表明,所提修复方法在人脸类图像上具有较好的修复效果,且在不同种类图像上有非常好的适用性,其峰值信噪比（PSNR）和结构相似性（SSIM）指标比当前基于深度学习且修复效果较好的几种方法更优。     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于多尺度生成对抗网络的大气湍流图像复原

大气湍流会导致图像发生畸变和模糊,为对单幅大气湍流退化图像进行复原,提出一种基于多尺度生成对抗网络（GAN）的图像复原方法。采用GAN框架,在生成器网络中添加多尺度注意力特征提取单元与多层次特征动态融合单元,从而提升模型的感受野范围。在此基础上,引入特征融合机制以实现湍流退化图像复原。实验结果表明,相比标准GAN、SIU-Net模型,多尺度GAN能显著提高图像的视觉质量,有效降低图像的模糊和几何畸变程度。     

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题，提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先，将破损图片掩码输入由若干门控卷积堆叠成的粗网络中，在上采样时添加通道注意力（SE），结合L1重建损失，得到初步修复图；然后，将初步修复图输入精细网络，精细网络由若干门控卷积块和通道注意力块构成，结合重构损失、感知损失和对抗损失完善重要特征和细节，将破损图像的完好区域覆盖到精细网络的修复图上，得到完成修复的图片；最后，使用双判别网络结构进行训练，使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验，所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比（PSNR）上达到了27.39 dB，相较于部分卷积提升了6.74%，在结构相似性（SSIM）上达到了0.921 6，较部分卷积提升了2.95%。实验结果表明，引入通道注意力和双判别结构有助于提升图像修复的细节。     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

多尺度生成式对抗网络图像修复算法

图像修复作为深度学习领域的一个研究热点,在人们现实生活中有着重要的意义。现有图像修复算法存在各种问题,导致视觉上无法达到人们的要求。针对现有图像修复算法精确度低、视觉一致性差以及训练不稳定等缺陷,提出了一种基于生成式对抗网络(GAN)模型的图像修复算法。该算法主要对判别器的网络结构进行改进,在全局判别器和局部判别器的基础上引入多尺度判别器。多尺度判别器在不同分辨率的图像上进行训练,不同尺度的判别器具有不同的感受野,能够引导生成器生成更全局的图像视图以及更精细的细节。针对GAN训练中经常出现的梯度消失或梯度爆炸问题,使用WGAN(Wasserstein GAN)的思想,采用EM距离模拟样本数据分布。在CelebA、ImageNet以及Place2图像数据集上对该算法的网络模型进行了训练和测试,结果显示与先前的算法模型相比,该算法提高了图像修复的精确度,能够生成更为逼真的修复图片,并且适用于多种类型图片的修复。     

一种能量函数意义下的生成式对抗网络

生成式对抗网络（Generative adversarial network,GAN）是目前人工智能领域的一个研究热点,引起了众多学者的关注.针对现有GAN生成模型效率低下和判别模型的梯度消失问题,本文提出一种基于重构误差的能量函数意义下的生成式对抗网络模型（Energy reconstruction error GAN,E-REGAN）.首先,将自适应深度信念网络（Adaptive deep belief network,ADBN）作为生成模型,来快速学习给定样本数据的概率分布并进一步生成相似的样本数据.其次,将自适应深度自编码器（Adaptive deep autoencoder,ADAE）的重构误差（Reconstruction error,RE）作为一个表征判别模型性能的能量函数,能量越小表示GAN学习优化过程越趋近纳什均衡的平衡点,否则反之.同时,通过反推法给出了E-REGAN的稳定性分析.最后在MNIST和CIFAR-10标准数据集上的实验结果表明,相较于现有的类似模型,E-REGAN在学习速度和数据生成能力两方面均有较大提高.     

基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

基于卷积自编码生成式对抗网络的高分辨率破损图像修复

目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充。许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少。对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法。方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复。结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息。与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(str...     

生成对抗网络在肝脏肿瘤图像分割中的应用综述

由于肝脏肿瘤图像复杂多样且肝脏肿瘤图像数据集获取困难等问题,快速准确地诊断肝脏肿瘤疾病面临着诸多挑战,尤其是肝脏肿瘤的分割是其中的关键研究内容。生成对抗网络在半监督学习领域具有强大的优越性,因此其在医学图像处理中得到广泛应用。为了分析肝脏肿瘤图像在分割领域的现状以及未来发展,针对应用GAN的肝脏肿瘤图像分割方法进行研究,介绍GAN模型的网络结构与衍生模型,重点总结并分析生成对抗网络在肝脏肿瘤图像分割中的应用,包括基于网络结构改进的GAN方法、基于生成器或判别器改进的GAN方法和基于GAN的其他改进方法。最后在已有的研究进展和基础之上,对GAN在肝脏肿瘤图像分割中的应用进行总结,讨论GAN在肝脏肿瘤图像分割上所面临的挑战,并对其未来发展进行展望。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系。在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型。在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,利用SENet模块学习各个通道的重要程度以获取更好的图像表征。实验结果表明,与Bicubic和SinGAN模型相比,该模型峰值信噪比和结构相似性值更高,可有效提升图像生成质量。     

L-UNet：轻量化云遮挡道路提取网络

目的 道路提取是常见的遥感应用之一。现有的基于深度卷积网络的道路提取方法往往未考虑云遮挡给道路提取带来的影响，且提取网络模型较大，不利于在移动端部署，同时缺乏用于云遮挡场景下的道路提取数据集。对此，本文提出一种轻量化的UNet网络（lightweight UNet，L-UNet），高效地实现云遮挡下的道路提取。方法 通过柏林噪声模拟云层以扩展现有道路提取数据集，进而训练L-UNet。使用移动翻转瓶颈卷积模块作为特征提取的主要结构，在深度可分离卷积的基础上加入扩展卷积和压缩激励模块，在减少参数量的同时大幅提升了分割效果。结果 在DeepGlobe道路提取扩展数据集的测试中，与D-LinkNet相比，L-UNet的交并比（intersection over union，IoU）提升了1.97%，而参数量仅为D-LinkNet的1/5。在真实云遮挡遥感图像道路提取测试中，L-UNet的性能仍然最优，与D-LinkNet和UNet相比，IoU值分别提高19.47%和31.87%。结论 L-UNet网络具有一定的云遮挡区域下道路标签生成能力，虽然在模拟云遮挡数据集下训练得到，但对于真实云遮挡仍具有较强的鲁棒性。L-UNet模型参数量很小，易于嵌入移动端。     

条件生成对抗网络的低照度图像增强方法

目的 在日常的图像采集工作中,由于场景光照条件差或设备的补光能力不足,容易产生低照度图像。为了解决低照度图像视觉感受差、信噪比低和使用价值低（难以分辨图像内容）等问题,本文提出一种基于条件生成对抗网络的低照度图像增强方法。方法 本文设计一个具备编解码功能的卷积神经网络（CNN）模型作为生成模型,同时加入具备二分类功能的CNN作为判别模型,组成生成对抗网络。在模型训练的过程中,以真实的亮图像为条件,依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈,使得本文网络模型具备更好的低照度图像增强能力。在本文方法使用过程中,无需人工调节参数,图像输入模型后端到端处理并输出结果。结果 将本文方法与现有方法进行比较,利用本文方法增强的图像在亮度、清晰度以及颜色还原度等方面有了较大的提升。在峰值信噪比、直方图相似度和结构相似性等图像质量评价指标方面,本文方法比其他方法的最优值分别提高了0.7 dB、3.9%和8.2%。在处理时间上,本文方法处理图像的速度远远超过现有的传统方法,可达到实时增强的要求。结论 通过实验比较了本文方法与现有方法对于低照度图像的处理效果,表明本文方法具有更优的处理效果,同时具有更快的处理速度。     

面向GAN生成图像的被动取证及反取证技术综述

生成对抗网络（generative adversarial network,GAN）快速发展,并在图像生成和图像编辑技术等多个方面取得成功应用。然而,若将上述技术用于伪造身份或制作虚假新闻,则会造成严重的安全隐患。多媒体取证领域的研究者面向GAN生成图像已提出了多种被动取证与反取证方法,但现阶段缺乏相关系统性综述。针对上述问题,本文首先阐述本领域的研究背景和研究意义,然后分析自然图像采集与GAN图像生成过程的区别。根据上述理论基础,详细介绍了现有GAN生成图像的被动取证技术,包括：GAN生成图像检测算法,GAN模型溯源算法和其他相关取证问题。此外,针对不同应用场景介绍基于GAN的反取证技术。最后,通过实验分析当前GAN生成图像被动取证技术所面临的挑战。本文根据对现有技术从理论和实验两方面的分析得到以下结论：现阶段,GAN生成图像的被动取证技术已在空间域和频率域形成了不同技术路线,较好地解决了简单场景下的相关取证问题。针对常见取证痕迹,基于GAN的反取证技术已能够进行有效隐藏。然而,该领域研究仍存在诸多局限：1）取证与反取证技术的可解释性不足;2）取证技术鲁棒性和泛化性较弱;3）反取证技术缺乏多特征域协同的抗分析能力等。上述问题和挑战还需要研究人员继续深入探索。     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。