基于生成对抗网络的图像修复技术研究

基于生成对抗网络的图像修复算法在处理图像信息大面积丢失的情况时,效果比传统算法有了较大提升,但是在许多细节方面仍有待改进,例如使修复区域与保留区域在语义上更加合理,被修复区域的边缘需要保持连贯性,修复区域需要有丰富的纹理细节。针对以上问题,在现有的生成对抗网络修复算法的基础上提出了改进,结合非局部注意力机制,对输入图像进行多级合并和设置缓冲层,添加辅助判别器。通过对比实验结果,验证了改进模型的有效性,得到的修复图像更符合人眼视觉系统的要求。     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于生成对抗网络的人像修复

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络（GAN）的高效人像修复方法。算法分为两阶段：第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度（SSIM）上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。     

基于时空生成对抗网络的视频修复

针对现有视频修复中存在的修复结果语义信息不连续问题,提出基于时空生成对抗网络的修复方法,其包含2种网络模型:单帧修复模型和序列修复模型.单帧修复模型采用单帧堆叠式生成器和空间判别器,实现对起始帧的高质量空间域缺损修复.在此基础上,序列修复模型针对后续帧的缺损问题,采用序列堆叠式生成器和时空判别器,实现时空一致的视频修复.在UCF-101和FaceForensics数据集上的实验结果表明,该方法能够大幅提升修复视频的时空连贯性,与基准方法相比,在峰值信噪比、结构相似性、图像块感知相似性和稳定性误差等性能指标上均表现更优.     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于双鉴别网络的生成对抗网络图像修复方法

针对现有神经网络图像修复方法的修复结果在视觉连通性上存在结构扭曲、训练过程中易陷入过度学习等问题,提出了一种基于双鉴别网络的生成对抗网络（GAN）图像修复方法。该方法的修复模型使用了修复网络、全局鉴别网络和局部鉴别网络。修复网络将待修复图像破损区域用相似信息填充后作为输入,极大地提高了生成图像的速度与质量;全局鉴别网络综合采用图像全局的边缘结构信息和特征信息以保证修复网络输出的修复图像结果符合视觉连通性;而局部鉴别网络在鉴别输出图像的同时,利用在多个图像中寻找到的辅助特征块来提高鉴别的泛化能力,很好地抑制了修复网络在特征过于集中或单一时容易过度学习的问题。实验结果表明,所提修复方法在人脸类图像上具有较好的修复效果,且在不同种类图像上有非常好的适用性,其峰值信噪比（PSNR）和结构相似性（SSIM）指标比当前基于深度学习且修复效果较好的几种方法更优。     

基于结构约束生成对抗网络的书法汉字生成

目前书法汉字的生成研究在汉字生成过程中需要大量先验汉字组成信息,不仅对前期数据收集工作的要求较高,而且影响研究成果的扩展性.针对此问题,文中提出基于结构约束的条件堆叠生成对抗网络的书法汉字生成方法.将源汉字图像直接提取的汉字笔迹作为结构约束条件,通过条件堆叠生成对抗网络模型生成高质量的书法汉字.同时提出通过伪目标样本的...     

多尺度生成式对抗网络图像修复算法

图像修复作为深度学习领域的一个研究热点,在人们现实生活中有着重要的意义。现有图像修复算法存在各种问题,导致视觉上无法达到人们的要求。针对现有图像修复算法精确度低、视觉一致性差以及训练不稳定等缺陷,提出了一种基于生成式对抗网络(GAN)模型的图像修复算法。该算法主要对判别器的网络结构进行改进,在全局判别器和局部判别器的基础上引入多尺度判别器。多尺度判别器在不同分辨率的图像上进行训练,不同尺度的判别器具有不同的感受野,能够引导生成器生成更全局的图像视图以及更精细的细节。针对GAN训练中经常出现的梯度消失或梯度爆炸问题,使用WGAN(Wasserstein GAN)的思想,采用EM距离模拟样本数据分布。在CelebA、ImageNet以及Place2图像数据集上对该算法的网络模型进行了训练和测试,结果显示与先前的算法模型相比,该算法提高了图像修复的精确度,能够生成更为逼真的修复图片,并且适用于多种类型图片的修复。     

基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

基于生成对抗网络的破损老照片修复

提出一种基于生成对抗网络的破损老照片修复方法.生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域.考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性.此外,生成器的损失...     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

引入差分约束和对抗训练策略的虚拟试衣方法

为了解决CP-VTON在试衣中存在的服装形变过度和纹理缺失的问题,使用了基于椭圆模型的肤色检测算法修正人体解析区域中的错误划分,提出根据实际网格定义的差分约束项约束回归网络学习并预测的薄板样条变换参数,以产生符合目标人物身型的形变服装;使用类U-Net的网络结构作为生成器,改进的卷积神经网络作为判别器,引入生成对抗训练策略对形变服装和目标人物进行融合。最后,重识别得到手臂公共区域的蒙版,利用泊松融合修补手部特征信息,提高手部清晰度。在VITON的数据集上进行实验,结果表明该方法解决了原来存在的问题,取得了较好的虚拟试衣效果。     

基于注意力生成对抗网络的单幅图像去雨方法

下雨是一种常见的天气现象,而滞留在图像上的雨条纹降低了图像的清晰度以及影响了基于该图像的后续图像处理.从图像中去除雨的关键是如何准确、鲁棒地识别图像中的雨区域.使用导向滤波器和Haar小波变换组成的雨线提取模块来增强雨条纹特征提取,然后通过空间关注模块生成雨线注意力图,以准确定位雨条纹的位置.两者结合后,获得降雨条纹的...     

生成对抗网络在医学图像处理中的应用

生成对抗网络(Generative Adversarial Nets,GANs)模型可以无监督学习到更丰富的数据信息,其包括生成模型与判别模型,凭借二者之间的对抗提高性能.针对传统GANs存在着梯度消失、模式崩溃及无法生成离散数据分布等问题,已经提出了大量的变体模型.介绍了生成对抗网络模型的理论和组成结构;介绍了几种典...     

生成式对抗网络研究综述

生成式对抗网络（GAN）凭借其强大的对抗学习能力受到越来越多研究者的青睐,并在诸多领域内展现出巨大的潜力。阐述了GAN的发展背景、架构、目标函数,分析了训练过程中出现模式崩溃和梯度消失的原因,并详细介绍了通过架构变化和目标函数修改而提出GAN衍生模型,对一些用来评估生成图像质量和多样性的标准进行了小结,总结了GAN在不同领域的广泛应用,总结全文并对该领域未来的研究方向提出一些展望。     

Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。