基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

利用金字塔空间注意力与特征推理的图像修复

针对现有基于深度学习的图像修复方法对图像未受损区域多尺度特征空间信息利用不足的问题,提出一种利用金字塔空间注意力与特征推理的图像修复模型.首先,采用基于部分卷积的区域识别模块,用于识别本次循环中需要推理的区域,其次,通过循环特征推理模块高效地推理待推理区域的图像特征,最后,使用基于残差去冗余特征的特征融合模块以保证在融合中间特征图的过程中减少无效特征信息对图像修复的干扰.在人脸、街景等数据集上端对端地对所提模型进行实验的结果表明,与经典方法相比,该模型在峰值信噪比、结构相似度和平均L1损失评估指标方面分别提升了3%, 1%和3%.     

基于注意力和卷积特征重排的图像修复

近年来,基于UNet与GAN（生成对抗网络）的深度学习网络模型在图像修复领域展现出了独特的优势,但是修复结果中仍然存在伪影、模糊、纹理细节退化、对于大面积破损难以修复、修复后的孔洞与背景图像不相容等现象。为了解决现有模型对大面积破损图像修复不友好以及修复后的图像存在退化现象等问题,通过对现有方法进行研究,改进了Shift-UNet（移位网络）模型：在UNet与GAN的基础上,在每一层编码器和解码器之间增加了改进之后的注意力机制Attention-UNet并融入shift-UNet,形成Attention-Shift-UNet;并且通过研究,将原来下采样部分的激活函数由Leaky_ReLU改为了SiLU函数。改进模型不仅在64×64的中心遮罩上取得了较好的效果,还实现了随机遮罩,遮罩面积由20%增加到80%。通过实验结果证明,该模型的修复效果更优,特别是针对大面积破损图像的修复。在CelebA、ParisArchitecture以及Paris Streetview数据集上经过测试,各评价指标都有明显的提高,其中结构相似性（SSIM）由原来的0.944 5提高到0.947 1,峰值信噪比（PSNR）由原来的27.992 7提高到28.553 6,L2损失由原来的0.001 7降低到0.001 5。     

多尺度距离注意力纹理图像修复网络

随着图像修复技术的发展,现有的图像修复方法在平坦图像上的修复表现良好,然而针对于复杂纹理图像的修复效果不佳。为了解决这个问题,得益于卷积神经网络处理纹理信息的强大能力,提出了一种多尺度距离注意力图像修复网络（MDAN）,该网络构建了一个对称型的注意力结构来生成合适的特征。采用交互注意力机制将多头注意力各个头之间联系起来,并且引入了多距离融合的距离先验。在特征匹配的过程中不仅考虑特征是否相似,还考虑特征间距离的影响。在公开数据集DTD上进行实验,MDAN模型的效果优于当前主流的方法。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

混合双注意力机制生成对抗网络的图像修复模型

目的 图像修复是指用合理的内容来填补图像缺失或损坏的部分。尽管生成对抗网络（generative adversarial network,GAN）取得了巨大的进步,但当缺失区域很大时,现有的大多数方法仍然会产生扭曲的结构和模糊的纹理。其中一个主要原因是卷积操作的局域性,它不考虑全局或远距离结构信息,只是扩大了局部感受野。方法 为了克服上述问题,提出了一种新的图像修复网络,即混合注意力生成对抗网络（hybrid dual attention generativeadversarial network,HDA-GAN）,它可以同时捕获全局结构信息和局部细节纹理。具体地,HDA-GAN将两种级联的通道注意力传播模块和级联的自注意力传播模块集成到网络的不同层中。对于级联的通道注意力传播模块,将多个多尺度通道注意力块级联在网络的高层,用于学习从低级细节到高级语义的特征。对于级联的自注意力传播模块,将多个基于分块的自注意力块级联在网络的中低层,以便在保留更多的细节的同时捕获远程依赖关系。级联模块将多个相同的注意力块堆叠成不同的层,能够增强局部纹理传播到全局结构。结果 本文采用客观评价指标：均方差（mean squared error,MSE）、峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性指数（structural similarityindex,SSIM）在Paris Street View数据集和CelebA-HQ（CelebA-high quality）数据集上进行了大量实验。定量比较中,HDA-GAN在Paris Street View数据集上相比于Edge-LBAM（edge-guided learnable bidirectional attention maps）方法,在掩码不同的比例上,PSNR提升了1.28 dB、1.13 dB、0.93 dB和0.80 dB,SSIM分别提升了5.2%、8.2%、10.6%和13.1%。同样地,在CelebA-HQ数据集上相比于AOT-GAN（aggregated contextual transformations generative adversarialnetwork）方法,在掩码不同的比例上,MAE分别降低了2.2%、5.4%、11.1%、18.5%和28.1%,PSNR分别提升了0.93 dB、0.68 dB、0.73 dB、0.84 dB和0.74 dB。通过可视化实验可以明显观察到修复效果优于以上方法。结论 本文提出的图像修复方法,充分发挥了深度学习模型进行特征学习和图像生成的优点,使得修复图像缺失或损坏的部分更加准确。     

基于新生成器结构的图像修复方法

针对目前图像修复算法存在的修复效果不连续、缺失大小受限、训练过程不稳定等缺点,提出了一种基于生成对抗网络的图像修复方法.利用卷积神经网络,我们可以真实地修复任意分辨率的图像.为了实现高分辨率的真实修复效果和对图像特征的充分学习,我们提出基于DenseNet传播源图像的细节和结构得到高分辨率的图像,实现图像缺失生成;由于Iizuka等人提出的基于双判别器方法中膨胀卷积部分所产生的巨大运算量,我们提出使用JPU (Joint Pyramid Upsampling,联合金字塔上采样)来加速计算.在CelebA和ImageNet上的实验表明,所提方法能真实地修复大多数的破损图像.     

利用通道注意力与分层残差网络的图像修复

针对现有深度学习图像修复方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种利用多尺度通道注意力与分层残差网络的图像修复模型.首先采用U-Net作为生成器的主干网络,实现对破损图像的编码与解码操作;然后通过在编码器与解码器中分别构建多尺度的分层残差结构,以增强网络提取和表达破损图像特征的能力;最后在编码器与解码器间的跳跃连接中嵌入扩张的多尺度通道注意力模块,以提高模型对编码器中图像低级特征的利用效率.实验结果表明,在人脸、街景等数据集的破损图像修复上,该模型在主观视觉感受和客观评价指标方面均优于其他经典的图像修复方法.     

基于门控卷积和SENet的双判别生成对抗网络图像修复模型

针对现有模型修复带有随机不规则掩码且语义内容复杂的图片时细节不够真实这一问题,提出了一种基于门控卷积和SENet的双判别生成对抗网络图像修复模型。首先,将破损图片掩码输入由若干门控卷积堆叠成的粗网络中,在上采样时添加通道注意力（SE）,结合L1重建损失,得到初步修复图;然后,将初步修复图输入精细网络,精细网络由若干门控卷积块和通道注意力块构成,结合重构损失、感知损失和对抗损失完善重要特征和细节,将破损图像的完好区域覆盖到精细网络的修复图上,得到完成修复的图片;最后,使用双判别网络结构进行训练,使精细网络的输出与完成修复的图片更加真实。在celebA数据集上进行实验,所提模型对带有大面积不规则掩码图片的修复结果在峰值信噪比（PSNR）上达到了27.39 dB,相较于部分卷积提升了6.74%,在结构相似性（SSIM）上达到了0.921 6,较部分卷积提升了2.95%。实验结果表明,引入通道注意力和双判别结构有助于提升图像修复的细节。     

用于视频修复的连贯语义时空注意力网络

现有的视频修复方法通常会产生纹理模糊、结构扭曲的内容以及伪影,而将基于图像的修复模型直接应用于视频修复会导致时间上的不一致.从时间角度出发,提出了一种新的用于视频修复的连贯语义时空注意力(Coherent Semantic Spatial-Temporal Attention,CSSTA)网络,通过注意力层,使得模型关...     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构.在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合.通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图...     

多尺度生成式对抗网络图像修复算法

图像修复作为深度学习领域的一个研究热点,在人们现实生活中有着重要的意义。现有图像修复算法存在各种问题,导致视觉上无法达到人们的要求。针对现有图像修复算法精确度低、视觉一致性差以及训练不稳定等缺陷,提出了一种基于生成式对抗网络(GAN)模型的图像修复算法。该算法主要对判别器的网络结构进行改进,在全局判别器和局部判别器的基础上引入多尺度判别器。多尺度判别器在不同分辨率的图像上进行训练,不同尺度的判别器具有不同的感受野,能够引导生成器生成更全局的图像视图以及更精细的细节。针对GAN训练中经常出现的梯度消失或梯度爆炸问题,使用WGAN(Wasserstein GAN)的思想,采用EM距离模拟样本数据分布。在CelebA、ImageNet以及Place2图像数据集上对该算法的网络模型进行了训练和测试,结果显示与先前的算法模型相比,该算法提高了图像修复的精确度,能够生成更为逼真的修复图片,并且适用于多种类型图片的修复。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

一种改进的基于样本的图像修复方法

分析了Criminisi等人提出的基于样本的图像修复算法,针对其在计算修复块优先级时存在的一些不足,提出一种改进的基于样本的图像修复方法,通过基于TV模型的分解算法将待修复图像分解为结构图像和纹理图像,利用结构图像来计算修复块的优先级,使得优先级的计算更加准确。实验结果表明该方法对图像结构边缘的修复有明显的改善。     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

基于邻域滤波的图像修复

图像修复是图像恢复研究中的一个重要内容，它的目的是根据图像现有的售息来自动恢复丢失的信息，可以用于对旧图片的修复。大多数现有图像修复算法都非常复杂，而且难于实现。由于图像的边缘代表了图像的重要信息，所以在设计修复算法时，必须着重考虑边缘的恢复。提出了一种基于图像邻域滤波算法、应用图像的空间连续性，及图像的边缘信息的图像修复算法。该算法实现简单，修复速度快，对小区域的修复效果较好。     

一种基于局部属性生成对抗网络的人脸修复算法

最近对神经网络模型的研究在图像修复任务中显示出巨大的潜力,其核心任务是理解图像语义信息并重建缺失的图像内容.这些研究可以生成语义和内容上合理的结构和纹理,但通常会导致与孔洞周围区域不一致的扭曲结构或模糊纹理,特别是人脸图像修复问题.人脸图像修复工作经常需要为包含大量外观元素以及局部属性的缺失区域(例如眼睛或嘴巴)生成语义上的新内容,这些缺失区域往往具有独特的属性和语义信息从而导致生成内容不合理.为了解决以上问题,提出了一个有效的深度神经网络模型,模型的生成器结合全连接卷积和U-net网络的优越特性,同时提出局部属性辨别器使修复内容具有创新性的同时也能够使整体与局部保持语义一致性.模型不仅提升了对于人脸图像整体语义信息的感知能力,同时也基于局部属性能够有效地修复人脸关键部位,通过在CelebA数据集上的实验证明了该模型能够有效地修复人脸缺失部分并且能够生成新颖的修复内容.     

基于邻域滤波的图像修复

图像修复是图像恢复研究中的一个重要内容,它的目的是根据图像现有的信息来自动恢复丢失的信息,可以用于对旧图片的修复。大多数现有图像修复算法都非常复杂,而且难于实现。由于图像中的边缘代表了图像的重要信息,所以在设计修复算法时,必须着重考虑边缘的恢复。提出了一种基于图像邻域滤波算法、利用图像的空间连续性,及图像的边缘信息的图像修复算法。该算法实现简单,修复速度快,对小区域的修复效果较好。