基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约...     

利用生成对抗网络的人脸图像分步补全法

人脸图像修复技术是近年来图像处理领域的研究热点,而人脸图像大面积缺失导致损失语义信息过多,一直是该领域的重点难点问题。针对这一问题,文中提出了一种基于生成对抗网络的图像分步补全算法。将人脸图像修复问题分为两步,设计两个串联的生成对抗网络,首先残缺图像通过预补全网络进行图像的预补全,预补全图像进入增强网络进行特征增强;判别器分别判断预补全图像和增强图像与理想图像的差异性;采用长短时记忆单元连接两部分的信息流,增强信息的传递。然后使用内容损失、对抗损失和全变分损失相结合的损失函数,提高网络的修复效果。最后在CelebA数据集上进行实验,结果显示,所提算法相较于对比算法在峰值信噪比指标上提高了16.84%～22.85%,在结构相似性指标上提高了10%～12.82%。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

基于语义先验和双通道特征提取的图像修复

针对现有的图像修复算法重建结果存在的局部结构不连通、细节还原不准确等问题,提出了一种基于语义先验和双通道特征提取的图像修复算法（semantic prior and dual channel extraction,SPDCE）。该算法利用语义先验网络学习缺失区域的语义信息和上下文知识,对缺失区域进行预测,增强了生成图像的局部一致性;然后通过双通道特征提取网络充分挖掘图像信息,提升了对纹理细节的感知和利用能力;再使用上下文特征调整模块在多个尺度上捕获并编码丰富的语义特征,从而生成更真实的图像视图和更精细的纹理细节。在CelebA-HQ和Places2数据集上进行实验验证,结果表明,SPDCE算法与常用算法相比,峰值信号比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）分别提升1.6~1.73 dB和3.1%~9.9%,L1 loss下降15.2%~27.8%。实验证明所提算法修复后的图像具有更合理的结构和更丰富的细节,图像修复效果更优。     

多尺度稳定场GAN的图像修复模型

近年来生成对抗网络(generative adversarial network, GAN)已经展示了它在图像修复任务中修复大面积缺失区域并生成合理语义结果的潜力,但现有方法经常忽略缺失区域的语义一致性和特征连续性,并对不同尺度特征的感知能力不足,因此提出一种基于多尺度稳定场GAN的图像修复模型.该模型的生成单元汲取了U-Net的特点,将稳定场算子嵌入到跳跃连接中以填充编码器特征图中的缺失区域,保持了缺失区域的语义一致性和特征连续性;然后通过多尺度融合计算逐步加强经稳定场算子填充缺失区域的特征图的传递,使得跳跃连接传递的信息不再来自单一的特征图,让模型能够感知高层特征的语义信息.在人脸和自然场景等数据集上的实验结果表明,该模型优于其他的经典图像修复方法.     

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像，修复后图像存在局部色差、边界伪影和细节缺陷等问题，提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块，有效融合深层和浅层的图像特征，实现了人脸图像的特征提取和融合。此外，构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数，用于训练多尺度修复网络，并通过与判别器网络的相互对抗，提高修复图像与真实图像的视觉一致性。实验结果表明，对于不同的掩膜率，采用该模型修复的图像具有合理的纹理结构和上下文语义信息，并在定性和定量比较上表现更好。     

基于密集卷积生成对抗网络的图像修复

图像修复是一项利用缺损图像中已知信息对缺损区域信息进行估计修复的技术。针对大面积语义信息缺失的图像进行修复时,若训练数据集较小且图像背景相对复杂,则基于生成模型的修复结果常出现模糊、伪影和视觉相似度差等问题。针对上述问题,文中提出了一种基于密集卷积生成对抗网络的图像修复算法。该算法采用生成对抗网络作为图像修复的基本框架。首先,利用密集卷积块构建具有编解码结构的生成网络,不但加强了图像特征的提取,提高了图像修复能力,而且避免了深度增加引起的梯度消失问题。其次,在编码和解码结构之间引入跳跃连接,解决了网络层间信息传递丢失的问题。然后,在网络优化过程中,结合重建损失、对抗损失和TV损失来训练网络模型,增强了网络稳定性。最后,分别在CelebA和Car两个数据集上进行实验,所提算法的修复结果在视觉效果、峰值信噪比PSNR和结构相似度SSIM 3个方面均优于3种代表性图像修复算法,其有效性得到验证。     

基于语义一致性的细节保持图像生成方法

生成对抗网络被广泛应用于文本生成图像领域,但在生成过程中容易导致部分图形缺失必要的细节.为了生成包含更多细节特征的细粒度图像,提高文本与图像的语义一致性,提出一种基于语义一致性的细节保持图像生成方法.首先,挖掘文本描述中的潜在语义,引入特征提取模块选择文本中的重要单词和句子,获取单词和句子之间的语义结构信息;其次,构造细节保持模块关联图像与文本信息,结合混合注意力机制,定位特定文本对应的图像区域,将定位区域与文本信息关联,增强和优化生成图像的细节;最后,融合语义损失和感知损失,将句子的图像和单词的子区域映射到共同语义空间.实验结果表明,在CUB数据集上,IS和FID指标分别达到4.77和15.47;在COCO数据集上, IS和FID指标分别达到35.56和27.63.     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于结构嵌入的图像修复方法研究

针对当前图像修复领域存在结构丢失、纹理模糊、不能够充分利用背景信息生成内容风格一致的填充区域的问题,在编码解码网络基础上,提出带有多尺度结构信息与注意力机制的共享修复模型。在生成阶段,嵌入多尺度结构信息为图像修复提供前提条件。同时使用多尺度注意力机制,从背景信息中获取相关信息,并经过细化,生成与图像相关的内容和结构;使用PatchGAN和固定权重VGG-16分类器作为鉴别器,并将风格损失和感知损失引入到对抗网络中,以实现所生成图像的风格一致性。在Places2数据集上与当前主流的图像修复算法进行对比,实验结果表明该算法与其他算法相比能较好地恢复图像结构的细节信息,生成更清晰、精细的修复结果。     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时，现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题，提出基于密集连接块的U-Net结构的端到端图像修复模型，以实现对任意模板的语义人脸图像的修复。首先，采用生成对抗网络思想，生成器采用密集连接块代替U-Net中的普通卷积模块，以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用；然后，使用跳连接以减少通过下采样而造成的信息损失，从而提取图像缺损区域的语义；最后，通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器，确保了修复边界和周围真实图像的视觉一致，并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明，所提模型能有效提取人脸图像语义信息，修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC，所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%，Frechet Inception距离（FID）降低了7.86%；对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%，FID降低了6.85%。     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

面向图像修复的增强语义双解码器生成模型

目的 图像修复技术虽然取得了长足进步,但是当图像中缺失区域较大时,非缺失区域提供的信息量非常有限,从而导致难以产生语义信息一致的内容来增强修复图像和真实图像的视觉一致性;同时图像修复常使用两阶段网络结构,基于该结构的模型不仅需要较长的训练时间,还会导致图像修复效果对第1阶段输出结果依赖性较强。针对上述问题,提出了一种基于双解码器的增强语义一致的图像修复方法。方法 使用双解码器网络结构消除两阶段修复方法中存在的依赖性问题,同时有效缩短模型的训练时间;利用一致性损失、感知损失和风格损失,更好地捕获图像的上下文语义信息,解决图像修复任务中出现的视觉不一致的问题。此外,本文使用了跳跃连接,并引入多尺度注意力模块和扩张卷积,进一步提高了网络的特征提取能力。结果 为了公正地评价,在Celeb A、Stanford Cars和UCF Google Street View共3个数据集上对具有规则和不规则缺失区域的图像分别进行实验,采用客观评价指标:均方误差(L₂)、峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural si...     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。