基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复.将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性.在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完...     

结合SENet的密集卷积生成对抗网络图像修复方法

本文针对数据集较小或者图像结构相对复杂的较大面积缺失的图像修复问题,提出结合SENet的密集卷积生成对抗网络图像修复方法.首先,采用生成对抗网络的思想,生成器使用密集卷积块捕捉图像中缺失部分的语义信息再利用;其次,取消密集卷积块之间的过渡层,引入SENet注意力机制SE模块,获取特征重要程度,增强特征信息指导能力;再次...     

单帧图像的耦合生成式对抗超分辨率重建

尽管卷积神经网络在实现单帧图像超分辨率的准确性和速度方面取得一定突破,但仍然存在重建结果细节不明显,过于光滑等中心问题。针对这一中心问题,提出一种基于单帧图像的耦合生成式对抗超分辨率重建算法,定义的生成器和判别器分别采用深度残差网络和深度卷积网络,将自注意力增强卷积应用到生成器网络中,为了增强生成图像的质量和训练过程的稳定,对生成器和判别器的学习能力进行平衡,使用相对判别器计算来自对抗神经网络的损失值。主流超分辨重建算法在Set5、Set4、BSD100经典数据集上进行对比,实验结果表明,提出的算法在边缘锐化、真实性和获得更好的高频细节恢复方面能够达到更好的连续视觉效果,同时能够增强生成图像的多样性。     

基于改进生成对抗网络的图像自适应隐写模型

针对现有图像隐写模型存在网络训练不易收敛、梯度爆炸且生成样本质量差等问题,提出一种基于改进生成对抗网络的图像自适应隐写模型SWGAN-GP.将生成图像作为载体,使用HUGO自适应隐写算法进行信息隐藏;在损失函数中加入梯度惩罚,在网络结构中引入注意力机制,设置双判别器与生成器进行对抗训练.实验结果表明,该方法生成图像的IS值、PSNR值等均有提高,判别器分类效果明显改善.该模型可以提高收敛速度,使网络训练更稳定,载密图像更具安全性,有效抵御隐写分析算法的检测.     

嵌入自注意力机制的美学特征图像生成方法

针对生成的图像结构单一,细节特征不够丰富,导致美观感不足等问题,提出了一种嵌入自注意力机制的美学特征图像生成方法.为了增加生成图像的美学特征,研究图像美学评价标准与生成模型之间的关联性,定义了基于美学分数的美学损失函数;为保证生成图像与真实图像在语义内容上的一致性,加入VGG网络,构造内容损失函数,采用Charbonnier损失代替L1损失,并将美学损失、内容损失和进化生成对抗网络的对抗损失以加权形式组合,引导与优化图像的生成.在生成器和判别器中引入自注意力机制模块,并将密集卷积块加入生成器自注意力机制模块之前,充分提取特征,有利于自注意力机制高效获取更多特征内部的全局依赖关系,促使生成图像细节清晰,纹理特征丰富.在Cifar10、CUHKPQ两个数据集上的实验结果表明该方法在提升图像美学效果方面是有效的,其弗雷歇距离值相较于进化生成对抗网络分别提高了3.21和5.44,图像美学分数值相较于进化生成对抗网络分别提高了0.75和0.88.     

改进的生成对抗网络图像超分辨率重建

近年来,生成对抗网络在约束图像生成方面表现出了较好的潜力,使其适用于图像超分辨率重建。针对基于卷积神经网络的图像超分辨率重建算法存在的特征信息利用率低的问题,基于生成对抗网络框架,提出了残差密集生成对抗网络的超分辨率重建算法。该算法定义生成器网络、判别器网络,通过构建残差密集网络作为生成器网络及PatchGAN作为判别器网络,以解决基于卷积神经网络的超分辨率算法中特征信息利用率低以及生成对抗网络收敛慢的问题。该重建算法在Set5等标准数据集上与主流的超分辨率重建算法进行对比,实验表明,该算法能够有效地提高特征信息利用率,较好地恢复低分辨率图像的细节信息,提高图像重建的质量。     

一种基于pix2pix改进的工业缺陷数据增强方法

基于深度学习的目标检测算法在工业检测中应用广泛,为解决工业缺陷数据不足的问题,提出了一种基于pix2pix改进的缺陷数据增强方法。从加强生成器和判别器对图像中缺陷区域的注意力出发,针对pix2pix进行了如下改进：(1)仅将整幅图像的缺陷区域作为判别器的输入,以此提升生成器对缺陷区域的注意力,同时,判别器采用了更小的卷积核提取缺陷区域的特征;(2)仅将图像中所有缺陷区域的平均生成对抗损失作为该图像的生成对抗损失,使网络更加关注缺陷区域的特征学习。在工业LED缺陷数据集上的实验结果表明,本方法生成的缺陷具有更逼真的视觉效果和更低的FID指数,同时有效提升了基于RetinaNet算法的缺陷检测精度。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

基于GAN先验的图像补全方法

设计和利用良好的图像先验知识是解决图像补全问题的重要方式.生成对抗网络(GAN)作为一种优秀的生成式模型,其生成器可以从大型图像数据集中学习到丰富的图像语义信息,将预训练GAN模型作为图像先验是一种好的选择.为了利用预训练GAN模型更好地解决图像补全问题,本文在使用多个隐变量的基础上,在预训练生成器中间层同时对通道和特征图添加自适应权重,并在训练过程中微调生成器参数.最后通过图像重建和图像补全实验,定性和定量分析相结合,证实了本文提出的方法可以有效地挖掘预训练模型的先验知识,进而高质量地完成图像补全任务.     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时，现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题，提出基于密集连接块的U-Net结构的端到端图像修复模型，以实现对任意模板的语义人脸图像的修复。首先，采用生成对抗网络思想，生成器采用密集连接块代替U-Net中的普通卷积模块，以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用；然后，使用跳连接以减少通过下采样而造成的信息损失，从而提取图像缺损区域的语义；最后，通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器，确保了修复边界和周围真实图像的视觉一致，并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明，所提模型能有效提取人脸图像语义信息，修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC，所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%，Frechet Inception距离（FID）降低了7.86%；对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%，FID降低了6.85%。     

A New Method of Image Restoration Technology Based on WGAN

With the development of image restoration technology based on deep learning, more complex problems are being solved, especially in image semantic inpainting based on context. Nowadays, image semantic inpainting techniques are becoming more mature. However, due to the limitations of memory, the instability of training, and the lack of sample diversity, the results of image restoration are still encountering difficult problems, such as repairing the content of glitches which cannot be well integrated with the original image. Therefore, we propose an image inpainting network based on Wasserstein generative adversarial network (WGAN) distance. With the corresponding technology having been adjusted and improved, we attempted to use the Adam algorithm to replace the traditional stochastic gradient descent, and another algorithm to optimize the training used in recent years. We evaluated our algorithm on the ImageNet dataset. We obtained high-quality restoration results, indicating that our algorithm improves the clarity and consistency of the image.     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

Finger vein image inpainting using neighbor binary-wasserstein generative adversarial networks (NB-WGAN)

Traditional inpainting methods obtain poor performance for finger vein images with blurred texture. In this paper, a finger vein image inpainting method using Neighbor Binary-Wasserstein Generative Adversarial Networks (NB-WGAN) is proposed. Firstly, the proposed algorithm uses texture loss, reconstruction loss, and adversarial loss to constrain the network, which protects the texture in the inpainting process. Secondly, the proposed NB-WGAN is designed with a coarse-to-precise generator network and a discriminator network composed of two Wasserstein Generative Adversarial Networks with Gradient Penalty (WGAN-GP). The cascade of a coarse generator network and a precise generator network based on Poisson fusion can obtain richer information and get natural boundary connection. The discriminator consists of a global WGAN-GP and a local WGAN-GP, which enforces consistency between the entire image and the repaired area. Thirdly, a training dataset is designed by analyzing the locations and sizes of the damaged finger vein images in practical applications (i.e., physical oil dirt, physical finger molting, etc). Experimental results show that the performance of the proposed algorithm is better than traditional inpainting methods including Curvature Driven Diffusions algorithm without texture constraints, a traditional inpainting algorithm with Gabor texture constraints, and a WGAN inpainting algorithm based on attention mechanism without texture constraints.

     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

空洞卷积与注意力融合的对抗式图像阴影去除算法

为了解决暗区域、纹理复杂或半影区域的阴影去除效果不明显的问题,提出了空洞卷积与注意力机制融合的对抗式图像阴影去除算法。该算法基于生成对抗网络的总体思想,将空洞卷积引入残差网络中,用自定义的空洞残差块进行特征提取,扩大了特征提取的感受野。在注意力编码阶段,加入4层相同结构的空洞卷积,确保最小计算量的情况下为解码阶段提供更抽象、更本质的全局的语义特征。运用多重注意力机制,引导判别网络对无阴影图像的鉴别,提高判别网络能力。该算法分别在ISTD(image shadow triplets dataset)与SRD(shadow removal dataset)公开数据集上进行检验,SSIM(structural similarity)值达到97.77%。该算法图像特征信息保存完整,画面清晰,暗区域及地物复杂的区域阴影去除效果较好,对半影区域,也有具有良好的表现。