基于高频小波损失的生成对抗人脸补全方法研究

基于生成对抗网络架构设计一种新的人脸补全模型。在生成网络中使用空洞卷积以增加特征图的感受野,提升网络性能;针对生成补全图像模糊,提出基于小波分解的损失函数设计方法,将图像转换到小波空间,提取高频信息作为l_1小波损失,有效提升人脸图像补全的质量。对VGGFace2人脸数据集下半部分人脸进行遮挡,作为训练数据集,以LFW数据集遮挡,进行人脸补全测试结果分析。实验结果表明,所设计算法的网络补全后的人脸结构相似性(SSIM)达到0.803 4,峰值信噪比(PSNR)达到20.946 7,有效提升了人脸补全的效果。     

利用生成对抗网络的人脸图像分步补全法

人脸图像修复技术是近年来图像处理领域的研究热点,而人脸图像大面积缺失导致损失语义信息过多,一直是该领域的重点难点问题.针对这一问题,文中提出了一种基于生成对抗网络的图像分步补全算法.将人脸图像修复问题分为两步,设计两个串联的生成对抗网络,首先残缺图像通过预补全网络进行图像的预补全,预补全图像进入增强网络进行特征增强;判别器分别判断预补全图像和增强图像与理想图像的差异性;采用长短时记忆单元连接两部分的信息流,增强信息的传递.然后使用内容损失、对抗损失和全变分损失相结合的损失函数,提高网络的修复效果.最后在CelebA数据集上进行实验,结果显示,所提算法相较于对比算法在峰值信噪比指标上提高了16.84％～22.85％,在结构相似性指标上提高了10％～12.82％.     

生成对抗网络进行感知遮挡人脸还原的算法研究

有遮挡人脸图像还原是指通过对遮挡区域的图像进行估计,尽可能使用语义上合理的内容来填补.现有的人脸图像还原算法大多使用预先定义的掩模来模拟遮挡,并未考虑真实场景下的遮挡(如眼镜、口罩等)大小和位置对图像还原的影响.提出了一种基于深度卷积生成对抗网络的遮挡感知人脸还原方法,通过学习最接近遮挡图像的编码,来推断缺失的内容,并在生成的过程中自动检测出遮挡的区域,此外,为了减少面部信息丢失,保证恢复后的人脸的真实性,引入语义感知网络,以此进一步优化所提模型.对所选数据集的实验表明,所提出的模型效果较好.     

身份保持约束下的人脸图像补全

人脸图像补全作为图像补全技术的一种特殊应用,在被遮挡人脸的识别、人脸修复等问题上有不可替代的作用。现有的人脸补全算法只针对补全图像的真实性,而未考虑其补全后的身份一致性。针对这一问题,设计了一种基于改进的生成式对抗网络的人脸补全算法,通过引入SN-GAN算法,提高了模型训练的稳定性,同时利用人脸识别模型对生成图像加入了身份一致性约束,经过实验证明,所提方法能够在生成高真实性图像时有效保持补全图像的身份一致。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

基于感知去模糊的高效人脸图像修复算法EI北大核心CSCD

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复。将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性。在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完善判别器。在CelebA人脸数据集与LFW人脸数据集上进行实验,结果表明该方法的修复效果良好。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于生成对抗网络的图像修复算法

为解决当前基于生成对抗网络的深度学习网络模型在面对较复杂的特征时存在伪影、纹理细节退化等现象, 造成视觉上的欠缺问题, 提出了连贯语义注意力机制与生成对抗网络相结合的图像修复改进算法. 首先, 生成器使用两阶段修复方法, 用门控卷积替代生成对抗网络的普通卷积, 引入残差块解决梯度消失问题, 同时引入连贯语义注意力机制提升生成器对图像中重要信息和结构的关注度; 其次, 判别器使用马尔可夫判别器, 强化网络的判别效果, 将生成器输出结果进行反卷积操作得到最终修复后的图片. 通过修复结果以及图像质量评价指标与基线算法进行对比, 实验结果表明, 该算法对缺失部分进行了更好地预测, 修复效果有了更好的提升.     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

基于上下文门卷积的盲图像修复

目前基于深度学习的图像修复方法已经取得较大地进展,其方法均是基于输入的掩模对图像的退化区域进行修复.基于此,提出了由掩模预测网络和图像修复网络组成的2阶段盲图像修复网络.整个修复过程无需输入掩模,掩模预测网络可以根据输入图像自动检测图像退化区域并生成掩模,图像修复网络根据预测掩模对输入图像的缺失部分进行修复.为了更好地...     

基于边缘PUnet网络的虚拟视图空洞修复

基于深度图的绘制(DIBR)是虚拟视点合成的关键技术, 但其生成的虚拟视图存在大面积连续的空洞. 传统的图像修复算法修复后的空洞缺乏语义感, 现有的部分卷积神经网络修复后的空洞边缘失真, 因此本文提出基于边缘信息的部分卷积神经网络修复算法. 首先本文利用视差移位来生成虚拟视图, 并对虚拟视图进行赋值和膨胀预处理操作, 以消除裂缝和伪影对后期空洞修复的影响, 然后在部分卷积神经网络中加入设计的边缘检测器, 使部分卷积神经网络重点学习图片的边缘部分, 最后利用学习好的网络模型修复虚拟视图中的大面积空洞. 实验结果表明本文方法可以对大面积连续的空洞进行修复, 修复后的空洞区域不仅具有语义感, 且边缘细节也更精细.     

一种双判别器GAN的古彝文字符修复方法EI北大核心CSCD

在中国,彝文古籍文献日益流失而且损毁严重,由于通晓古彝文的研究人员缺乏,使得古籍恢复工作进展十分缓慢.人工智能在图像文本领域的应用,为古籍文献的自动修复提供可能.本文设计了一种双判别器生成对抗网络(Generative adversarial networks with dual discriminator,D2GAN),以还原古代彝族字符中的缺失部分.D2GAN是在深度卷积生成对抗网络的基础上,增加一个古彝文筛选判别器.通过三个阶段的训练来迭代地优化古彝文字符生成网络,以获得古彝文字符的文字生成器.根据筛选判别器的损失结果优化D2GAN模型,并使用生成的字符恢复古彝文中丢失的笔画.实验结果表明,在字符残缺低于1/3的情况下,本文提出的方法可使文字笔画的修复率达到77.3%,有效地加快了古彝文字符修复工作的进程.