基于GAN网络的三维人脸纹理重建技术

在计算机视觉领域,三维人脸重建起着重要的作用,特别是在动画制作、虚拟人脸、人脸识别等领域正被广泛应用。基于单张图片的三维人脸重建,通过使用拟合的模型对图像进行采样,可以创建出面部的UV纹理图。然而通过相机采集到的是单视角的二维图像,存在人脸自遮挡的情况,这导致生成的UV纹理图的信息是不完整的。因此,提出一种针对三维人脸纹理补全问题的条件生成对抗网络,将Unet和部分卷积结合起来作为生成器,从而在纹理修复时可以保留更多的图像信息;判别器中引入SMPatchGAN提高图像判别的真实准确度。实验结果表明,相较于其他算法,所提出的算法取得了较为显著的改进效果,特别是在处于大视角下存在人脸自遮挡问题时,也能重建出精细的三维人脸模型。     

基于扩散模型的人脸图像修复技术

人脸作为人体信息最为密集的部位,人脸图像在各个研究领域都有不可替代的作用。因此,研究如何将遮挡或模糊的人脸图像恢复成真实图像是非常有意义的。针对人脸图像修复技术的研究,提出基于扩散模型的人脸图像修复技术。在现有的人脸图像修复技术基础上,解决在修复大区域破损或遮挡的情况下,修复图像出现纹理模糊及结构扭曲等问题。所提出的方法基于边缘引导的扩散模型图像修复网络,主要包括两个阶段：首先训练基于U-Net结构的边缘修复模型生成较为真实的缺失区域的边缘信息,然后根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。实验证明对于人脸图像修复具有较好的效果。     

基于门控卷积与注意迁移的二阶图像修复

针对现有修复算法在处理较大面积缺失时易产生伪影且与原图像语义不符的问题，提出了基于门控卷积与注意迁移的二阶图像修复方法，通过加强待修复图像内部语义对修复网络的影响来确保修复结果整体语义的一致性。首先使用多层卷积对缺损图像进行粗略修复；然后将粗略修复结果输入改进的细化修复网络，使用门控卷积和注意迁移网络对图像内部纹理细节进行修复处理，在编解码阶段引入SimAM模块作为注意力机制，强化对待修复图像中重要信息的筛选能力；最后通过谱归一化的马尔科夫判别器判别真伪同时提供对抗损失，将感知损失与多尺度结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。与其他图像修复方法的对比实验表明，本文方法较其中最好结果在结构相似性上提升1.47%，峰值信噪比上提升5.48%。本文方法修复结果更加真实自然且在各种尺寸缺失下均实现了理想的修复效果。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

基于改进深度卷积生成对抗网络的刺绣图像修复

目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。     

面向人脸验证的可迁移对抗样本生成方法

在人脸识别模型的人脸验证任务中,传统的对抗攻击方法无法快速生成真实自然的对抗样本,且对单模型的白盒攻击迁移到其他人脸识别模型上时攻击效果欠佳。该文提出一种基于生成对抗网络的可迁移对抗样本生成方法TAdvFace。TAdvFace采用注意力生成器提高面部特征的提取能力,利用高斯滤波操作提高对抗样本的平滑度,并用自动调整策略调节身份判别损失权重,能够根据不同的人脸图像快速地生成高质量可迁移的对抗样本。实验结果表明,TAdvFace通过单模型的白盒训练,生成的对抗样本能够在多种人脸识别模型和商业API模型上都取得较好的攻击效果,拥有较好的迁移性。     

基于MD-CBAM的多样性裂缝图像修复方法

大多数现有的桥梁裂缝图像修复方法为单一目标修复,无法根据孔洞周边的有效信息生成多种合理的填充内容且修复结果存在结构扭曲和纹理模糊的问题。本文提出了一种基于掩膜距离卷积块注意力模块(mask distance convolutional block attention module, MD-CBAM)的多样性裂缝图像修复网络,该方法主要由多样性结构生成器与纹理生成器组成。提出区域结构注意力以降低遮挡区域像素与有效像素的差异性,根据掩膜特征对注意力分数进行平均池化处理,提高模型对遮挡区域的推断能力。设计MD-CBAM模块用以在纹理生成阶段合成高质量的特征,该模块利用特征之间的距离信息与语义信息,有效增强了模型填充大孔洞的能力。实验结果表明,本文方法修复的图像具有更为明确的结构和更加合理的纹理,在各掩膜比例下峰值信噪比(peak signal-to-noise ratio,PSNR)和FID(Fréchet inception distance)均达到最优,其中PSNR在掩膜比例为[0.4,0.5)时增加了0.22—2.38 dB且结构相似度(structural similarity,SS...     

基于边缘先验的人脸去手势遮挡修复方法研究

针对当下人脸去手势遮挡任务中常出现的结构缺失和纹理模糊等问题,文章提出一种基于边缘条件和注意力机制的两阶段修复网络——EmmNet。第一阶段网络为第二阶段细节修复提供边缘指导信息,以避免出现过度平滑等问题。第二阶段网络中的并行多扩张卷积模块可在有效扩大网络感受野的同时提高对有效像素的利用率。此外,注意力模块可促使网络生成具有全局一致性,使研究者获得符合原图特征的修复图像。实验结果表明,EmmNet在去手势遮挡任务中可以生成轮廓结构更加完整流畅,细节纹理更加清晰自然的人脸图像。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

一种生成对抗网络用于图像修复的方法

近年来基于深度学习的图像修复方法相比于传统方法,表现出明显优势,前者能更好的生成视觉上合理的图像结构和纹理.但现有的标准卷积神经网络方法,通常会造成颜色差异过大和图像纹理缺失与失真的问题.本文提出了一种新型图像修复深度网络模型,该模型由两个相互独立的生成对抗式网络模块组成.其中,图像修复网络模块旨在解决图像缺失区域的修复问题,其生成器基于部分卷积网络;图像优化网络模块旨在解决修复后图像存在局部色差的问题,其生成器基于深度残差网络.通过两个网络模块的协同作用,图像的视觉效果与图像质量得到提高.与其他先进方法进行定性和定量比较的实验结果表明,本文提出的方法在图像修复质量上表现更好.     

利用自然语言文本描述进行图像编辑

本文研究了利用自然语言文本描述对图像进行编辑的多模态问题。本文的目标是,输入一张原始图像以及一句自然语言文本描述,输出一张经过编辑的图像,并且图像在满足给定自然语言文本描述的同时,保留与文本描述无关的其他细节。在本文中,整体网络采用生成对抗网络结构。在生成器部分,通过引入重构损失,实现模型对于文本描述无关图像区域的保持。通过引入文本图像相关度损失,以一种半监督的方式,对生成器的训练进行指导,从而实现更精细化的利用文本描述对图像进行编辑。在判别器部分,结合判别损失以及条件判别损失,指导生成器生成更具真实效果以及符合自然语言文本描述的图像。通过生成器和判别器的对抗训练,最终实现利用自然语言文本描述实现精准编辑图像。     

改进的DeepLabv3+人脸口罩分割方法

在进行口罩遮挡人脸图像修复时,往往需要进行人脸口罩的分割,分割的结果将会对后续的修复工作产生较大的影响。因此,为了更好地实现分割,通过改进图像分割网络DeepLabv3+,提出了一种针对人脸口罩分割的网络模型。将原始DeepLabv3+网络中的主干特征提取网络替换为轻量级网络MobileNetV2,减少模型的参数量,提升模型分割速度;采用密集连接方式将原始空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块中的不同特征层进行特征融合,并引入CBAM注意力机制,增强模型特征表达能力。为了使模型能够准确分割出不同形状、大小和颜色的口罩,在损失函数中引入焦点损失(Focal Loss)进行模型训练,以缓解不同类别口罩在训练样本上的不均衡问题。通过在PASCLA VOC公共数据集和自建口罩数据集上进行实验。结果表明,改进后的模型相比基准模型在模型参数、分割时间以及分割精度上取得较好的平衡。     

基于内容风格迁移的残缺稀疏文字图像盲修复方法

现有残缺文字图像的修复需要确定Mask区域后对其填补,如果文字残缺部分剩余信息量过于稀疏,将无法确定Mask区域。针对该问题,提出了一种基于内容风格迁移的残缺稀疏文字图像盲修复方法。利用循环生成对抗网络构建修复前后文字图像间的全局关联像素信息,将残缺文字的图像内容风格特征迁移为完整文字图像从而进行修复;并在网络中加入自注意力机制对稀疏像素进行全局约束,解决迁移过程中相隔较远文字稀疏像素之间依赖关系较弱的问题;同时在自注意力机制中使用最大池化,提高迁移修复后的文字图像纹理特征;使用最小二乘损失替换原网络模型中的sigmoid交叉熵损失函数,提高迁移精度。实验结果表明,所提方法不借助Mask指导,能够盲修复稀疏性残缺文字图像中的随机未知缺失区域。     

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力.在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN).与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量.在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN).该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器.此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成.实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果.GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像.     

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力。在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像。     

多表情人脸肖像的自动生成

肖像是一种能够抓住人物特征,又能隐藏细节,保留个人隐私的艺术表现形式,本文提出一种以中性表情人脸作为输入,自动生成不同表情的肖像算法.首先利用主动形状模型(Active Shape Model,ASM)提取人脸的关键特征点,然后根据统计学习获取的不同表情人脸的FAP(Facial Animation Parameter)规则,对中性人脸的特征点进行变形,生成表情三角网格,将中性人脸图像作为纹理映射到表情人脸网格,生成表情人脸图像,最后利用图像的梯度域信息和非真实感渲染技术,将带表情的人脸生成具有肖像风格的人脸图像.所生成的多表情人脸肖像效果良好,能够应用于网络和报刊杂志等非真实感图形学和数字娱乐等领域中.     

基于人脸朝向的非穿戴自然人机交互

提出了一种新颖的基于人脸朝向的非穿戴人机交互新方法.采用主动形状模型确定人脸面部轮廓特征点,克服光照和人脸姿态变化影响,在简化冗余信息的同时,降低计算复杂度.基于最大三角化划分面部轮廓特征,在此基础上,基于Kinect摄像机将构建的二维人脸模型映射至三维空间,动态求解面部朝向的法向量,通过图像帧间的均值滤波确定空间交互目标.用户无需佩带任何标记,且其活动不受约束,满足人机交互舒适性、多元性要求,实现非穿戴自然人机交互.通过实验对比,验证了本文方法有效、可行.     

生成对抗网络的发展与挑战

生成对抗网络（Generative adversarial network, GAN）由生成模型和判别模型构成,生成模型获取真实数据的概率分布,判别模型判断输入是真实数据还是生成器生成的数据,二者通过相互对抗训练,最终使生成模型学习到真实数据的分布,使判别模型无法准确判断输入数据的来源。生成对抗网络为视觉分类任务的算法性能的提升开辟了新的思路,自诞生之日起至今已经在各个领域产生了大量变体。本文的主要内容包括：生成对抗网络的研究现状、应用场景和基本模型架构,并列举了生成对抗网络本身所存在的弊端;从网络架构、损失函数和训练方式这三方面对生成对抗网络的各种主要典型发展进行归纳;详细总结和分析了生成对抗网络在人脸图像生成和编辑、风格迁移、图像超分辨率、图像修复,序列数据生成、视频生成等各个应用领域的算法以及对应算法的优缺点;介绍了生成对抗网络的常用评价指标并且分析了这些指标的适用场景和不足之处;最后从多个方面对生成对抗网络所面临的挑战进行了讨论,并指出了对其可能的改进方向。     

基于相对生成对抗网络的低清小脸幻构

针对当前代表性低清小脸幻构方法存在的视觉真实感弱、网络结构复杂等问题,提出了一种基于相对生成对抗网络的低清小脸幻构方法(tfh-RGAN).该文方法的网络架构包括幻构生成器和判别器两个部分,通过像素损失函数和相对生成对抗损失函数的联合最小化,实现生成器和判别器的交替迭代训练.其中,幻构生成器结合了残差块、稠密块以及深度可分离卷积算子,保证幻构效果和网络深度的同时降低生成器的参数量;判别器采用图像分类问题中的全卷积网络,通过先后去除批归一化层、添加全连接层,充分挖掘相对生成对抗网络在低清小脸幻构问题上的能力极限.实验结果表明,在不额外显式引入任何人脸结构先验的条件下,该文方法能够以更简练的网络架构输出清晰度更高、真实感更强的幻构人脸.从定量角度看,该文方法的峰值信噪比相较之前的若干代表性方法可提高0.25～1.51 dB.