基于双层生成对抗网络的素描人脸合成方法

为解决传统素描人脸合成方法中素描人脸图像细节模糊和清晰度低的问题,提出一种基于双层生成对抗网络的素描人脸合成方法。该方法学习面部照片与素描人脸图像之间的映射关系,并通过双层网络将映射关系限制为一对一映射;利用重建损失函数约束生成网络,提高合成能力;通过生成网络与判别网络的对抗训练,优化网络参数,合成最终素描人脸图像。通过在CUHK素描人脸库上的对比实验,证明该方法合成的素描人脸图像质量明显优于其他传统素描人脸合成方法,其合成的素描人脸图像面部细节更完整,清晰度更高。     

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描人脸图像.     

脸由音生：语音驱动的静动态人脸生成方法

语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静态模型的使用范围。提出了一种基于条件生成对抗网络的语音驱动静动态人脸生成模型（SDVF-GAN）。该模型基于自注意力机制构建语音编码器网络以获得更为准确的听觉特征表达,并将其作为静态生成网络和动态生成网络的输入;静态生成网络利用基于投影层的图像判别器合成出属性一致（年龄、性别）且高质量的静态人脸图像,动态生成网络利用基于注意力思想的嘴唇判别器和图像判别器合成出嘴唇同步的动态人脸序列。实验利用所构建的属性对齐的Voice-Face数据集和公共的LRW数据集分别训练静态人脸生成网络和动态人脸生成网络。结果表明,该模型综合研究了语音和人脸之间的属性对应和嘴唇同步关系,实现了质量更高且关联性和同步性更强的人脸图像生成。     

基于改进循环对抗网络的异质人脸合成配准

针对异质人脸合成问题,根据生成对抗网络在图像合成问题中的优势,将改进的循环生成对抗网络(CycleGAN)应用于异质人脸的合成研究当中.该方法可以降低不同模态人脸图像之间因为特征结构不同导致合成困难的问题.收集照片和素描两种模态的人脸数据,在两种模态之间使用循环对抗网络进行图像生成,实现两种模态之间的转换.利用最小二乘损失函数和Smooth损失函数对原网络目标函数进行改进,可以提高训练过程的稳定性,改善图片的合成质量,分析权重系数的作用.实验结果表明,合成质量和精度较原算法均有所提高.     

基于改进SRGAN模型的人脸图像超分辨率重建

传统生成对抗网络模型重建人脸图像时出现过多失真，难以在减少失真的情况下有效提高人脸图像真实感。针对该问题，在生成对抗网络SRGAN模型的基础上，提出一种改进的人脸图像超分辨率重建方法。为提高重建像素点与周围像素点的相关性，将双注意力机制模块嵌入到SRGAN模型的生成器和判别器中，在空间域和通道域中获取更精准的特征依赖关系。同时应用自适应激活函数ACON取代原SRGAN网络中的激活函数，通过动态学习ACON激活函数参数为每个神经元设计不同激活形式，从而提高网络特征表达能力。使用改进SRGAN的人脸图像超分辨率重建算法在CelebA测试集上进行重建实验，结果表明：该算法较原算法PSNR值提高0.675 dB,SSIM值提高0.016,LPIPS值优化0.036，有效减少了重建人脸图像中眼睛等重点部位的失真情况；与其他非生成对抗网络的主流算法相比，LPIPS值最低优化0.107，最高优化0.205，有效提高了重建人脸图像的真实感。     

基于转换生成网络的素描人脸识别

针对素描图像和可见光图像存在较大模态差异这一问题,提出一种基于转换生成网络的素描人脸识别方法,该网络同时实现跨模态图像生成和素描人脸识别.转换生成网络由生成器、判别器和特征转换网络(S网络)组成.生成器生成图像,判别器使得生成图像具备两种模态信息,S网络提取高级语义特征来辅助生成图像和识别.使用端对端训练来更新模型参数...     

基于多残差动态融合生成对抗网络的人脸素描-照片合成方法

针对现阶段人脸素描-照片合成方法合成的图像存在清晰度较低、面部细节模糊等问题,提出基于多残差动态融合生成对抗网络的人脸素描-照片合成方法.首先设计多残差动态融合网络,从不同的密集残差模块分别提取特征并进行残差学习.然后根据不同层次的多样化残差特征生成对应的偏移量,不同位置的卷积核依据偏移量改变采样坐标,使网络自适应地关...     

融合多尺度梯度特征的人脸素描照片合成

人脸素描照片合成是异质图像变换重要分支，近年来受到广泛关注，在数字娱乐和执法领域都得到了广泛应用。近几年基于生成对抗网络的方法在图像跨域转换方面取得了较大的进步，但合成图像会产生噪声、伪影等问题。以U-Net网络为基础，提出了一种融合多尺度梯度特征的人脸素描照片合成方法，该方法结合了MSG-GAN的思想：允许判别器不仅使用生成器最终输出的梯度，而且还使用从上采样中间层输出的不同分辨率的梯度。同时在U-Net网络中加入了残差学习单元，来缓解深度神经网络训练过程中产生的梯度消失和梯度爆炸的问题。此外还加入了基于MRF-CNN的伪人脸特征生成器，采用块匹配的方法来生成伪人脸图像用于监督生成器的人脸生成。最后在CUFS和CUFSF数据集上的实验结果表明所提出方法的有效性。     

选择性传输与铰链对抗的多图像域人脸属性迁移

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。     

基于多判别器的多波段图像自监督融合方法

针对多波段图像融合领域利用深度学习方法进行融合时过度依赖标签图像导致融合结果受限的问题,文中提出了一种基于多判别器生成对抗网络的多波段图像自监督融合方法。首先,设计并构建反馈密集网络作为特征增强模块,分别提取多波段图像特征并进行特征增强;其次,将多波段图像特征增强结果合并连接,并通过设计的特征融合模块重构融合图像;最后,将初步融合结果与各波段源图像分别输入判别网络,通过多个判别器的分类任务来不断优化生成器,使生成器在输出最终结果的同时保留多个波段图像的特征,以达到图像融合的目的。实验结果表明,与当前代表性的融合方法相比,所提方法具有更好的清晰度和更多信息量,细节信息更丰富,更符合人眼的视觉特性。     

基于改进CycleGAN的人脸剪纸自动生成

针对人脸剪纸手工设计难度大, 制作周期长等问题, 本文首次利用生成对抗网络生成高质量人脸剪纸. 面向人脸剪纸艺术特点, 提出了一种基于CycleGAN的改进网络: 1) 在原始CycleGAN生成器中引入CBAM注意力模块, 增强网络特征提取能力; 2) 引入针对鼻、眼、唇等关键面部区域的局部鉴别器, 提升人脸剪纸中以上区域的生成效果; 3)设计基于图像边缘信息与SSIM的损失函数, 取代CycleGAN的前向循环一致损失, 消除所得人脸剪纸中的阴影. 相较于其他人脸剪纸自动生成方法, 本文方法可快速生成与原始人脸相似度高、线条连续流畅、具有艺术美感的人脸剪纸. 此外, 本文还提出了一种人脸剪纸连通性后处理方法, 使所得结果更符合中国传统剪纸整体连通的特点.     

结合改进注意力的肠胃镜图像深度估计

针对肠胃镜诊疗系统存在图像关键信息模糊和适应性差等问题, 提出一种结合改进注意力机制的循环生成对抗网络, 以实现对消化道深度信息的准确估计. 该网络以CycleGAN为基础网络, 结合双重注意力机制, 并引入残差门控机制和非局部模块来更全面地捕捉和理解输入数据的特征结构和全局相关性, 从而提高深度图像生成的质量和适应性; 同时采用双尺度特征融合网络作为判别器, 以提升其判别能力并平衡与生成器之间的工作性能. 实验结果表明, 在肠胃镜场景中预测效果良好, 相比其他无监督方法, 在胃道、小肠和结肠数据集上平均准确度分别提升了7.39%、10.17%和10.27%. 同时, 在实验室人体胃道器官模型上也能够准确地估计出相对深度信息, 并提供精确的边界信息.     

人脸老化/去龄化的高质量图像生成模型

目的 近年来关于人脸老化/去龄化的研究在深度学习的推动下取得了飞速发展,2017年提出的条件对抗自编码器（CAAE）人脸老化/去龄化模型生成的人脸不仅可信度高,而且更贴近目标年龄。然而在人脸老化/去龄化过程中仍存在生成图像分辨率低、人工鬼影噪声严重（生成人脸器官扭曲）等问题。为此,在CAAE的基础上,提出一个人脸老化/去龄化的高质量图像生成模型（HQGM）。方法 用边界平衡对抗生成网络（BEGAN）替换CAAE中的对抗生成网络（GAN）。BEGAN在人脸图像生成上不仅分辨率更高而且具有更好的视觉效果。在此基础上,添加两个提高生成图像质量的损失函数：图像梯度差损失函数和人脸特征损失函数。图像梯度差损失函数通过缩小生成图像和真实图像的图像梯度,使生成图像具有更多轮廓等高频信息;人脸特征损失函数将生成图像和真实图像分别输入到配置预训练参数的VGG-FACE网络模型中,输出各自的特征图。通过缩小两幅特征图的对应点差值,使生成图像具有更多真实图像的人脸特征信息。结果 实验使用UTKface、FGnet和Morph数据集,经过训练,每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比,HQGM可以有效去除人工鬼影噪声,峰值信噪比高3.2 dB,结构相似性高0.06,提升显著。结论 HQGM可以生成具有丰富纹理信息和人脸特征信息的人脸老化/去龄化图像。     

基于Transformer实现文本导向的图像编辑

为方便非专业用户修图,提出一种基于Transformer的图像编辑模型TMGAN,使用户可通过自然语言描述自动修改图像属性。TMGAN整体框架采用生成对抗网络,生成器采用Transformer编码器结构提取全局上下文信息,解决生成图像不够真实的问题;判别器包含基于Transformer的多尺度判别器和词级判别器两部分,给生成器细粒度的反馈,生成符合文本描述的目标图像且保留原始图像中与文本描述无关的内容。实验表明,此模型在CUB Bird数据集上,IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指标分别达到了9.07、8.64和0.081。提出的TMGAN模型对比现有模型效果更好,生成图像既满足了给定文本的属性要求又具有高语义性。     

Mask guided diverse face image synthesis

Recent studies have shown remarkable success in face image generation task. However, existing approaches have limited diversity, quality and controllability in generating results. To address these issues, we propose a novel end-to-end learning framework to generate diverse, realistic and controllable face images guided by face masks. The face mask provides a good geometric constraint for a face by specifying the size and location of different components of the face, such as eyes, nose and mouse. The framework consists of four components: style encoder, style decoder, generator and discriminator. The style encoder generates a style code which represents the style of the result face; the generator translate the input face mask into a real face based on the style code; the style decoder learns to reconstruct the style code from the generated face image; and the discriminator classifies an input face image as real or fake. With the style code, the proposed model can generate different face images matching the input face mask, and by manipulating the face mask, we can finely control the generated face image. We empirically demonstrate the effectiveness of our approach on mask guided face image synthesis task.     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

基于半监督对抗学习的图像语义分割

目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量。作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率。此外,生成对抗网络(generative adversarial network, GAN)中的另一个挑战是判别器的性能控制。在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的。为此,本文提出面向图像语义分割的半监督对抗学习方法。方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模。自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征。因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系。同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化...     

二阶段端到端的图像去雾生成网络

单幅雾天图像的恢复是计算机视觉领域的一个基础问题,现有的方法主要包括基于先验信息的去雾方法和基于学习的去雾方法.然而,在实践中,前者具有很强的假设先验,导致该类方法的应用场景具有一定的局限性;后者在获取大量的配对数据上很困难.针对这2类问题,提出一种基于非配对数据训练的二阶段端到端的自适应去雾生成网络,其基于循环生成式对抗网络框架,不同的是,在训练的过程中,提出一种二阶段映射策略.首先通过一级映射网络得到去雾结果;然后将该结果作为二级映射网络的输入,进一步提高去雾效果.另外,提出一种循环增强损失函数,并引入了先验信息约束生成器之间的映射关系.采用室内外多场景下的仿真雾图和真实雾图作为测试数据,通过全参考和无参考图像质量评价指标进行对比分析;实验结果表明,该方法不仅能够更好地适应处理各类雾天场景,有效地提高图像的峰值信噪比和结构相似度,且较好地复原了退化场景的边缘信息和色彩信息.     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。