脸由音生：语音驱动的静动态人脸生成方法

语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静态模型的使用范围。提出了一种基于条件生成对抗网络的语音驱动静动态人脸生成模型（SDVF-GAN）。该模型基于自注意力机制构建语音编码器网络以获得更为准确的听觉特征表达,并将其作为静态生成网络和动态生成网络的输入;静态生成网络利用基于投影层的图像判别器合成出属性一致（年龄、性别）且高质量的静态人脸图像,动态生成网络利用基于注意力思想的嘴唇判别器和图像判别器合成出嘴唇同步的动态人脸序列。实验利用所构建的属性对齐的Voice-Face数据集和公共的LRW数据集分别训练静态人脸生成网络和动态人脸生成网络。结果表明,该模型综合研究了语音和人脸之间的属性对应和嘴唇同步关系,实现了质量更高且关联性和同步性更强的人脸图像生成。     

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。     

基于双层生成对抗网络的素描人脸合成方法

为解决传统素描人脸合成方法中素描人脸图像细节模糊和清晰度低的问题,提出一种基于双层生成对抗网络的素描人脸合成方法。该方法学习面部照片与素描人脸图像之间的映射关系,并通过双层网络将映射关系限制为一对一映射;利用重建损失函数约束生成网络,提高合成能力;通过生成网络与判别网络的对抗训练,优化网络参数,合成最终素描人脸图像。通过在CUHK素描人脸库上的对比实验,证明该方法合成的素描人脸图像质量明显优于其他传统素描人脸合成方法,其合成的素描人脸图像面部细节更完整,清晰度更高。     

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描人脸图像.     

基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.     

人脸表情合成算法综述

人脸表情合成技术旨在保留人脸身份信息的情况下,对人脸表情进行重建,从而生成具有新表情的源人脸图像。深度学习的发展为表情合成提供了全新的解决方案,本文从特征提取、生成对抗网络的表情合成和实验评估方面综述了人脸表情合成技术的发展。首先,介绍了人脸特征的提取,这是表情合成任务中的一项关键技术,人脸特征可客观全面地描述人脸表情状态。其次,分析了表情合成领域中主流的基于深度学习的方法,主要针对生成对抗网络（Generative adversarial network,GAN）的发展现状,探讨了基于生成对抗网络的表情合成方法。通过对人脸数据集及实验评估方法的深入研究,总结出广泛使用的人脸表情合成数据集以及多种客观评价方法。最后根据现有方法所存在的问题,提出了未来工作的研究方向。     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络（GAN）。首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检测器检测出侧脸鼻尖点位置,再将编码器提取到的特征图依照鼻尖位置进行镜像对称,从而在特征层面上缓解面部信息缺失的问题。其次,借鉴眼周识别思想,在现有的生成图身份保留方法中加入了眼周特征保留损失以训练生成器生成逼真的且保留身份信息的人脸正面图像。实验结果表明,所提算法得到的生成图面部细节保留较好,且在CAS-PEAL-R1数据集的所有俯角下人脸的平均Rank-1识别率为99.03%,可见该算法能够有效解决多角度侧脸的正面化问题。     

基于人脸超分的网络视频人脸检测

针对网络视频质量低导致人脸检测准确率低的问题,提出一种基于人脸超分辨率重建的SR Face Detection模型.使用去掉自监督分支且以Resnet50为基础网络的RetinaFace进行帧图片人脸的粗提取;在人脸检测器后增加一个人脸超分辨率重建网络,剔除粗提取人脸中的非人脸.该超分网络的生成网络使用残差密集块进行特征提取,加入注意力损失和热图,更好地还原面部细节;根据实际需求设计一个多判别功能的判别网络.实验结果表明,SR Face Detection模型在WID-ER FACE数据集上取得了令人信服的结果,提高了人脸检测准确率,且人脸检测场景越复杂,效果提升越明显.     

监控视频中正面人脸快速判别方法

视频监控领域由于其数据量巨大使得对视频分析变得更加困难,找到视频中正面人脸图片能够使得分析变得简单。正面人脸判别采用了基于积分通道特征和Adaboost的方法,通过提取积分通道特征,利用Adaboost训练分类器,对人脸检测窗口进行正面人脸快速判别。实验结果表明,该方法具有比较好的判别速度和精度,能够应用于大部分监控视频。     

人物肖像画及其卡通动画仿真系统的建立

文章主要目的是利用一台普通的个人电脑和一张人脸的正面照片来自动生成具有写实风格或者夸张效果的人物肖像漫画及其动画.AAM模型是一种统计模型,可以很好地应用于人脸的特征点定位.但是AAM模型在信息的处理上忽略了颜色信息的作用,而肤色信息在人脸检测时往往起着非常大的作用.文中主要采用的方法是先利用肤色信息减小AAM搜索的搜索范围,然后基于这种改进的AAM模型,定位照片上的人脸特征,并以此为基础设计了一个人物肖像画生成系统.该算法对近百幅人脸的正面照片进行实验,实验结果令人满意.该方法能够快速生成特定人脸的肖像画并能较好地应用于卡通动画制作向导、多媒体智能娱乐、游戏和网络即时通讯软件等领域中.