基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

真实感人脸的形状与表情空间

提出一种建立三维人脸扫描模型参数空间的算法,其中的模板拟和算法基于能量最小的优化机制,通过非线性优化过程求解模板模型在每个顶点上的位移矢量,使之逼近目标模型.优化目标方程由以下测度组成：距离、平滑度以及人脸特征对应,如特征曲线、边界和特征点对等.使用该算法可用于不同人脸以及不同表情模型之间的对应建立,从而获取一致参数化的人脸形状和表情空间.在文中系统中,三维面部特征曲线通过Canny边检测算法自动获取,这样自动检测获取的特征曲线可用于降低三维形状描述的维数,同时完整的面部几何形状通过径向基函数插值得到.在中性人脸和表情人脸模型上所作的一致参数化为许多应用提供了平台,如形状渐变,纹理迁移和表情迁移.考虑到自动提取的特征曲线和二维线画卡通人脸的相似性,使用迭代优化算法实现二维线画卡通人脸姿态到三维真实人脸模型的迁移.     

动态人脸表情合成的模型特征驱动算法综述

分析人脸模型的动态表情合成方法并依据它们内在特点进行分类描述。尽管这个领域已经存在较多文献,但是动态人脸表情合成仍然是非常活跃的研究热点。根据输出类型的不同,分类概览二维图像平面和三维人脸曲面上的合成算法。对于二维图像平面空间合成人脸表情主要有如下几种算法：主动表情轮廓模型驱动的人脸表情合成算法,基于拉普拉斯算子迁移计算的合成方法,使用表情比率图合成框架的表情合成算法,基于面部主特征点offset驱动的人脸表情合成算法,基于通用表情映射函数的表情合成方法和近来基于深度学习的表情合成技术。对于三维空间人脸合成则主要包括：基于物理肌肉模型的合成,基于形变的表情合成,基于三维形状线性回归的表情合成,基于脸部运动图的表情合成和近来基于深度学习的三维人脸表情合成技术。对以上每一种类别讨论它们的方法论以及其主要优缺点。本工作有望帮助未来研究者更好地定位研究方向和技术突破口。     

基于模型的面部图像生成方法

在人脸部件几何特征及肌肉运动模型的基础上,本文提出了一种二维面部图像的生成方法。该方法采用特征网络模型精确地描述人脸部件,将网络上轮廓特征点的相对位移作为面部图像变形及表情综合的参数,并通过面部整合模型控制各部件之间相互作用关系及人脸轮廓变化。实验证明该方法产生的面部变形图像比较精确,表情效果也很自然。     

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.     

3DMM与GAN结合的实时人脸表情迁移方法

快速实时生成表情逼真、姿态自然的虚拟人脸一直是较为有挑战性的研究。提出一种基于3DMM与GAN结合的实时人脸表情迁移方法。通过目标人脸的一段表演视频,将表演人员与目标人脸关键点建立映射关系,使用二维RGB摄像头实时跟踪表演人脸关键点并利用GAN生成目标虚拟人脸特征点,进一步估计人脸姿态。利用3DMM构成二维到三维人脸模型的重建,实时渲染出当前姿态的二维人脸表情,再将表演人脸表情与目标人脸表情进行融合,生成表情逼真的目标人脸。对比实验表明,该方法能得到更为逼真的人脸表情,可以模仿出目标人脸真实的表情,同时也能够达到实时性,在创建逼真的视频方面实现了更大的灵活性。同时,提出一种针对人脸表情迁移仿真效果的验证方法可以客观评价仿真人脸的结果。     

人脸面部表情自动生成系统

详细介绍开发一个人脸面部表情自动生成系统所用到的相关技术,包括人脸三维建模、面部表情合成、系统用户界面实现等技术。系统开发的目的是建立一个具有真实感和实用性的三维人脸面部表情自动生成系统,其中,三维人脸建模技术包括3DMAX使用关键技术以及人脸特征提取技术,基于人脸建模的表情生成技术主要介绍通过肌肉运动来描述表情的技术,系统界面的设计采用MFC技术。对各技术全面而系统的介绍,将为人脸面部表情自动生成系统的开发与实现提供一个有效途径,为系统的应用者提供便利。     

基于链码的人脸表情几何特征提取

已有人脸表情特征提取算法的表情识别率较低.为此,提出一种基于链码的人脸表情几何特征提取算法.以主动形状模型特征点定位为基础,对面部目标上定位的特征点位置进行循环链码编码,以提取出人脸表情几何特征.实验结果表明,相比经典的LBP表情特征鉴别方法,该算法的识别率提高约10％.     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于法向保持的三维人脸表情跟踪

为减少人脸表情跟踪过程中的人工干预,提高跟踪的效率和自动化程度,提出一种基于法向保持的三维人脸表情跟踪算法.采用以视频频率获取的帧人脸点云作为输入.通过将可变形的参数化网格模型依次对准每一帧点云来跟踪表情的变化;用法向保持条件自动约束跟踪过程中网格顶点在相邻帧间的运动.与已有算法相比,该算法无需在每一帧对准中人工指定特征对应点,也无需进行复杂的光流运算,可实现高效的自动化表情跟踪.另外,当参数化网格与点云所表示的人脸形状相差较大时,采用文中算法也可以得到理想的对准效果.     

基于样例的面部表情基生成

针对现有blendshape表情基的生成多依赖手工建模和微调的问题,提出一种基于样例的表情基自动生成方法。以一组通用的面部模型为先验模型,实现每个 blendshape 的表情语义逐步求精。通过该方法生成的blendshape表情基能够将通用模型的表情语义和表情动态映射到目标模型上,从而实现模型在应用上的可扩展性,使用户能够按照自身需求逐步计算出更为丰富的面部表情模型。实验结果表明,在梯度空间建立形变约束,并将其转化为一个关于blendshape的优化问题,能更加有效地控制blendshape表情基的变化趋势,并且计算时间更短,真实感更强。     

交互式进化计算在虚拟角色表情建模中的应用

阐述了一种将交互式进化计算应用于三维计算机动画影片中训练虚拟角色面部表情的方法。将模糊神经网络应用于虚拟角色面部表情的建模,并用遗传算法结合交互式进化计算训练模糊神经网络。实验结果表明,当该算法应用于训练虚拟角色面部表情这一问题时,能在保证精度的前提下快速收敛,并能避免陷入局部最优,从而使得不同的动画导演利用这个系统,能够生成符合自己要求的虚拟面部表情。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

基于风格迁移的面部表情识别方法

针对一个人的面部表情可以被分解为表情成分和中性成分，提出一种新颖的基于风格迁移的面部表情识别方法。该方法通过训练循环一致生成对抗网络(Cycle-GAN)得到不同的生成器；这些不同的生成器可将不同的表情迁移到中性，因此每个生成器对应一种不同的表情。在测试阶段，输入表情图像到上述训练好的生成器中。由于只有与输入的表情对应的生成器能迁移成中性表情，因此可以通过这种方式实现面部表情识别。实验结果表明：该新方法不仅在实验室条件下获得的面部表情数据集中表现突出，而且在自然条件下获得的面部表情数据集中也有非常高的识别率。     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

基于单张人脸图像的表情生成方法

人脸表情生成是人机情感交互的重要实现方式之一。通过研究人脸及表情特点,抽象具体的器官变化,归纳出针对人脸图像的网格划分法法则。在此基础上提出了一种针对人脸表情生成的网格划分技术。该技术通过简单的定位,使用二次多项式曲线合理划分了人脸主要器官,继而将其参数化,实现对人脸各器官的独立调整变动。简化定义了6种基本表情的面部变化,使用新网格划分技术实现不同的人脸器官变化,生成各种特定的表情。同时尝试了皱纹等皮肤纹理的添加步骤。与已有的人脸表情生成方法相比,新方法具有网格划分方式简单、变动参数多样、易于编码实现和计算量小等优点,最终生成的人脸表情在主观 评测中评价良好。     

面向虚拟化身的人脸表情模拟技术

为了实现基于增强现实的电子沙盘环境中的异地可视化交互功能,提出了一种面 向虚拟化身的三维表情模拟技术。首先,使用 RGB 摄像头跟踪异地作业人员的表情,基于约 束局部模型(CLM)提取人脸特征点数据后传输到本地;然后,采用基于径向基函数的插值算法 计算虚拟化身面部网格点的坐标,驱动模型模拟出与异地作业人员相同的表情;最后,为了提 高变形算法的精度和效率,提出一种基于贪心算法与人脸肌群分布的插值控制点选取和分区域 插值方法。实验结果表明,该算法能够满足实际应用对实时性和真实感的需求。     

基于非刚体运动光流算法的面部表情识别

本文讨论了基于光流法的面部表情识别。由于面部表情运动是一非刚体运动,容易产生形变,因此标准光流法估计不准确。为此,本文通过引入div-curl样条函数作为扩展光流约束方程的附加约束条件,推导了非刚体光流算法,并给出了一阶和二阶div-curl样条约束下光流的数值解。最后将该算法用于面部表情特征提取,构建了HMM与BP神经网络混合分类器。实验结果表明面部表情识别率得到显著提高。     

疲劳表情识别的研究与仿真

研究疲劳状态的表情识别问题.针对当人体处在疲惫状态与常规表情中的人脸面部特征变化不是很明显,在普通状态下的面部表情差别不大.传统的表情识别算法很难准确高效的识别.为提高识别率,提出了关联面部特征的表情识别方法.首先对人脸主要图像进行特征检测,然后建立特征集,根据特征向量之间的变化将细节特征向量进行有效联系,克服传统方法的弊端,根据微小的关联变化完成表情识别.实验结果表明,方法的能够对面部特征细微变化下的人脸图像进行有效的疲惫表情识别,提高了识别的准确度.