一个实用的人脸定制和表情动画编辑系统

介绍了一个简单而行之有效的特定人脸定制和表情动画的编辑系统，首先给定一个内嵌肌肉向量的一般人脸三维多边形网络模型并提供特定人脸的正侧面正交图象，然后采用snake技术自动适配人脸特征线，变分一般模型定制出三维虚拟人脸；接着再用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而生成高度真实感的虚拟特定人脸，由内嵌肌肉向量的参数化表示，通过编辑参数能赋予三维虚拟人脸各种丰富的表情。由于变分后人脸模型的拓扑不变，因此可用基于三角化的图象metamorphosis实现不同特定人脸间的三维morph，该系统能在廉价的PC平台上实现，其快速、简单而且具有真实感，具有很大的实用价值。     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

有限元法在人脸三维建模及表情动画中的应用研究

将机械工程中的有限元方法用于人脸的三维建模,利用人脸上提取的99个特征点和一些辅助点,用光滑的样条曲线模拟人脸表情肌分布位置连结成线,由线生成三角面片和四角面片组合的有限元建立的人脸几何模型.给该模型定义合适的单元类型、实常数等参数,定义能与人脸皮肤等效的材料属性,并在眼睛、嘴等动作敏感位置加一定量载荷求解,模拟人脸表情动作.从求解的应力图中可以看出,该几何模型变形均与人脸表情动作时皮肤弹性变形一致.该方法可以快速、准确的进行三维人脸参数化建模,可方便提取特征点进行人脸识别.这种建模方法为人脸三维建模提供了一种新的思路和可靠的理论依据,同时降低了后期人脸识别的难度.     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

动态人脸表情合成的模型特征驱动算法综述

分析人脸模型的动态表情合成方法并依据它们内在特点进行分类描述。尽管这个领域已经存在较多文献,但是动态人脸表情合成仍然是非常活跃的研究热点。根据输出类型的不同,分类概览二维图像平面和三维人脸曲面上的合成算法。对于二维图像平面空间合成人脸表情主要有如下几种算法：主动表情轮廓模型驱动的人脸表情合成算法,基于拉普拉斯算子迁移计算的合成方法,使用表情比率图合成框架的表情合成算法,基于面部主特征点offset驱动的人脸表情合成算法,基于通用表情映射函数的表情合成方法和近来基于深度学习的表情合成技术。对于三维空间人脸合成则主要包括：基于物理肌肉模型的合成,基于形变的表情合成,基于三维形状线性回归的表情合成,基于脸部运动图的表情合成和近来基于深度学习的三维人脸表情合成技术。对以上每一种类别讨论它们的方法论以及其主要优缺点。本工作有望帮助未来研究者更好地定位研究方向和技术突破口。     

基于单张人脸图像的表情生成方法

人脸表情生成是人机情感交互的重要实现方式之一。通过研究人脸及表情特点,抽象具体的器官变化,归纳出针对人脸图像的网格划分法法则。在此基础上提出了一种针对人脸表情生成的网格划分技术。该技术通过简单的定位,使用二次多项式曲线合理划分了人脸主要器官,继而将其参数化,实现对人脸各器官的独立调整变动。简化定义了6种基本表情的面部变化,使用新网格划分技术实现不同的人脸器官变化,生成各种特定的表情。同时尝试了皱纹等皮肤纹理的添加步骤。与已有的人脸表情生成方法相比,新方法具有网格划分方式简单、变动参数多样、易于编码实现和计算量小等优点,最终生成的人脸表情在主观 评测中评价良好。     

基于表情捕捉技术的人脸实时交互体验设计与实现

介绍了无标记点表情捕捉技术及工作流程,结合课题分析了表情设定、人脸建模和实时交互的设计流程及实现,构建了基于人脸实时交互体验的“东方微笑”数字化展示系统.表情捕捉技术和交互体验技术的深入结合为人机实时交互带来了新方向,开拓了数字文化保护和传播新途径.     

利用双线性分析的三维人脸表情模拟技术

具有真实感的三维人脸表情合成是计算机应用领域的一个热点问题.提出一种基于双线性分析的三维人脸表情生成方法.在对人脸数据进行分区域统计分析的基础上,建立了表情与身份相独立的双线性统计模型.设计了该模型的肌肉驱动方法,通过肌肉参数来驱动相应表情统计参数变化来生成丰富表情.对于输入的特定二维或三维人脸,利用形变模型(Morphable Model), 可自动实现其模型匹配.实验结果表明,该方法能够模拟各种具有较高真实感的人脸表情.     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

人脸疼痛表情识别综述

自动疼痛识别技术在医疗保健,特别是在对无法用语言表达疼痛的病人的治疗和护理中具有广泛的应用前景,因此逐步受到研究者的关注。由于人的面部线索是很重要的疼痛评估依据,并且基于计算机视觉技术的人脸表情识别研究已取得很大进展,因此利用面部表情信息实现自动疼痛识别成为了一条有效的途径。本文首先简要介绍了目前常用的STOIC表情数据库、 婴儿疼痛表情分类（COPE）数据库、UNBC-McMaster肩部疼痛数据库和BioVid热疼痛数据库,然后从静态图像疼痛表情识别、视频序列疼痛表情识别、特定人物疼痛识别以及多信息融合疼痛识别4个方面对近10年的疼痛表情识别主要方法进行了详细 的介绍,最后对目前人脸疼痛表情识别现状进行总结和分析,并阐述了其存在的挑战和未来的发展方向。     

基于面部动作编码系统的表情生成对抗网络

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元（AUs）,提出一种基于面部动作编码系统（FACS）的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。     

带虚拟边约束的面部表情基生成方法

针对网格形变迁移算法在生成面部表情基时可能出现的模型表面穿透问题,本文提出一种带虚拟边约束的面部表情基生成算法.该算法基于一组模板表情基,可以为不同的对象目标生成个性化的人脸表情基.首先,算法依据顶点之间的距离信息检测出人脸模型中可能发生模型表面穿透的区域,在这些区域添加新的顶点连接关系,本文称为虚拟边;然后以这些虚拟边约束网格形变迁移算法,在生成表情基的同时防止模型发生表面穿透现象.在不同人脸模型上的实验结果表明,算法添加虚拟边的精度和效率优于手动操作以及之前提出的相关算法,并且虚拟边约束可以有效防止表情迁移过程中的模型穿透问题.最后,本文实验为不同的人脸网格生成了表情基,并应用生成的表情基进行表情迁移,实验结果验证了本文提出的带虚拟边约束的面部表情基生成方法的有效性.     

人脸表情合成算法综述

人脸表情合成技术旨在保留人脸身份信息的情况下,对人脸表情进行重建,从而生成具有新表情的源人脸图像。深度学习的发展为表情合成提供了全新的解决方案,本文从特征提取、生成对抗网络的表情合成和实验评估方面综述了人脸表情合成技术的发展。首先,介绍了人脸特征的提取,这是表情合成任务中的一项关键技术,人脸特征可客观全面地描述人脸表情状态。其次,分析了表情合成领域中主流的基于深度学习的方法,主要针对生成对抗网络（Generative adversarial network,GAN）的发展现状,探讨了基于生成对抗网络的表情合成方法。通过对人脸数据集及实验评估方法的深入研究,总结出广泛使用的人脸表情合成数据集以及多种客观评价方法。最后根据现有方法所存在的问题,提出了未来工作的研究方向。     

基于样例的面部表情基生成

针对现有blendshape表情基的生成多依赖手工建模和微调的问题,提出一种基于样例的表情基自动生成方法。以一组通用的面部模型为先验模型,实现每个 blendshape 的表情语义逐步求精。通过该方法生成的blendshape表情基能够将通用模型的表情语义和表情动态映射到目标模型上,从而实现模型在应用上的可扩展性,使用户能够按照自身需求逐步计算出更为丰富的面部表情模型。实验结果表明,在梯度空间建立形变约束,并将其转化为一个关于blendshape的优化问题,能更加有效地控制blendshape表情基的变化趋势,并且计算时间更短,真实感更强。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

多民族人脸表情变换

我国是一个多民族国家。不同民族在表达相同表情时,会因文化,地域和习惯的不同,产生一定的区别。为了表达多民族人脸表情变换的特点,实现了一种以民族人脸中性表情为输入,依据各民族人脸表情特点,自动生成的民族人脸表情变换方法。首先利用构建的多民族人脸表情数据库标准人脸库,多民族人脸表情库,以及多民族人脸表情AU部件库,统计多民族人脸表情变化时的规律,利用主动形状模型ASM对民族人脸进行特征点定位。其次,根据统计不同民族人脸的表情,获得民族表情变换参数,结合一般人脸表情变换参数计算民族人脸表情变换特征点的形变位置。最后,使用纹理映射和仿射变换生成变换表情后的人脸图像。实验结果显示,所提方法能够仿真出不同民族人脸表情变换的基本表情。     

特定人脸的快速定制和肌肉驱动的表情动画

为解决特定人脸的真实模拟问题提供了一个简单而行之有效的方法,首先,给出特定人脸的正侧面正交图像,并提供了一个内嵌肌肉向量的一般人脸三维多边形网络模型,采用Snake技术自动配人脸特征线,基于特定人脸的特征线相对于一般人脸模型上的特征线的位移,变分插值一般人脸网络,适配特定人脸几何;然后,用多分辨率样条技术产生无缝的人脸纹理镶嵌图,纹理映射后生成高度真实感的能以任意视线方向观察的特定人脸;进而,通过组合特定人脸的肌肉向量的运动,变形模型,组合出特定人脸的各种表情,该方法能在廉价的PC平台上实现,快速、简单,而且具有真实感。     

人脸表情识别研究的新进展

人脸表情识别（facial expression recognition,简称FER）作为智能化人机交互技术中的一个重要组成部分,近年来得到了广泛的关注,涌现出许多新方法.本文综述了国内外近4年人脸表情识别（FER）技术的最新发展.首先,介绍了FER系统的组成：人脸检测、表情特征提取和表情分类,并详细叙述了其中表情特征提取和表情分类的方法.然后,对目前广泛应用的人脸表情数据库进行了介绍,并在此基础上对当前一些FER系统的性能进行了比较分析.最后,对FER领域的研究现状和挑战给予了评述,对FER可能的发展方向进行了讨论.     

基于特征区域自动分割的人脸表情识别?

针对目前三维人脸表情区域分割方法复杂、费时问题,提出一种人脸表情区域自动分割方法,通过投影、曲率计算的方法检测人脸的部分特征点,以上述特征点为基础进行人脸表情区域的自动分割。为得到更加丰富的表情特征,结合人脸表情识别编码规则对提取到的特征矩阵进行扩充,利用分类器进行人脸表情的识别。通过对三维人脸表情数据库部分样本的识别结果表明,该方法可以取得较高的识别率。