利用主动外观模型合成动态人脸表情

人脸表情发生变化时,面部纹理也相应地改变;为了方便有效地模拟这一动态的表情变化过程,提出一种基于主动外观模型的人脸表情合成方法.首先离线学习人脸表情与人脸形状和外观参数之间的关系,利用该学习结果实现对输入人脸图像的表情合成;针对合成图像中眼睛和牙齿模糊的缺点,利用合成的眼睛图像和牙齿模板来替代模糊纹理.实验结果表明,该方法能合成不同表情强度和类型的表情图像;合成的眼睛图像不仅增强了表情的真实感,同时也便于实现眼睛的动画.     

融合SFM和动态纹理映射的视频流三维表情重建

为从未标定的单目视频序列中重建出具有真实感的三维人脸表情序列,提出一种仅需较少约束的自动化方法.首先用ASM算法从视频首帧自动标定人脸特征,并采用仿射矫正光流方法跟踪运动中的人脸特征;然后结合一般人脸模型,采用从运动恢复形状的方法重建出三维个性化人脸模型以及表情运动;最后采用动态纹理映射来代替传统的静态纹理映射,以产生真实感视觉外观.另外,使用基于特征脸的图像压缩方法,在尽量保持图像质量的前提下缩小原始视频占用的存储空间.实验结果表明,该方法能产生具有相当真实感的三维人脸表情序列,且在时间域和空间域上都保持了较高性能.     

动态人脸表情合成的模型特征驱动算法综述

分析人脸模型的动态表情合成方法并依据它们内在特点进行分类描述。尽管这个领域已经存在较多文献,但是动态人脸表情合成仍然是非常活跃的研究热点。根据输出类型的不同,分类概览二维图像平面和三维人脸曲面上的合成算法。对于二维图像平面空间合成人脸表情主要有如下几种算法：主动表情轮廓模型驱动的人脸表情合成算法,基于拉普拉斯算子迁移计算的合成方法,使用表情比率图合成框架的表情合成算法,基于面部主特征点offset驱动的人脸表情合成算法,基于通用表情映射函数的表情合成方法和近来基于深度学习的表情合成技术。对于三维空间人脸合成则主要包括：基于物理肌肉模型的合成,基于形变的表情合成,基于三维形状线性回归的表情合成,基于脸部运动图的表情合成和近来基于深度学习的三维人脸表情合成技术。对以上每一种类别讨论它们的方法论以及其主要优缺点。本工作有望帮助未来研究者更好地定位研究方向和技术突破口。     

基于OpenGL技术的人脸表情动画合成的研究

阐述了在虚拟现实环境下，应用OpengL技术，如何对人脸建立物理模及其动画合成，并采用纹理粘贴，动画控制的手段．来仿真真实人脸的表情。文章中将人脸表面分戍8个脸部构件．采用NURBS曲面和三角形面片相结合的方式进行建模仿真．当脸部表情变化时，脸部构件也发生相应的位移的弹性形变。由于表情变化是基于本文构建的物理模型，因此，合成效率高。实验结果表明，基于OpenGL技术应用该算法对人脸建模及其动画合成。其仿真效果真实，自然。能够满足实际多媒体系统对友好人机交互的要求。     

基于Candide-3模型的姿态表情人脸识别研究

针对姿态表情严重影响人脸识别准确率的问题,基于Candide-3模型的简化,提出了形状表情关键点拟合的人脸几何结构重建和基于三角网格模型的纹理映射的方法,该方法确定关键特征点,根据人脸的几何结构信息确定姿态角,提取Candide-3模型形状表情对应点,调整模型参数,进行几何结构重建;对几何结构中每个三角网格模型进行纹理影射,得到逼真的特定人脸模型.实验结果表明,该方法提高了人脸重建速度,达到减弱姿态表情对人脸识别影响的目的.     

基于自由形状变形的三维人脸表情控制

人脸表情控制是生物特征识别研究的重要内容,本文提出了一种基于MPEG-4中FAP、FAT标准进行三维人脸表情合成的方法。首先对人脸进行关键点定义和区域分割,然后使用面向表面的自由形状变形方法(SOFFD)生成人脸表情。在特定人脸表情生成过程中,使用了基表情的比例合成方法。实验表明,该方法可以有效地合成各种真实的人脸表情。     

用卷积曲面生成脸部皱纹的方法

将卷积曲面应用于人脸建模,提出了在个性化人脸模型上生成皱纹的新方法。运用基于图像的建模方法将通用人脸网格变形并计算出纹理图像,变形后的网格再与一个核函数卷积生成卷积曲面,通过轮廓函数调整曲面的形状而产生皱纹。将纹理图像映射到卷积曲面上使皱纹具有真实感。实验结果表明本文的方法可以通过控制轮廓函数的参数生成不同外观的皱纹。     

单张照片输入的人脸动画系统

人脸动画不仅包括表情的变化,同时涉及眼睛和头部的动作.为了方便、逼真地生成这些丰富的动画效果,提出一个基于单张照片的人脸动画系统.首先利用梯度场修改的方法将样本表情映射到输入人脸上,为了避免样本人脸上斑点等非表情信息的映射,采取WLS算子对样本表情进行滤波;然后对输入图像的眼睛部分进行纹理合成处理,利用合成的眼球和眼白纹理来生成眼睛的动作;最后借助一个3D人脸模型来实现输入图像头部姿态的改变.实验结果表明,该系统能够实时地生成逼真、自然的动画效果.     

人脸表情识别与合成系统模型设计

本文提出了一种新的用于人脸表情识别与合成的情感模型,该模型是基于已泛化的和非线性映射关系的五层神经网络.模型的输入和输出层有相同数目的运动单元,在中间层可以实现特征的映射和情感空间的构造.从输入层到中间层的映射是表情识别,从中间层到输出层的映射是根据情感值进行表情合成.神经网络的训练采用典型的6种表情作为训练样本,最后通过实验证明了该模型在进行表情识别与合成时的可行性.     

表情识别的图像预处理和特征提取方法研究

表情识别是基于视觉信息将脸部的运动或脸部特征的形变进行分类,包括三部分:脸部定位、脸部特征抽取和表情分类.本文首先使用肤色模型进行脸部定位;对提取出来的人脸进行预处理,然后通过Canny鼻子和人脸形状模型相结合的Canny-AAM方法进行特征点定位;最后利用曲线拟合的方法进行特征提取.基于上述算法建立表情识别平台,经过大样本对实时表情识别验证,结果表明对于不同光照下的实时表情识别具有鲁棒性.     

Realistic mouth synthesis based on shape appearance dependence mapping

Mouth images are difficult to synthesize because they vary greatly according to different illumination, size and shape of mouth opening, and especially visibility of teeth and tongue. Conventional approaches such as manipulating 3D model or warping images do not produce very realistic animation. To overcome these difficulties, we describe a method of producing large variations of mouth shape and gray-level appearance using a compact parametric appearance model, which represents both shape and gray-level appearance. We find the high correlation between shape model parameters and gray-level model parameters, and design a shape appearance dependence mapping (SADM) strategy that converts one to the other. Once mouth shape parameters are derived from speech analysis, a proper full mouth appearance can be reconstructed with SADM. Some synthetic results of representative mouth appearance are shown in our experiments, they are very close to real mouth images. The proposed technique can be integrated into a speech-driven face animation system. In effect, SADM can synthesize not only the mouth image but also different kinds of dynamic facial texture, such as furrow, dimple and cheekbone shadows.     

Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis

3D face scans have been widely used for face modeling and analysis. Due to the fact that face scans provide variable point clouds across frames, they may not capture complete facial data or miss point-to-point correspondences across various facial scans, thus causing difficulties to use such data for analysis. This paper presents an efficient approach to representing facial shapes from face scans through the reconstruction of face models based on regional information and a generic model. A new approach for 3D feature detection and a hybrid approach using two vertex mapping algorithms, displacement mapping and point-to-surface mapping, and a regional blending algorithm are proposed to reconstruct the facial surface detail. The resulting models can represent individual facial shapes consistently and adaptively, establishing facial point correspondences across individual models. The accuracy of the generated models is evaluated quantitatively. The applicability of the models is validated through the application of 3D facial expression recognition using the static 3DFE and dynamic 4DFE databases. A comparison with the state of the art has also been reported.     

基于面部特征约束的人脸纹理映射及变形

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上,从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中,一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略,可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点;基于特征点,利用Delaunay三角剖分的方法将目标人脸转化为三角网格;采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标;在获得网格点纹理坐标后,就可以实现源人脸到目标人脸的映射。实验表明,该方法可以实现任意人脸间的映射,并能较好地保持人脸五官间的映射关系。     

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.     

改进的统计模型三维人脸特征点标定算法框架

自动三维人脸特征点标定是计算机视觉领域的研究热点,其广泛应用于人脸识别,人脸模型配准,表情识别,脸部动画等领域。通过对三维人脸样本统计建模,采用遗传算法对待匹配模型的生成数目进行参数优化,利用模型相似性匹配方法及其映射关系对三维人脸特征点进行自动标定。首先,对三维人脸数据预处理,然后对其统计建模并通过模型形变得到有映射关系的基准模型和待匹配模型。利用遗传算法对待匹配模型中的待匹配模型生成数目参数进行优化,生成与之对应的待匹配模型数;接着计算待测模型与待匹配模型的相似度。最后,利用模型相似度和模型映射关系,间接得到待测模型的特征点。实验结果表明,提出的算法是可行的,能够在一定程度上提高原有算法的效率。该算法可以自动标定三维人脸模型的特征点,当距离阈值为10像素时,39个三维人脸特征点定位的准确率都可以达到100%,并有效解决了传统方法中三维人脸模型平滑区域特征点精度不高的问题。     

多层次深度网络融合人脸识别算法*

深度学习模型可以获得更具有鉴别力的人脸特征,提高人脸识别性能.因此,文中结合深度学习思想,提出多层次深度网络融合特征提取模型.在深度子空间基础上,采用“卷积-池化”网络结构,在降低特征维度的同时保留图像纹理信息,并且获得局部转换鲁棒性.同时,利用人脸标定算法获得人脸特征点,并以此划分人脸区域为5个局部人脸块.基于多层次分类策略,利用全局人脸训练全局网络,完成测试样本预分类.利用局部人脸块训练局部网络,在候选类别中完成最终分类.实验表明,结合局部特征与全局特征的模型可以取得较好的识别率,对光照、表情、姿态,遮挡等影响因素具有较好的鲁棒性,并且加入池化层及两步判别的算法可以有效提高识别率.     

基于模型的头部运动估计和面部图像合成

文中讨论一种基于模型的头部运动估计和面部图像合成方法。首先建立了一个基于人脸几何模型的可变形三维面部模型,此模型可根据不同人脸图像特征修正特定人脸模型。为了使特定人脸模型与特定人脸图像相匹配,需根据变形模型修正人脸模型。文中采用自动调整与人机交互相结合的方法实现特定人脸模型匹配。在调整完模型形状之后,应用３个方向的面部图像进行纹理映射生成不同视点方向的面部图像。应用合成面部图像与输入面部图像最佳匹     

Real-time speech-driven face animation with expressions using neural networks

A real-time speech-driven synthetic talking face provides an effective multimodal communication interface in distributed collaboration environments. Nonverbal gestures such as facial expressions are important to human communication and should be considered by speech-driven face animation systems. In this paper, we present a framework that systematically addresses facial deformation modeling, automatic facial motion analysis, and real-time speech-driven face animation with expression using neural networks. Based on this framework, we learn a quantitative visual representation of the facial deformations, called the motion units (MUs). A facial deformation can be approximated by a linear combination of the MUs weighted by MU parameters (MUPs). We develop an MU-based facial motion tracking algorithm which is used to collect an audio-visual training database. Then, we construct a real-time audio-to-MUP mapping by training a set of neural networks using the collected audio-visual training database. The quantitative evaluation of the mapping shows the effectiveness of the proposed approach. Using the proposed method, we develop the functionality of real-time speech-driven face animation with expressions for the iFACE system. Experimental results show that the synthetic expressive talking face of the iFACE system is comparable with a real face in terms of the effectiveness of their influences on bimodal human emotion perception.     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

Three-dimensional cartoon facial animation based on art rules

Three-dimensional (3D) cartoon facial animation is one step further than the challenging 3D caricaturing which generates 3D still caricatures only. In this paper, a 3D cartoon facial animation system is developed for a subject given only a single frontal face image of a neutral expression. The system is composed of three steps consisting of 3D cartoon face exaggeration, texture processing, and 3D cartoon facial animation. By following caricaturing rules of artists, instead of mathematical formulations, 3D cartoon face exaggeration is accomplished at both global and local levels. As a result, the final exaggeration is capable of depicting the characteristics of an input face while achieving artistic deformations. In the texture processing step, texture coordinates of the vertices of the cartoon face model are obtained by mapping the parameterized grid of the standard face model to a cartoon face template and aligning the input face to the face template. Finally, 3D cartoon facial animation is implemented in the MPEG-4 animation framework. In order to avoid time-consuming construction of a face animation table, we propose to utilize the tables of existing models through model mapping. Experimental results demonstrate the effectiveness and efficiency of our proposed system.