基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

人脸表情动画

人脸表情动画是计算机动画研究的一个重要分支．它有着十分广泛的应用前景。本文评述了国内外人脸表情动画方法和技术研究现状，提出了进一步需要解决的问题。并针对真人脸表情点提取难题给出了一个有效的特别的解决方案。     

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.     

人脸表情动画与语音的典型相关性分析

表情动画作为语音驱动人脸动画的一部分,在增加人脸动画逼真性方面起着重要的作用,但已有的工作没有定量分析人脸表情动画与语音之间的关系.文中通过研究人脸表情动画与语音的相关性,采用典型相关性分析方法(CCA)定量分析两者之间的内在联系,得出这些关系直观的量化的结论.首先计算人脸表情动画与语音的典型相关性系数,衡量两者的相关...     

基于文本驱动的人脸表情动画系统

人脸表情动画是计算机图形学的重要研究领域之一,在影视和游戏中的虚拟人的应用促进了它的发展,它主要研究若干种典型表情的产生以及利用已有表情产生中间过渡表情。本文主要介绍了表情动画的研究现状,并且设计实现了基于文本驱动的人脸表情变化系统。     

支持表情细节的语音驱动人脸动画

针对语音驱动人脸动画中如何生成随语音运动自然呈现的眨眼、抬眉等表情细节以增强虚拟环境的沉浸感的问题,提出一种可以合成表情细节的语音驱动人脸动画方法.该方法分为训练与合成2个阶段.在训练阶段,首先对富有表情的三维人脸语音运动捕获数据特征进行重采样处理,降低训练数据量以提升训练效率,然后运用隐马尔可夫模型(HMM)学习表情人脸语音运动和同步语音的关系,同时统计经过训练的HMM在训练数据集上的合成余量;在合成阶段,首先使用经过训练的HMM从新语音特征中推断与之匹配的表情人脸动画,在此基础上,根据训练阶段计算的合成余量增加表情细节.实验结果表明,文中方法比已有方法计算效率高,合成的表情细节通过了用户评价验证.     

多表情源的人脸表情合成技术

提出了基于一个局部约束偏移和相对偏移技术的图像变形方法,用于人脸表情合成．该方法可以自动克服目前表情合成方法的非特征区域的形变,并与脸型外观相匹配．在此基础上,提出了基于多表情源的人脸表情合成技术．从人脸图像划分出三个主要表现表情的区域,并对每个区域根据多个表情源的加权平均的相对偏移量进行图像局部变形,最后利用加权平均的表情比图像加强表情．实验结果表明,用该方法得到的人脸表情自然逼真,更为重要的是,通过调节权向量的取值,可以取得不同模式的表情,丰富了表情表现的内涵．     

快速人脸动画方法

本文介绍了一种简单有效的由单幅人脸照片生成人脸变形动画的方法．首先，根据一张人脸正面的照片，使用特征识别的方法生成人脸模型，然后使用模型关键表情插值法产生人脸变形动画．这种方法的优点在于只需要一张人脸正面照片，在更低的硬件条件下达到或接近其他方法生成的人脸动画效果。     

基于物理模型的人脸表情动画技术研究

用计算机建立人脸表情动画是当前计算机图形学研究领域的一个富有挑战性的课题，该文在总结了国内外有关该课题研究方法的基础上，提出了一种基于物理模型的人脸表情画生成算法，并依该算法计和开发了一个实际的人脸表情动画系统HUFACE。该算法将人的脸部模拟为一个弹性体，为使计算简化，又将人脸表面依其生理特性分为八个子块，脸部表情所产生的五官动作模拟为弹性体的形变，并建立相应的弹性形变模型，当脸部表情引起脸部各子块形变时，每个子块上的各点将发生位移，于是利用该模型计算这些点的位移量，由此获得表情动画中的每一帧画面，由于脸部动作由该形变模型控制，且计算简单，速度快，因此不需存储表情动画中的各个画面，提高了系统的效率，实验结果表明，由HUFACE系统生成的人脸表情真实，自然。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

三维人脸捕获建模和动画技术综述

从历史发展和当前的研究现状的角度对三维人脸建模和动画算法进行综述,通过对三维捕获、参数化人脸建模和动画、表情克隆等问题及其典型算法的基本原理、优缺点等的分析,对它们的特性进行描述和比较.展望进一步值得研究的问题和方向.以期读者对三维人脸建模和动画的主流技术有较全面的了解,并对未来的研究工作有所帮助.     

Performance‐driven muscle‐based facial animation

We describe a system to synthesize facial expressions by editing captured performances. For this purpose, we use the actuation of expression muscles to control facial expressions. We note that there have been numerous algorithms already developed for editing gross body motion. While the joint angle has direct effect on the configuration of the gross body, the muscle actuation has to go through a complicated mechanism to produce facial expressions. Therefore,we devote a significant part of this paper to establishing the relationship between muscle actuation and facial surface deformation. We model the skin surface using the finite element method to simulate the deformation caused by expression muscles. Then, we implement the inverse relationship, muscle actuation parameter estimation, to find the muscle actuation values from the trajectories of the markers on the performer's face. Once the forward and inverse relationships are established, retargeting or editing a performance becomes an easy job. We apply the original performance data to different facial models with equivalent muscle structures, to produce similar expressions. We also produce novel expressions by deforming the original data curves of muscle actuation to satisfy the key‐frame constraints imposed by animators.Copyright © 2001 John Wiley & Sons, Ltd.     

Speech-driven facial animation with spectral gathering and temporal attention

In this paper, we present an efficient algorithm that generates lip-synchronized facial animation from a given vocal audio clip. By combining spectral-dimensional bidirectional long short-term memory and temporal attention mechanism, we design a light-weight speech encoder that learns useful and robust vocal features from the input audio without resorting to pre-trained speech recognition modules or large training data. To learn subject-independent facial motion, we use deformation gradients as the internal representation, which allows nuanced local motions to be better synthesized than using vertex offsets. Compared with state-of-the-art automatic-speech-recognition-based methods, our model is much smaller but achieves similar robustness and quality most of the time, and noticeably better results in certain challenging cases.     

Surface detail capturing for realistic facial animation

In this paper, a facial animation system is proposed for capturing both geometrical information and illumination changes of surface details, called expression details, from video clips simultaneously, and the capture ddata can be widely applied to different 2D face images and 3D face models. While tracking the geometric data, we record the expression details by ratio images. For 2D facial animation synthesis, these ratio images are used to generate dynamic textures. Because a ratio image is obtained via dividing colors of an expressive face by those of a neutral face, pixels with ratio value smaller than one are where a wrinkle or crease appears. The refore, thegradients of the ratio value at each pixel in ratio images are regarded as changes of a face surface, and original normals on the surface can be adjusted according to these gradients. Based on this idea, we can convert the ratio images into a sequence of normal maps and then apply them to animated 3D model rendering. With the expression detail mapping, the resulted facial animations are more life-like and more expressive.     

计算机人脸表情动画技术综述

真实感的计算机人脸表情动画是计算机图形学领域最基本的问题之一。由于其具有广阔的应用前景,引起了越来越多的研究者的关注与极大的兴趣。针对近几十年来该领域的发展状况,对计算机人脸表情动画技术进行综述。通过将人脸表情动画技术分为基于几何学的方法和基于图像的方法,详细阐述并比较了相关的研究成果,分析和讨论了它们的优缺点,并对人脸表情动画技术的未来发展进行了展望。     

人脸动画中语音可视化算法研究进展

从人脸动画合成技术的发展、特点及应用出发,介绍了五种主要的人脸动画合成技术,重点对语音驱动的人脸动画中矢量量化、高斯混合模型、神经网络、隐马尔可夫等四种语音可视化算法的特点进行了对比分析,展望了语音可视化算法的发展与应用前景。 [关键词]：人脸动画;语音可视化     

语音驱动的人脸动画研究现状综述

利用语音来驱动人脸动画,是虚拟现实（Virtual Reality）等领域重要的智能技术,近年来虚拟现实技术的飞速发展更进一步地突出了在沉浸环境下的人机自然交流的迫切需求。语音驱动的人脸动画技术能够创造出自然生动、带有情感的动画,相对于传统预设的人脸动画而言能够更好地辅助人机交互、提升用户体验。为推进该技术的智能化程度和应用,针对语音驱动人脸动画的关键问题：音视频映射,综述了逐帧分析、多帧分析和逐音素分析的映射方法,同时也梳理了多种脸部模型的思想,动画合成、情感融合、人脸动画评价的方法,及可能的研究发展方向。     

面向移动数字娱乐的卡通人脸动画系统

给出了一个移动平台下的卡通人脸动画系统,其输入是一张二维真实人脸照片和一段文本,输出为具有娱乐效果的手机卡通人脸动画。首先,根据输入的照片生成人物的卡通肖像,采用了基于特征发现的卡通人脸肖像生成方法。其次,在卡通肖像的基础上结合文本驱动产生卡通人脸动画。最后,将系统移植到移动平台,在手机上播放卡通人脸动画,该系统在局域网和PDA上具有很好的娱乐动画效果。     

Lightweight wrinkle synthesis for 3D facial modeling and animation

We present a lightweight non-parametric method to generate wrinkles for 3D facial modeling and animation. The key lightweight feature of the method is that it can generate plausible wrinkles using a single low-cost Kinect camera and one high quality 3D face model with details as the example. Our method works in two stages: (1) offline personalized wrinkled blendshape construction. User-specific expressions are recorded using the RGB-Depth camera, and the wrinkles are generated through example-based synthesis of geometric details. (2) Online 3D facial performance capturing. These reconstructed expressions are used as blendshapes to capture facial animations in real-time. Experiments on a variety of facial performance videos show that our method can produce plausible results, approximating the wrinkles in an accurate way. Furthermore, our technique is low-cost and convenient for common users.