虚拟人“双簧”—与语音同步的三维人脸动画的研究

为了有效地合成人脸语音动画,提出一种与语音同步的三维人脸口型与表情动画合成的方法。首先,根据对人脸运动解剖学的研究,构建一个基于肌肉模型与微分几何学模型的三维人脸控制模型,通过数据结构的形式去控制肌肉模型和微分几何学模型实现人脸的运动,从而实现各种口型和表情运动的变化;然后,充分考虑汉语的发音特征,提出一种基于几何描述的并且符合汉语发音习惯的协同发音模型,从而产生逼真的三维人脸语音动画。仿真结果和实验对比表明,采用该方法可以得到符合汉语发音习惯的三维人脸口型动画,且合成的三维人脸表情较为自然,逼真。     

基于特征识别的3维人脸动画模型自动构造

针对3维人脸动画应用中,需要手工事先标定肌肉模型的控制点、工作区域和设置各种计算参数,造成工作量大、修改困难、移植性差等弊端,提出自动构造各种肌肉模型及确定它们计算参数的方法。研究工作包括:综合运用法向量变化率、高斯曲率、高斯纹理模型等参数研究3维人脸几何及纹理特征的快速检测方法;设计基于邻域生长和候选点聚类分析的识别算法来识别人脸五官部位的特征点;在此基础上,自动确定各种肌肉模型的位置结构、工作区域和计算参数,实现人脸动画所需的肌肉模型构造和装配的自动化。应用工作结果表明,基于特征识别的3维人脸动画肌肉模型自动构造方法移植性好、精度较高,提高了动画建模工作的效率。     

基于特征点的人脸模型调整方法探讨

基于特征点的三维人脸模型调整．是利用标准人脸的网格模型生成特定人脸模型的重要步骤，该方法已在人脸识别、虚拟现实、表情动画等多方面的应用中取得了良好效果。本文介绍了网格模型及其调整，对利用模型特征点进行非特征点自动调整的方法进行了具体的分类和分析，并对该方法的进一步发展和应用进行了展望。     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

基于机构学和肌肉模型的单视频驱动人脸情感表达仿真

描述一种3维人脸模型的单视频驱动方法。该方法在传统肌肉模型的基础上,根据嘴部运动特性采用机构学原理建立嘴部运动控制模型,通过视频图像序列跟踪得到特征点的运动规律曲线,进而驱动眼部、嘴部及面部其他部分的网格点运动,产生具有真实感的面部表情动作。仿真结果表明,采用此方法可以得到逼真的人脸表情模拟动画。     

基于形变模型的真实感三维人脸动画研究

论文提出了一种新的基于三维人脸形变模型,并兼容于MPEG-4的三维人脸动画模型。采用基于均匀网格重采样的方法建立原型三维人脸之间的对齐,应用MPEG-4中定义的三维人脸动画规则,驱动三维模型自动生成真实感人脸动画。给定一幅人脸图像,三维人脸动画模型可自动重建其真实感的三维人脸,并根据FAP参数驱动模型自动生成人脸动画。     

基于机器学习的语音驱动人脸动画方法

语音与唇动面部表情的同步是人脸动画的难点之一.综合利用聚类和机器学习的方法学习语音信号和唇动面部表情之间的同步关系,并应用于基于MEPG-4标准的语音驱动人脸动画系统中.在大规模音视频同步数据库的基础上,利用无监督聚类发现了能有效表征人脸运动的基本模式,采用神经网络学习训练,实现了从含韵律的语音特征到人脸运动基本模式的直接映射,不仅回避了语音识别鲁棒性不高的缺陷,同时学习的结果还可以直接驱动人脸网格.最后给出对语音驱动人脸动画系统定量和定性的两种分析评价方法.实验结果表明,基于机器学习的语音驱动人脸动画不仅能有效地解决语音视频同步的难题,增强动画的真实感和逼真性,同时基于MPEG-4的学习结果独立于人脸模型,还可用来驱动各种不同的人脸模型,包括真实视频、2D卡通人物以及3维虚拟人脸.     

人脸建模和动画的基本技术

文中讨论了通过人脸的正向和侧面照片构造头部的三维模型,并赋予其简单动画的基本技术,基于此技术,实现了一个交互式人脸建模和动画的工具,详细阐述了在系统实现过程中应用到的人脸几何表示,由一般人脸变化到特定人脸,弹性网格,肌肉模型,关键,帧和表情提取等技术。     

与语速相关的人脸语音动画合成及其评估

为了有效地合成人脸语音动画,根据对唇区肌肉收缩力与语速关系的分析,以及在对皮肤肌肉组织的粘弹性力学进行研究的基础上,提出了一种新的基于不同语速的唇动模型,并将其应用在了汉语人脸语音动画系统中。该模型根据获得的肌肉收缩力与语速的关系,并通过对皮肤肌肉组织的粘弹性分析,首先得到了语速、唇动速度与唇动位移三者之间的关系,并建立了不同语速下的唇动模型;然后通过这个唇动模型合成了不同语速状态下的具有较高自然度和个性化的人脸语音动画;最后,通过设计感知学评估实验,对合成的语音动画的效果和可理解性进行了评估。实验结果表明,该模型可以合成较高可接受性和可理解性的不同语速状态下的人脸语音动画。     

全自动的基于MPEG-4的任意拓扑结构人脸动画

构造任意拓扑结构人脸网格的人脸动画定义表是基于MPEG-4的任意拓扑结构人脸动画系统的关键．通过搜索三维模型的二维纹理图像特征，提出一种自动地在任意拓扑结构三维人脸模型上定位特征点的方法．通过利用任意拓扑结构人脸模型上的三维特征点变形标准人脸模型，并根据标准人脸模型的动画定义表，实现了自动、准确地构造任意拓扑结构人脸模型动画定义表的方法．给定一个任意拓扑结构三维人脸模型，通过文中方法可以全自动地驱动所给人脸模型做动画．     

从正面侧照片合成三维人脸

实现了一具交互式人脸建模和动画的工具,用户可以从一个人正面和侧面的照片构造了出头部的三维模型,并基于这个模型实现特定表情和简单的动画。详细阐述在系统实现过程中应用到的人脸几何表示,一般人脸变化到特定人脸、弹性网格、肌肉模型、全视角巾图、表情提取等技术。     

借助弹性框架模型实现面部图像的变形

在ＣｏｍｐｕｔｅｒＡｎｉｍａｔｉｏｎ及图像传输方面，已有面部模型化的尝试，然而，由于面部因人而异且因变形而产生表情的微妙变化，自动地识别并将其合成并不容易。本文借助力学原理，建构了基于面部的表情肌组织的弹性框架模型（ＳｐｒｉｎｇＦｒａｍｅＭｏｄｅｌ），并在此模型的基础上，通过计算机模拟，进行了带有表情的面部图像变形的有效尝试。     

一个实用的人脸定制和表情动画编辑系统

介绍了一个简单而行之有效的特定人脸定制和表情动画的编辑系统，首先给定一个内嵌肌肉向量的一般人脸三维多边形网络模型并提供特定人脸的正侧面正交图象，然后采用snake技术自动适配人脸特征线，变分一般模型定制出三维虚拟人脸；接着再用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而生成高度真实感的虚拟特定人脸，由内嵌肌肉向量的参数化表示，通过编辑参数能赋予三维虚拟人脸各种丰富的表情。由于变分后人脸模型的拓扑不变，因此可用基于三角化的图象metamorphosis实现不同特定人脸间的三维morph，该系统能在廉价的PC平台上实现，其快速、简单而且具有真实感，具有很大的实用价值。     

Embedded Implicit Stand-Ins for Animated Meshes: A Case of Hybrid Modelling

In this paper, we address shape modelling problems, encountered in computer animation and computer games development that are difficult to solve just using polygonal meshes. Our approach is based on a hybrid-modelling concept that combines polygonal meshes with implicit surfaces. A hybrid model consists of an animated polygonal mesh and an approximation of this mesh by a convolution surface stand-in that is embedded within it or is attached to it. The motions of both objects are synchronised using a rigging skeleton. We model the interaction between an animated mesh object and a viscoelastic substance, which is normally represented in an implicit form. Our approach is aimed at achieving verisimilitude rather than physically based simulation. The adhesive behaviour of the viscous object is modelled using geometric blending operations on the corresponding implicit surfaces. Another application of this approach is the creation of metamorphosing implicit surface parts that are attached to an animated mesh. A prototype implementation of the proposed approach and several examples of modelling and animation with near real-time preview times are presented.     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

A new physical model with multilayer architecture for facial expression animation using dynamic adaptive mesh

This paper presents a new physically-based 3D facial model based on anatomical knowledge which provides high fidelity for facial expression animation while optimizing the computation. Our facial model has a multilayer biomechanical structure, incorporating a physically-based approximation to facial skin tissue, a set of anatomically-motivated facial muscle actuators, and underlying skull structure. In contrast to existing mass-spring-damper (MSD) facial models, our dynamic skin model uses the nonlinear springs to directly simulate the nonlinear visco-elastic behavior of soft tissue and a new kind of edge repulsion spring is developed to prevent collapse of the skin model. Different types of muscle models have been developed to simulate distribution of the muscle force applied on the skin due to muscle contraction. The presence of the skull advantageously constrain the skin movements, resulting in more accurate facial deformation and also guides the interactive placement of facial muscles. The governing dynamics are computed using a local semi-implicit ODE solver. In the dynamic simulation, an adaptive refinement automatically adapts the local resolution at which potential inaccuracies are detected depending on local deformation. The method, in effect, ensures the required speedup by concentrating computational time only where needed while ensuring realistic behavior within a predefined error threshold. This mechanism allows more pleasing animation results to be produced at a reduced computational cost.     

基于参数模型和肌肉模型的面部动画研究

具有真实感的三维面部模型的构造和动画模拟是当前三维图形图像领域的研究热点及难点之一.在参数模型和肌肉模型的基础上,提出了一种新的面部动画混合模型,该模型结合了两种模型思想和处理方法.同时,还给出了模型的层次化结构,网格的变形算法思想以及系统实现的具体框架.     

Expression modeling—a boundary element approach

Popular techniques for modeling facial expression usually rely on the shape blending of a series of pre-defined facial models, the use of feature parameters, or the use of an anatomy based facial model. This requires extensive user interaction to construct the pre-defined facial model, the deformation functions, or the anatomy based facial model. Besides, existing anatomy based facial modeling techniques are targeted for human facial model and may not be used directly for non-human like character models. This paper presents an intuitive technique for the design of facial expressions using a physics based deformation approach. The technique does not require specifying the deformation function associated with facial feature parameters, and does not require a detail anatomical model of the head. By adjusting the contraction or relaxation of a set of facial muscles, different facial expressions can be obtained. Facial muscles and skin are assumed to be linearly elastic. The boundary element method (BEM) is adopted for evaluating deformation of the facial skin. This avoids the use of volumetric elements as in the case of finite element method (FEM) or the setting up of complex mass–spring models. Given a polygon mesh of a facial model, a closed volume of the facial mesh is obtained by offsetting the polygon mesh according to a user defined depth map. Each facial muscle is approximated with a series of muscle polygons on the mesh surface. Deformation of the facial mesh is attained by stretching or compressing the muscle polygons. By pre-computing the inverse of the stiffness matrix, interactive editing of facial expression can be achieved.