基于MPEG-4的人脸动画技术研究

MPEG-4提出的基于对象的编码格式，将人脸作为一个特殊的对象，为人脸建模和动画研究奠定了基础。本文通过对MPEG-4人脸动画标准的分析，提出基于MPEG-4人脸动画系统的设计思想和需解决的关键问题。     

人脸建模和动画技术的发展

人脸建模和动画技术是当今计算机图形学和计算机视觉领域中非常热门的研究课题，其应用包括电脑游戏、虚拟现实、视频通信、电影、编码、人脸识别和人机交互，回顾了国际上近年来在这方面丰富的研究成果。     

人脸建模与动画的研究

1.引言人脸建模与动画(face modeling and animation)是计算机图形学中最富有挑战性的课题之一。这是因为:首先,人脸的几何形状非常复杂,其表面不但具有无数细小的皱纹,而且呈现颜色和纹理的微妙变化,因此建立精确的人脸模型、生成真实感人脸非常困难;其次,脸部运动是骨骼、肌肉、皮下组织和皮肤共同作用的结果,其运动机理非常复杂,因此生成真实感人脸动画非常困难;另外,我们人类生来就具有一种识别和     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

Autonomous pedestrians

We address the challenging problem of emulating the rich complexity of real pedestrians in urban environments. Our artificial life approach integrates motor, perceptual, behavioral, and cognitive components within a comprehensive model of pedestrians as individuals. Featuring innovations in these components, as well as in their combination, our model yields results of unprecedented fidelity and complexity for fully autonomous multihuman simulation in a large urban environment. We represent the environment using hierarchical data structures, which efficiently support the perceptual queries that influence the behavioral responses of the autonomous pedestrians and sustain their ability to plan their actions on local and global scales.     

Kinect驱动的人脸动画合成技术研究

三维人脸动画合成技术可以应用于虚拟现实、角色控制等多个领域。为此,提出一种基于Kinect的人脸动画合成方法。人脸跟踪客户端利用Kinect对用户的脸部表情进行跟踪识别,得到人脸表情动画参数,通过socket发送给人脸动画合成服务器,由人脸动画合成服务器查找基于MPEG-4标准的人脸动画定义表,控制人脸模型的变形,从而实时合成与用户表情相对应的三维人脸动画。实验结果表明,该方法能够在满足实时性要求的条件下合成高质量的三维人脸动画,同现有技术相比,结构简单、容易部署且具有较好的可扩展性。     

基于语音情感识别的多表情人脸动画方法

基于MPEG-4标准,实现了一种由彩铃语音及蕴含情感共同驱动生成人脸动画的方法和系统．选用HMM作为分类器,训练使其识别语音库中嗔怒、欣喜、可爱、无奈和兴奋5类情感,并对每类情感建立一组与之对应的表情人脸动画参数（FAP）．分析语音强弱得到综合表情函数,并用此函数融合表情FAP与唇动FAP,实现人脸表情多源信息合成,得到综合FAP驱动人脸网格生成动画．实验结果表明,彩铃语音情感识别率可达94．44％,该系统生成的人脸动画也具有较高的真实感．     

基于MPEG-4和PCA的人脸动画合成方法

三维人脸动画技术融合了多通道交互技术和多功能感知技术,在虚拟现实、虚拟主持人、虚拟会议、辅助教学、医疗研究、电影制作、游戏娱乐等很多领域有广泛的应用。文章分析了基于MPEG-4标准的人脸动画合成方法,并针对其在实际过程中产生的两个问题,包括人脸模式太多和局部调整带来的影响,分别采用聚类和主成分分析(PCA)的方法进行改进。实验表明基于PCA来解决局部调整人脸模式的方法可以部分实现动画过程中表情的表达,从而极大地提高了人脸动画合成的可操作性。     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

Facial animation based on context-dependent visemes

This paper presents a novel approach for the generation of realistic speech synchronized 3D facial animation that copes with anticipatory and perseveratory coarticulation. The methodology is based on the measurement of 3D trajectories of fiduciary points marked on the face of a real speaker during the speech production of CVCV non-sense words. The trajectories are measured from standard video sequences using stereo vision photogrammetric techniques. The first stationary point of each trajectory associated with a phonetic segment is selected as its articulatory target. By clustering according to geometric similarity all articulatory targets of a same segment in different phonetic contexts, a set of phonetic context-dependent visemes accounting for coarticulation is identified. These visemes are then used to drive a set of geometric transformation/deformation models that reproduce the rotation and translation of the temporomandibular joint on the 3D virtual face, as well as the behavior of the lips, such as protrusion, and opening width and height of the natural articulation. This approach is being used to generate 3D speech synchronized animation from both natural and synthetic speech generated by a text-to-speech synthesizer.     

应用Cult3D技术实现交互式三维人脸动画

介绍一种新的Web3D实现技术Cult3D,对比了其与VRML在实现网络三维图形技术上的优越性,着重论述了如何使用Cult3D技术并结合照片建模工具实现网络环境下的交互式三维人脸动画。     

人脸表情的形变线性拟合方法

提出了用于人脸表情合成的形变线性拟合方法. 该方法利用人脸图像形变模型线性组合逼近的基本思想, 确定合成表情图像的形状信息和纹理信息, 其步骤简单, 容易实现. 该方法能有效地从中性表情人脸图像合成出具有表情的图像, 并且得到的人脸表情自然、逼真、具有说服力. 更为重要的是, 该方法能从闭着嘴的中性表情人脸图像合成出具有张开嘴露出牙齿效果的人脸表情图像, 克服了当前大多数人脸表情合成方法不能实现这一效果的不足.     

The virtual stuntman: dynamic characters with a repertoire of autonomous motor skills

An ambitious goal in the area of physics-based computer animation is the creation of virtual actors that autonomously synthesize realistic human motions and possess a broad repertoire of lifelike motor skills. To this end, the control of dynamic, anthropomorphic figures subject to gravity and contact forces remains a difficult open problem. In this paper, we report on our ongoing development of a virtual stuntman, a dynamic graphical character that possesses a nontrivial repertoire of lifelike motor skills. The repertoire includes basic actions such as balance, protective stepping when balance is disturbed, protective arm reactions when falling, multiple ways of rising upright after a fall, and several more vigorously dynamic motor skills. Our virtual stuntman is the product of a recently proposed framework for integrating motor controllers, which includes among other ingredients an explicit model of pre-conditions; i.e., those regions of a dynamic figure's state space within which a given motor controller is applicable and expected to work properly.     

面部表情捕捉技术的发展和应用

面部表情作为一种非常重要的非语言符号,在影视行业中一直受十分重视,面部表情捕捉技术也是近十几年被人们热衷研究的方向.本文综述面部表情捕捉技术的原理、发展和应用.通过影视工业中的具体影视作品来展示动作捕捉技术从萌芽诞生到面部表情捕捉技术的成熟所走过的一个世纪,以及在影视工业中所起到重要作用.最后展望面部表情捕捉技术未来在...     

Internet环境下漫游系统中的视点控制技术

在研究了基于Web的虚拟真实漫游系统的应用前景的基础上,利用VRML的网络特性以及内置接口语言Java和JavaScript,对系统中的视点绑定、视点动画交互等关键技术进行了详细的阐述,并给出了相应的VRML程序。     

基于自由形状变形的三维人脸表情控制

人脸表情控制是生物特征识别研究的重要内容,本文提出了一种基于MPEG-4中FAP、FAT标准进行三维人脸表情合成的方法。首先对人脸进行关键点定义和区域分割,然后使用面向表面的自由形状变形方法(SOFFD)生成人脸表情。在特定人脸表情生成过程中,使用了基表情的比例合成方法。实验表明,该方法可以有效地合成各种真实的人脸表情。     

Device-based decision-making for adaptation of three-dimensional content

The goal of this research was the creation of an adaptation mechanism for the delivery of three-dimensional content. The adaptation of content, for various network and terminal capabilities – as well as for different user preferences, is a key feature that needs to be investigated. Current state-of-the art research of the adaptation shows promising results for specific tasks and limited types of content, but is still not well-suited for massive heterogeneous environments. In this research, we present a method for transmitting adapted three-dimensional content to multiple target devices. This paper presents some theoretical and practical methods for adapting three-dimensional content, which includes shapes and animation. We also discuss practical details of the integration of our methods into MPEG-21 and MPEG-4 architectures.     

全自动的基于MPEG-4的任意拓扑结构人脸动画

构造任意拓扑结构人脸网格的人脸动画定义表是基于MPEG-4的任意拓扑结构人脸动画系统的关键．通过搜索三维模型的二维纹理图像特征，提出一种自动地在任意拓扑结构三维人脸模型上定位特征点的方法．通过利用任意拓扑结构人脸模型上的三维特征点变形标准人脸模型，并根据标准人脸模型的动画定义表，实现了自动、准确地构造任意拓扑结构人脸模型动画定义表的方法．给定一个任意拓扑结构三维人脸模型，通过文中方法可以全自动地驱动所给人脸模型做动画．     

MPEG—4中脸部动画参数和序列重绘的肌肉模型

MPEG－4中定义了“人脸对象”这样一种特殊的视频对象,并通过脸部动画参数FAP和脸部定义参数FDP来对这类对象进行编码,以实现极低码率的视频编码。通过对MPEG－4中“人脸对象”这类视频码流的句法结构和参数编码方法的详细分析。以及通过对MEPG－4解码器图象重绘（rendering)过程的研究,在Waters的以肌肉收缩强度为参数的肌肉模型基础上,提出了更适应于MPEG－4参数的位移控制肌肉模型（displacement-controlling muscle model),从而实现了通过利用MEPG－4码流中的FAP和FDP参数来重建自然表情的人脸视频序列。     

面向纹理特征的真实感三维人脸动画方法

纹理变化是人脸表情的重要组成部分,传统的人脸动画方法通常只是对纹理图像做简单的拉伸变换,没有考虑人脸细微纹理特征的变化,比如皱纹、酒窝等,该文提出了一种面向纹理特征变化的真实感三维人脸动画方法．给出局部表情比率图(Partial Expression Ratio Image,PERI)的概念及其获取方法,在此基础上,进一步给出了面向MPEG-4的PERI参数化与面向三维人脸动画的多方向PERI方法,前者通过有机结合MPEG-4的人脸动画参数(Facial Anlmation Parameter,FAP),实现人脸动画中细微表情特征的参数化表示;后者通过多方向PERI纹理特征调整方法,使得三维人脸模型在不同角度都具有较好的细微表情特征,该文提出的方法克服了传统人脸动画只考虑人脸曲面形变控制而忽略纹理变化的缺陷,实现面向纹理变化的具有细微表情特征的真实感三维人脸动画,实验表明,该文提出的方法能有效捕捉纹理变化细节,提高人脸动画的真实感。