视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

一个实用的人脸定制和表情动画编辑系统

介绍了一个简单而行之有效的特定人脸定制和表情动画的编辑系统，首先给定一个内嵌肌肉向量的一般人脸三维多边形网络模型并提供特定人脸的正侧面正交图象，然后采用snake技术自动适配人脸特征线，变分一般模型定制出三维虚拟人脸；接着再用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而生成高度真实感的虚拟特定人脸，由内嵌肌肉向量的参数化表示，通过编辑参数能赋予三维虚拟人脸各种丰富的表情。由于变分后人脸模型的拓扑不变，因此可用基于三角化的图象metamorphosis实现不同特定人脸间的三维morph，该系统能在廉价的PC平台上实现，其快速、简单而且具有真实感，具有很大的实用价值。     

人脸特征约束点的三维表情合成*

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

利用双线性分析的三维人脸表情模拟技术

具有真实感的三维人脸表情合成是计算机应用领域的一个热点问题.提出一种基于双线性分析的三维人脸表情生成方法.在对人脸数据进行分区域统计分析的基础上,建立了表情与身份相独立的双线性统计模型.设计了该模型的肌肉驱动方法,通过肌肉参数来驱动相应表情统计参数变化来生成丰富表情.对于输入的特定二维或三维人脸,利用形变模型(Morphable Model), 可自动实现其模型匹配.实验结果表明,该方法能够模拟各种具有较高真实感的人脸表情.     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于径向基函数的虚拟人脸合成方法

提出一种基于径向基函数的虚拟人脸合成方法.该方法根据正侧面图像获取人脸特征点的三维数据;利用基于径向基函数的散乱数据插值方法对通用人脸模型进行整体变形得到特定的人脸模型,并对模型进行Bezier磨光;将合成的人脸无缝拼接纹理图映射到特定的人脸模型.实验结果表明,合成的虚拟人脸具有较强的真实感.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.     

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.     

侧面人脸图像的识别方法

针对侧面人脸的识别问题提出了一种基于统计的方法。基于人脸正面和侧面图像的线性相关性假设,通过对样本的学习建立多变量线性退化模型求解出系数矩阵,从而由输入的人脸侧面照片合成得到其正面的图像。实验表明这种方法所获的正面像接近于真实的照片,且无需任何的辅助设备和先验知识,具有一定的实用性。     

基于多模型及SVM的单人脸跟踪系统

针对彩色视频中的人脸检测与跟踪问题，使用运动模型和自适应肤色模型，从图像中快速提取出人脸候选区，然后利用基于先验规则和SVM的方法进行确认。对于被确认的人脸，建立一个人脸状态记录表，通过位置预测，使用三步搜索法进行人脸区域色度特征匹配跟踪。实验表明，本文提出的方法，在复杂的环境中，能实时地、精度较高地跟踪自由运动的人脸。     

Pose-invariant face recognition using a 3D deformable model

The paper proposes a novel, pose-invariant face recognition system based on a deformable, generic 3D face model, that is a composite of: (1) an edge model, (2) a color region model and (3) a wireframe model for jointly describing the shape and important features of the face. The first two submodels are used for image analysis and the third mainly for face synthesis. In order to match the model to face images in arbitrary poses, the 3D model can be projected onto different 2D viewplanes based on rotation, translation and scale parameters, thereby generating multiple face-image templates (in different sizes and orientations). Face shape variations among people are taken into account by the deformation parameters of the model. Given an unknown face, its pose is estimated by model matching and the system synthesizes face images of known subjects in the same pose. The face is then classified as the subject whose synthesized image is most similar. The synthesized images are generated using a 3D face representation scheme which encodes the 3D shape and texture characteristics of the faces. This face representation is automatically derived from training face images of the subject. Experimental results show that the method is capable of determining pose and recognizing faces accurately over a wide range of poses and with naturally varying lighting conditions. Recognition rates of 92.3% have been achieved by the method with 10 training face images per person.     

面向虚拟交互展示的人脸合成方法

人脸合成由于会受到光线、环境背景、头的姿态等的影响,在实时互动合成时常常难以得到满意的结果。针对虚拟交互展示中人脸互动合成的需求,本文基于快速样本学习的人脸检测,采用基于人脸细化参数化模板的快速特征点定位,最后实现人脸快速合成算法,实时生成用于科技馆展示的不同参观者的完美脸型效果。     

人脸合成中模型的平滑调整和逼真的纹理映射

将薄平面样条函数用于人头模型的调整，使模型调整变得更加平滑、自然，并在纹理映射时，提出了基于模型分块的视角相关纹理映射的方法，该方法将模型分块并用每块对应的最清晰、非冗余的纹理对模型块做映射，使块与块之间形成的规则过渡带非常易于纹理融合，整个模型逐块地一次绘制完成，然后在模型中嵌入了抽象的人脸肌肉，合成出非常逼真的人脸表情动画．实验表明文中算法快速、简捷，合成的人脸图像细节清晰、逼真．     

基于一般人脸模型修改的特定人脸合成技术

目前计算机模拟领域中的人脸合成技术由于其广泛的应用前景得到了越来越多的重视,它可以用于人们语言感知模型研究、虚拟环境、通信技术、辅助教学、医疗研究、电影制作、游戏娱乐等诸多方面。由于在实现中人脸的千差万别,使一般人脸模型的个体化成为人脸合成中的一项关键技术。个体人脸的差异主要表现在不同的面部几何特征和纹理特征两方面。针对这两方面,在已知一般人脸中性模型与一般人脸基本表情模型基础上,根据特定人脸不同     

基于模型的头部运动估计和面部图像合成

文中讨论一种基于模型的头部运动估计和面部图像合成方法。首先建立了一个基于人脸几何模型的可变形三维面部模型,此模型可根据不同人脸图像特征修正特定人脸模型。为了使特定人脸模型与特定人脸图像相匹配,需根据变形模型修正人脸模型。文中采用自动调整与人机交互相结合的方法实现特定人脸模型匹配。在调整完模型形状之后,应用３个方向的面部图像进行纹理映射生成不同视点方向的面部图像。应用合成面部图像与输入面部图像最佳匹     

基于二维Gabor小波特征的三维人脸识别算法

分析三维人脸识别技术,提出一种基于Gabor小波特征的三维人脸识别算法。该算法采用二维Gabor小波特征精确且稳定地描述人脸特征,重建三维人脸模型并对其进行模板匹配,对匹配后的三维人脸模型进行线性判别分析。对基于ORL和UMIST两个人脸数据库的实验结果表明,该算法性能优良。     

人脸检测中眼睛精确定位的研究

人脸检测在许多应用中都是重要的一个处理阶段,例如人脸识别、电视会议、人机界面等。眼睛是一个在人脸检测中极为重要的人脸特征,因此一种快速可靠的精确定位眼睛的算法对许多实际的应用是十分重要的。该文提出了一种新颖的精确定位眼睛的方法,该方法由两部分组成:第一部分,通过人脸区域分割、五官定位、人脸确认三个步骤在复杂背景中进行人脸区域的检测;第二部分,在检测到人脸区域和眼睛大致位置的基础上,用一种新的椭圆检测算法精确定位眼睛虹膜的位置。实验证明该文所提出的算法是快速可靠的。