基于模型的面部图像生成方法

在人脸部件几何特征及肌肉运动模型的基础上,本文提出了一种二维面部图像的生成方法。该方法采用特征网络模型精确地描述人脸部件,将网络上轮廓特征点的相对位移作为面部图像变形及表情综合的参数,并通过面部整合模型控制各部件之间相互作用关系及人脸轮廓变化。实验证明该方法产生的面部变形图像比较精确,表情效果也很自然。     

疲劳表情识别的研究与仿真

研究疲劳状态的表情识别问题.针对当人体处在疲惫状态与常规表情中的人脸面部特征变化不是很明显,在普通状态下的面部表情差别不大.传统的表情识别算法很难准确高效的识别.为提高识别率,提出了关联面部特征的表情识别方法.首先对人脸主要图像进行特征检测,然后建立特征集,根据特征向量之间的变化将细节特征向量进行有效联系,克服传统方法的弊端,根据微小的关联变化完成表情识别.实验结果表明,方法的能够对面部特征细微变化下的人脸图像进行有效的疲惫表情识别,提高了识别的准确度.     

面向纹理特征的真实感三维人脸动画方法

纹理变化是人脸表情的重要组成部分，传统的人脸动画方法通常只是对纹理图像做简单的拉伸变换，没有考虑人脸细微纹理特征的变化，比如皱纹、酒窝等，该文提出了一种面向纹理特征变化的真实感三维人脸动画方法．给出局部表情比率图(Partial Expression Ratio Image，PERI)的概念及其获取方法，在此基础上，进一步给出了面向MPEG-4的PERI参数化与面向三维人脸动画的多方向PERI方法，前者通过有机结合MPEG-4的人脸动画参数(Facial Anlmation Parameter，FAP)，实现人脸动画中细微表情特征的参数化表示；后者通过多方向PERI纹理特征调整方法，使得三维人脸模型在不同角度都具有较好的细微表情特征,该文提出的方法克服了传统人脸动画只考虑人脸曲面形变控制而忽略纹理变化的缺陷，实现面向纹理变化的具有细微表情特征的真实感三维人脸动画，实验表明，该文提出的方法能有效捕捉纹理变化细节，提高人脸动画的真实感。     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

基于拉普拉斯算子的人脸表情克隆优化方法

针对人脸克隆表情的真实性和表情重建的效率,提出了一种基于运动捕捉数据的人脸表情克隆新方法。使用运动捕捉设备捕捉人脸六种基本表情数据,并对数据进行归一化处理,使其位于同一区间范围,保证克隆表情数据的有效性;在表现人脸表情的关键区域选取41个特征点,通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上,很好保留了人脸表情的细节,克服了均一权值保真度低和余切权值计算不稳定的问题。实验结果表明,该方法合成的克隆表情真实、自然,人脸表情克隆的效率得到了显著提高。     

基于特征流的面部表情运动分析及应用

面部表情的分析与识别,不但在社会生活中具有普遍意义,而且在计算机的情感计算方面也起着有重要作用.关于表情运动特征的分析,有根据人脸面部几何结构特征的变化来分析的,有根据特征脸的概念定义的"表情空间"来分析的,也有从特征点跟踪的方法或运动模板的角度来分析的.基于人脸面部物理-几何结构模型,提取面部表情特征区域,通过动态图像序列中的光流估计,计算其运动场,进而计算特征流向量,把一组图像序列的运动向量组成运动特征序列,对表情的运动进行分析.该系统作为一个智能体应用到多功能感知机中,作为视频通道输入的一部分来理解人类的体势语言信息.     

虚拟特定人脸的表情合成技术

通过对一般人脸网格的变形和纹理映射，使得虚拟人脸与真实人脸达到了形似；通过对人脸面部肌肉分布的研究，运用肌肉驱动技术合成了人脸的表情，使得虚拟人脸与真实人脸达到神似；从而合成了具有真实感的形神兼备的虚拟人脸。     

基于机器学习的语音驱动人脸动画方法

语音与唇动面部表情的同步是人脸动画的难点之一.综合利用聚类和机器学习的方法学习语音信号和唇动面部表情之间的同步关系,并应用于基于MEPG-4标准的语音驱动人脸动画系统中.在大规模音视频同步数据库的基础上,利用无监督聚类发现了能有效表征人脸运动的基本模式,采用神经网络学习训练,实现了从含韵律的语音特征到人脸运动基本模式的直接映射,不仅回避了语音识别鲁棒性不高的缺陷,同时学习的结果还可以直接驱动人脸网格.最后给出对语音驱动人脸动画系统定量和定性的两种分析评价方法.实验结果表明,基于机器学习的语音驱动人脸动画不仅能有效地解决语音视频同步的难题,增强动画的真实感和逼真性,同时基于MPEG-4的学习结果独立于人脸模型,还可用来驱动各种不同的人脸模型,包括真实视频、2D卡通人物以及3维虚拟人脸.     

人脸面部表情自动生成系统

详细介绍开发一个人脸面部表情自动生成系统所用到的相关技术,包括人脸三维建模、面部表情合成、系统用户界面实现等技术。系统开发的目的是建立一个具有真实感和实用性的三维人脸面部表情自动生成系统,其中,三维人脸建模技术包括3DMAX使用关键技术以及人脸特征提取技术,基于人脸建模的表情生成技术主要介绍通过肌肉运动来描述表情的技术,系统界面的设计采用MFC技术。对各技术全面而系统的介绍,将为人脸面部表情自动生成系统的开发与实现提供一个有效途径,为系统的应用者提供便利。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

人脸表情识别研究进展

人脸表情识别(Facial Expression Recognition,FER)是计算机视觉、机器学习、人工智能等领域的重要研究方向,目前已经成为国内外学者的研究热点。介绍了FER系统流程,总结了表情特征提取和表情分类的常用方法以及近年来国内外学者对这些方法的改进,并对这些方法的优缺点进行比较。最后,对目前FER研究的难点问题进行了分析,并对FER未来的发展方向进行展望。     

基于MPEG-4的人脸动画技术研究

MPEG-4提出的基于对象的编码格式，将人脸作为一个特殊的对象，为人脸建模和动画研究奠定了基础。本文通过对MPEG-4人脸动画标准的分析，提出基于MPEG-4人脸动画系统的设计思想和需解决的关键问题。     

Hi4D-ADSIP 3-D dynamic facial articulation database

The face is an important medium used by humans to communicate, and facial articulation also reflects a person's emotional and awareness states, cognitive activity, personality or wellbeing. With the advances in 3-D imaging technology and ever increasing computing power, automatic analysis of facial articulation using 3-D sequences is becoming viable. This paper describes Hi4D-ADSIP — a comprehensive 3-D dynamic facial articulation database, containing scans with high spatial and temporal resolution. The database is designed not only to facilitate studies on facial expression analysis, but also to aid research into clinical diagnosis of facial dysfunctions. The database currently contains 3360 facial sequences captured from 80 healthy volunteers (control subjects) of various age, gender and ethnicity. The database has been validated using psychophysical experiments used to formally evaluate the accuracy of the recorded expressions. The results of baseline automatic facial expression recognition methods using Eigen- and Fisher-faces are also presented alongside some initial results obtained for clinical cases. This database is believed to be one of the most comprehensive repositories of facial 3-D dynamic articulations to date. The extension of this database is currently under construction aiming at building a comprehensive repository of representative facial dysfunctions exhibited by patients with stroke, Bell's palsy and Parkinson's disease.     

脸部特征定位方法

脸部特征定位是人脸分析技术的一个重要组成部分，其目标是在图象或图象序列中的指定区域内搜索人脸特征(如眼、鼻、嘴、耳等)的位置．它可广泛应用于人脸检测和定位、人脸识别、姿态识别、表情识别、头部像压缩及重构、脸部动画等领域．近年来，该领域的研究有了较大的发展，为了让相关领域内的理论研究和开发人员对目前的进展有一个全面的了解，将近年来提出的脸部特征定位方法根据其所依据的基本信息类型，分为基于先验知识、几何形状、色彩、外观和关联信息等5类，分别作了介绍，同时，对各类方法的性能作了一些比较和讨论，对未来的发展作了展望．     

Recovering facial pose with the EM algorithm

This paper describes how 3D facial pose may be estimated by fitting a template to 2D feature locations. The fitting process is realised as projecting the control points of a 3D template onto the 2D feature locations under orthographic projection. The parameters of the orthographic projection are iteratively estimated using the EM algorithm. The method is evaluated on both contrived data with known ground-truth together with some more naturalistic imagery. These experiments reveal that under favourable conditions the algorithm can estimate facial pitch to within 3°.     

人脸表情视频数据库的设计与实现

人脸表情分析与合成是近年来人机交互领域的研究热点。由于不同研究小组使用的数据集各异,不同方法的效果和适用性缺乏统一的测试基础。为此,该文研究了人脸表情分析与合成的问题空间,建立了一个大型人脸表情视频数据库,并制定了一套人脸表情视频数据库技术规范。该数据库采集时采用正面充分光照,从3个不同的视角记录图像数据,内容包括了70个人的1000段脸部表情视频,涵盖了常见的8类情感类表情和中文语音发音的说话类表情,提供了一个中文语音动态视位系统,并对表情序列采用了FACS(脸部动作编码系统)评价。该数据库是我国目前人脸表情研究较全面的基础资源库,可以作为人脸识别、人脸表情识别与合成算法的一个标准测试平台。该文介绍了建立人脸表情视频数据库的一系列关键技术,并给出了该数据库的技术标准。     

基于人工情感的脸部表情识别的研究

脸部特征的提取和各种特征所代表的表情状态是识别是脸部表情识别过程中的重要步骤。该文研究了脸部表情识别方面的一些进展，概括论述了面部表情识别的主要研究内容，以及图像预处理，特征提取，图像识别和表情识别的主要算法和方法。研究表明，在正面人脸和无背景时识别效果较好；在复杂背景下，或人脸被部分遮挡或角度偏转角度较大时，识别效果不好，它的识别效果离实用还有较大的距离，还需要进一步研究。     

Real-time 2D+3D facial action and expression recognition

This paper presents a completely automated facial action and facial expression recognition system using 2D+3D images recorded in real-time by a structured light sensor. It is based on local feature tracking and rule-based classification of geometric, appearance and surface curvature measurements. Several experiments conducted under relatively non-controlled conditions demonstrate the accuracy and robustness of the approach.     

人脸建模和动画技术的发展

人脸建模和动画技术是当今计算机图形学和计算机视觉领域中非常热门的研究课题，其应用包括电脑游戏、虚拟现实、视频通信、电影、编码、人脸识别和人机交互，回顾了国际上近年来在这方面丰富的研究成果。     

Information extraction from image sequences of real-world facial expressions

Information extraction of facial expressions deals with facial-feature detection, feature tracking, and capture of the spatiotemporal relationships among features. It is a fundamental task in facial expression analysis and will ultimately determine the performance of expression recognition. For a real-world facial expression sequence, there are three challenges: (1) detection failure of some or all facial features due to changes in illumination and rapid head movement; (2) nonrigid object tracking resulting from facial expression change; and (3) feature occlusion due to out-of-plane head rotation. In this paper, a new approach is proposed to tackle these challenges. First, we use an active infrared (IR) illumination to reliably detect pupils under variable lighting conditions and head orientations. The pupil positions are then used to guide the entire information-extraction process. The simultaneous use of a global head motion constraint and Kalman filtering can robustly track individual facial features even in condition of rapid head motion and significant expression change. To handle feature occlusion, we propose a warping-based reliability propagation method. The reliable neighbor features and the spatial semantics among these features are used to detect and infer occluded features through an interframe warping transformation. Experimental results show that accurate information extraction can be achieved for video sequences with real-world facial expressions.Received: 16 August 2003, Accepted: 20 September 2004, Published online: 20 December 2004 Correspondence to: Qiang Ji