表情识别的图像预处理和特征提取方法研究

表情识别是基于视觉信息将脸部的运动或脸部特征的形变进行分类,包括三部分:脸部定位、脸部特征抽取和表情分类.本文首先使用肤色模型进行脸部定位;对提取出来的人脸进行预处理,然后通过Canny鼻子和人脸形状模型相结合的Canny-AAM方法进行特征点定位;最后利用曲线拟合的方法进行特征提取.基于上述算法建立表情识别平台,经过大样本对实时表情识别验证,结果表明对于不同光照下的实时表情识别具有鲁棒性.     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

基于特征网格的面部图象变形算法

面部图象变形技术是人脸建模的关键技术之一，为了模拟人脸器官（如眼、嘴、鼻和眉等）周围及人脸轮廓肌肉的运动，选择适合描述人脸及其器官轮廓的几何形状的若干特征点，并根据器官周围肌肉点运动机理，建立了面部图象变形的特征网络模型，该模型构造了两类控制器官运动的合成肌肉，即控制垂直方向运动的轮廓肌和控制水平方向运动的线性肌，由此，面部肌肉点拉动肌肉即可作垂直和水平方向运动，由于该特征网络模型可实现人脸器官精细的变形操作，并能依据器官的轮廓变化展开，符合人的认知过程，因此，与其他算法相比，其变形效果更加自然，图象变形更加精确。     

MPEG—4中脸部动画参数和序列重绘的肌肉模型

MPEG－4中定义了“人脸对象”这样一种特殊的视频对象,并通过脸部动画参数FAP和脸部定义参数FDP来对这类对象进行编码,以实现极低码率的视频编码。通过对MPEG－4中“人脸对象”这类视频码流的句法结构和参数编码方法的详细分析。以及通过对MEPG－4解码器图象重绘（rendering)过程的研究,在Waters的以肌肉收缩强度为参数的肌肉模型基础上,提出了更适应于MPEG－4参数的位移控制肌肉模型（displacement-controlling muscle model),从而实现了通过利用MEPG－4码流中的FAP和FDP参数来重建自然表情的人脸视频序列。     

三维脸部网格模型的交互式调整

脸部网络模型的建立是基于模型的人脸合成技术的关键步骤。提出了一种结合自动和交互方式，利用正交图象的三维人脸模型调整算法，首先利用区域增长法和矩形模板匹配确定正面图象中人脸及各特征区域的位置，利用变形模板自动提取人脸完整特征；然后交互地修正人脸特点的准确正面位置，并从侧面图象提取特征点的深度；最后算法自动确定脸部姿态和利用反向距离内插调整模型非特征点，获得输和人脸模型。实验结果表明，该算法简便实用，费时较少，具有一定的实用价值。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

基于3D人脸模型的驾驶员头部姿态鲁棒跟踪算法

驾驶员头部姿态跟踪是车辆辅助驾驶系统中的关键问题之一,文中提出了一种基于3D人脸模型的驾驶员头部姿态鲁棒跟踪算法;首先,将3D人脸模型映射到第一帧图像中,获取到脸部区域及估计出初始姿态;然后,在脸部区域中跟踪并检测特征点,并把匹配结果作为基于模型的光束法平差机制的输入来恢复出3D人脸模型的头部姿态;为提高检测精度,在每帧脸部区域内重新提取特征点用于跟踪;实验结果表明,该算法在部分遮挡及大幅转动时是有效的.     

基于合成的通用头部网格模型的表情合成

针对当前通用脸部网格模型的可操控性和逼真性难以同时兼顾的问题,提出了一种新的通用网格模型合成方法,该方法基于Candide-3模型和从建模软件中导出来的模型进行简化得到的模型进行结合来合成通用头部模型.在此模型的基础上合成出六大基本表情,对输入人脸正面照片使用ASM(active shape model)算法自动提取出特征点,利用特征点和径向基函数来调整合成的通用模型得到特定的表情.实验结果显示,该通用网格模型具有良好的操控性,且能完整表示整个头部结构,还能表达六大基本表情和特定表情.     

一个实用的人脸定制和表情动画编辑系统

介绍了一个简单而行之有效的特定人脸定制和表情动画的编辑系统，首先给定一个内嵌肌肉向量的一般人脸三维多边形网络模型并提供特定人脸的正侧面正交图象，然后采用snake技术自动适配人脸特征线，变分一般模型定制出三维虚拟人脸；接着再用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而生成高度真实感的虚拟特定人脸，由内嵌肌肉向量的参数化表示，通过编辑参数能赋予三维虚拟人脸各种丰富的表情。由于变分后人脸模型的拓扑不变，因此可用基于三角化的图象metamorphosis实现不同特定人脸间的三维morph，该系统能在廉价的PC平台上实现，其快速、简单而且具有真实感，具有很大的实用价值。     

实时交互式三维脸部表情动画研究及其实现

根据人脸的生理结构特点,使用分块造型技术进行脸部建模,提出了一个基于"脸型特征"和"五官特征"的参数化肌肉模型,通过模型上控制顶点的属性值来控制脸部形成不同的表情,并利用MAYA MEL语言实现了一个实时交互操作界面.这使得对脸部表情的研究更加方便、灵活,建模及其动画化也更加逼真、实用.     

姿态变化估计策略下的人脸真实性判别研究

针对人脸识别系统中的欺骗手段,提出了一种基于姿态变化的脸部真实性判别算法。在构建的真实性判别系统中,引入了新的脸部特征点匹配标准函数及变形块匹配方法,对脸部序列图像特征点对位置进行精确提取和进行运动估计,最终通过对脸部姿态变化的策略分析完成真实性判别。算法分析及实验结果表明,该算法特别对照片欺骗手段具有良好的防范作用,可以较好地加强人脸识别系统的安全性。     

Efficient edge-based object tracking

Object tracking has been widely applied to video surveillance, robot localization and human-computer interaction. In this paper, an edge-based tracking algorithm is proposed. We extract the feature points by efficiently utilizing the image edges in the object region. Then the parameter vector of the object's motion model is estimated based on minimizing the sum-of-squared differences between the reference feature points in the reference frame and the observed feature points in the tracking sequence frame. The experiments show that the edge-based tracking algorithm proposed by us can track object efficiently under uniform and varying illumination conditions.     

基于DSP的运动目标跟踪系统

描述了一种以TMS320C6701数字信号处理器为核心的高速图像处理板和图像实时采集卡及摄像头构成的实时运动跟踪系统。在对采集的实时图像序列进行如十预处理后．采用了金字塔结构的图像存储方式和特征点跟踪算法埘运动目标进行跟踪．通过对特征点的运算得到目标运动的偏差怍为摄像头运动的参数,是后根据这些参数控制摄像云台持续跟踪运动目标的移动,最后还给出了在复杂背景下跟踪人体的实验结果。     

Facial expression recognition system based on rigid and non-rigid motion separation and 3D pose estimation

This study presents a facial expression recognition system which separates the non-rigid facial expression from the rigid head rotation and estimates the 3D rigid head rotation angle in real time. The extracted trajectories of the feature points contain both rigid head motion components and non-rigid facial expression motion components. A 3D virtual face model is used to obtain accurate estimation of the head rotation angle such that the non-rigid motion components can be precisely separated to enhance the facial expression recognition performance. The separation performance of the proposed system is further improved through the use of a restoration mechanism designed to recover feature points lost during large pan rotations. Having separated the rigid and non-rigid motions, hidden Markov models (HMMs) are employed to recognize a prescribed set of facial expressions defined in terms of facial action coding system (FACS) action units (AUs).     

Statistical learning based facial animation

To synthesize real-time and realistic facial animation, we present an effective algorithm which combines image- and geometry-based methods for facial animation simulation. Considering the numerous motion units in the expression coding system, we present a novel simplified motion unit based on the basic facial expression, and construct the corresponding basic action for a head model. As image features are difficult to obtain using the performance driven method, we develop an automatic image feature recognition method based on statistical learning, and an expression image semi-automatic labeling method with rotation invariant face detection, which can improve the accuracy and efficiency of expression feature identification and training. After facial animation redirection, each basic action weight needs to be computed and mapped automatically. We apply the blend shape method to construct and train the corresponding expression database according to each basic action, and adopt the least squares method to compute the corresponding control parameters for facial animation. Moreover, there is a pre-integration of diffuse light distribution and specular light distribution based on the physical method, to improve the plausibility and efficiency of facial rendering. Our work provides a simplification of the facial motion unit, an optimization of the statistical training process and recognition process for facial animation, solves the expression parameters, and simulates the subsurface scattering effect in real time. Experimental results indicate that our method is effective and efficient, and suitable for computer animation and interactive applications.     

基于深度数据的空间人脸旋转角度估计

提出一种基于三维人脸深度数据的人脸姿态计算方法。利用人脸的深度数 据以及与其一一对应的灰度图像,根据微分几何原理和相应的曲率算法与人脸数据中的灰度 特征对人脸面部关键特征点定位,进而计算出人脸姿态在三维空间中的3 个姿态角。实验证 明该方法能在姿态变化情况下实现对人脸旋转角的准确估计,为进一步的人脸识别和表情分 析提供基础。     

采用改进的几何算法快速估计图像旋转角度

不规则的旋转运动会明显的降低图像序列的质量,旋转运动估计是实现电子图像稳定的关键技术.采用仿射变换模型可以有效地估计图像二维运动参数,但是求解最小二乘解的计算量太大.提出了一种简单的估计图像旋转角度的方法.利用匹配块相对于旋转中心位移矢量对称的特性,消除平移运动引起的运动矢量,通过简单的几何计算即町获得旋转参数,进一步,通过合理设置阈值,降低局部运动估计误差对全局结果的影响.理论分析和仿真结果表明,在帧间图像旋转角度小于10°的条件下,应用方法能够简单有效的估计出旋转角度.     

基于全局拼接的航拍图像拼接算法研究

研究航拍图像的拼接问题,提高图像拼接的准确度。由于当通过航拍获取的图像中部分图像相互存在重叠区域的比例不大时,造成拼接不准确。传统的区域的图像拼接算法无法将具有较小重叠区域的图像准确拼接。为了提高航拍图像拼接的准确率,提出一种全局的图像拼接算法,通过使用SIFT算法提取图像的SIFT特征点,根据位置误差最小的原则完成两幅图像的SIFT特征点匹配,最后利用整体最优化方法对拼接结果进行优化,采用全局特征点的拼接方法,可避免传统方法只利用重叠区域灰度特征而不能准确拼接低重叠度图像的问题。实验证明,改进方法利用图像的全局信息,准确地实现图像的拼接,取得了满意的结果。     

基于Gabor变换的特征点跟踪算法研究*

为了实现对一组动态特征点的跟踪,基于Gabor变换的特征点提取方法提出了一套跟踪方案。首先采用仿射变换描述点的轨迹模型,引入PDAF算法进行状态估计;然后基于Gabor变换特征向量的匹配算法进行对应点辨识;最终推导出EKF滤波器方程组,对时态信息进行滤波。仿真结果表明,该特征点跟踪算法能够在目标图像辨识率较低的情况下满足目标跟踪的精确性要求。