Face recognition using SIFT features under 3D meshes

Expression, occlusion, and pose variations are three main challenges for 3D face recognition. A novel method is presented to address 3D face recognition using scale-invariant feature transform(SIFT) features on 3D meshes. After preprocessing, shape index extrema on the 3D facial surface are selected as keypoints in the difference scale space and the unstable keypoints are removed after two screening steps. Then, a local coordinate system for each keypoint is established by principal component analysis(PCA).Next, two local geometric features are extracted around each keypoint through the local coordinate system. Additionally, the features are augmented by the symmetrization according to the approximate left-right symmetry in human face. The proposed method is evaluated on the Bosphorus, BU-3DFE, and Gavab databases, respectively. Good results are achieved on these three datasets. As a result, the proposed method proves robust to facial expression variations, partial external occlusions and large pose changes.     

基于单目RGB摄像机的三维人脸表情跟踪算法

利用单目摄像机对人脸表情进行三维跟踪有两个关键问题,一是从单幅图像中重建人脸的三维模型,二是建立不同三维模型之间稠密的对应关系。针对上述问题,提出一种有效的三维人脸表情跟踪算法。对输入的各帧人脸图像进行自动特征点检测,并根据2D特征点,利用Multilinear Model重建不同表情的三维模型。通过将三维模型重投影至图像空间,计算各帧图像间的Optic Flow与Sift Flow对应。根据图像间的对应关系,利用Laplacian网格变形对三维模型进行修正,建立不同表情之间三维的稠密对应。试验表明,该方法可以重建出较为真实的三维人脸表情模型,同时可以精确跟踪连续变化的三维表情序列。     

Analysis,Identification and Realization of Human Facial Expressions

Ａｎａｌｙｓｉｓ，ＩｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄＲｅａｌｉｚａｔｉｏｎｏｆＨｕｍａｎＦａｃｉａｌＥｘｐｒｅｓｉｏｎｓＪＩＮＨｕｉＧＡＯＷｅｎＺＨＡＯＬｉｚｈｕａｎｇ（金辉）（高文）（赵力庄）（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎ...     

一种边缘二进制码的表情识别方法

针对如何从图像中提取有效的表情特征来提高表情识别率的问题,提出了一种基于边缘二进制码的表情特征提取方法,用于表情识别.该方法首先对图像进行边缘检测,然后对边缘的局部结构进行二进制码描述作为表情特征,最后利用支持向量机进行表情分类.在JAFFE人脸表情数据库上,分别用该方法和传统的方法进行试验,结果表明,该方法可显著提高表情识别率.     

表情数据驱动三维人脸模型方法

提出了一种利用面部表情数据驱动三维人脸模型中骨骼特征点运动的方法.首先,利用面部表情捕捉设备对面部特征点进行采集,并使用XML格式对面部表情捕捉数据进行描述;然后将采集到的面部特征点与人脸模型中骨骼特征点进行映射配对;最后,使用面向对象图形渲染引擎演示面部表情,从而实现使用面部表情数据驱动三维人脸模型.方法验证实验的过程和结果表明了提出方法的有效性.     

基于三维特征点模型的人脸表情识别算法

提出了一种基于三维特征点模型匹配的人脸表情识别算法.首先,以混合树结构建模不同姿态脸部特征组合,实现特征点定位,并建立脸部三维几何特征模型;然后,基于广义普鲁克分析原理对特征点模型进行归一化计算,并建立具有鲁棒性的匹配特征;最后,采用支持向量机实现表情的训练和识别.通过对BU-3DFE数据库中6种脸部表情的测试,表明该算法能够达到很好的识别效果.     

基于LBP层次特征的表情识别算法

提出了一种基于LBP层次特征提取的表情识别算法.将图像分成许多子块,并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征,对人脸图像的眼睛和口部作粗定位.采用局部二值模式(LBP)的层次特征提取法,对图像进行分块操作,求出每个子块的LBP直方图,然后将基于整体特征得到的LBP直方图与基于局部特征得到的LBP直方图连接起来,作为整幅图像的LBP直方图.将层次特征提取法所提取的LBP直方图作为嵌入式隐马尔可夫模型(EHMM)的初始向量,即形成观察序列.对JAFFE人脸库中的7种基本表情进行了测试,结果表明该方法能有效提高表情识别率.     

基于正交图像生成人脸模型的合成分析方法

针对采用现有基于图像的人脸建模方法生成的三维人脸模型存在的人工性缺陷问题,提出了一种基于合成分析方法的个性化三维人脸建模方法.利用合成方法由两幅正交人脸图像生成一个初始三维人脸模型,比较基于颜色直方图方法合成的人脸图像纹理与输入图像纹理的差异,根据纹理差异来指导对人脸网格的局部自适应细分,不断调整合成的三维人脸模型,从而更好地保持了人脸的精细细节特征.实验结果表明,使用该细分反馈算法,可以减少模型的人工性缺陷,在整体上提高了合成人脸模型纹理的真实感.     

基于MPEG-4的三维人脸动画

具有真实感的三维人脸动画是计算机图形学研究的一个重要分支,有着广泛的应用领域。如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点。该文在MPEG-4的三维人脸动画原理的基础上提出一种新的基于MPEG-4的、适宜于任意拓扑结构模型的三维人脸动画实现方法。该方法能够在FAP帧的驱动下实现真实感较强的三维人脸动画。     

Novel Method Fusing (2D)2LDA with Multichannel Model for Face Recognition

A fusion method of Gabor features and (2D)²LDA for face feature extraction is proposed in this paper. Gabor filters are utilized to extract multi-direction and multi-scale features from facial image to employ its robust performance for illumination, expressional variability and other factors. The extracted features have the defect of high dimension and redundancy data. (2D)²LDA is implemented to reduce the dimension of Gabor features and select effective feature data. Finally, the nearest neighbor classifier is used to classify characteristics and complete face recognition. The experiments are implemented by using ORL database and Yale database respectively. The experimental results show that the proposed method significantly reduces the dimension of Gabor features and decrease the influence of other factors. The proposed method acquires excellent recognition accuracy and has light architectures as well.     

基于自适应词典学习和稀疏表示的人脸表情识别

提出了一种基于随机块特征和自适应词典学习的人脸表情识别方法。利用Haar like特征和人脸几何结构信息可靠定位眼睛和嘴巴;在眼睛和嘴巴附近抽取随机块,构建特征矢量;将特征矢量进行词典学习,得到表情词典;根据待测表情在表情词典上的稀疏分解对表情进行分类。在JAFFE和Cohn kanade表情库中进行了对比实验,结果表明该方法具有较好的识别性能,对噪声和遮挡具有较好的鲁棒性。     

基于生理信号的观众情感状态识别模型

为研究电影情节与观众生理信号变化的关系,提出基于生理信号的观众情感状态识别模型,从观众生理信号中提取特征,采用顺序前进法（SFS）进行特征选择,并基于支持向量机（SVM）建立观众情感状态识别模型.实验选择了不同类型的3部影片,共11名人员参加,在电影播放时拍摄观众表情并记录其生理信号,基于表情人工标注其情感状态.实验结果表明：该模型对各情感状态的区分较理想,平均识别率在90%以上.     

基于Gabor特征融合与LBP直方图的人脸表情特征提取方法

针对Gabor特征全局表征能力弱以及特征数据维数存在冗余的问题,提出了一种采用Gabor多方向特征融合与分块直方图相结合的方法以有效提取表情特征.通过对不同表情的重要特征部位进行细化,采用Gabor滤波器有针对性地提取相关区域的多尺度和多方向特征,并对同尺度的特征进行融合,利用各区域内融合特征的直方图分布来表征图像.该方法可以提高特征提取的准确性,有效突出重要特征的辨识作用,大幅度降低特征的维数,在JAFFE表情库可以达到100%的识别率.     

基于形变模型的人脸建模及其应用综述

形变模型(morphable model)是近几年提出的人脸建模新方法。基于若干原型人脸的知识,该方法实现了真实感三维人脸的自动建模,并在图像分析、人脸识别、表情动画等方面的应用中取得了良好效果。回顾了基于形变模型的人脸建模的研究概况、基本原理及应用情况,并对形变模型的进一步应用和发展进行了展望。     

基于扩展二维不变矩的三维人脸特征提取

将二维不变矩理论和算法扩展应用于三维人脸特征提取的研究,在对三维人脸模型进行预处理及网格归一化的基础上,建立了具有平移、比例和旋转不变性的三维人脸模型的Zernike矩不变量特征表示,并基于距离可分性设计了一种特征评价测度,对所提特征和深度特征进行了对比评价。多姿态三维人脸数据库的实验结果表明,三维人脸模型的Zernike矩不变量特征具有对不同姿态人脸模型鲁棒、可分性强等优点。     

基于LGRP和多特征融合的人脸表情识别

针对复杂的Gabor滤波器直接抽取人脸特征数据存在一些冗余信息以及提取的表情特征较为单一的缺点,提出了基于LGRP和多特征融合人脸表情的识别方法。首先,提取人脸表情图像的Gabor多方向和多尺度特征,进一步编码得到局部Gabor排序模式(LGRP),以增强鲁棒性以及区分能力;其次,引入Haar小波和Otsu阈值分割法分别提取表情特征,通过级联融合3种不同的特征,可以全面地表达图像的局部特征和全局特征;最后,采用支持向量机(SVM)对人脸表情进行多分类。在CK+表情库上进行仿真实验,平均识别率达到94. 36%。与其他方法的比较结果表明,该方法取得了很好的识别率和鲁棒性。     

基于主独立内容特征的人脸图像检索方法

提出一种基于独立分量分析的内容特征，并用于人脸图像检索，得到一种基于内容的图像检索新方案.该方案首先在降维空间提取出基于高阶统计特性的主独立内容特征(PICF)，应用提取的PICF特征进行有效的人脸图像描述.为确保计算有效性和检索正确率，运用可消除独立特征顺序不确定性的基于PICF的检索方法，并在具备不同亮度、尺度、姿势和图像描述变化的ORL脸谱数据库中完成了人脸图像检索实验.计算机仿真结果验证了所提出方法的有效性.最佳检索率为100%，平均查准率达95.14％/千次.     

Gabor特征均值的子空间人脸识别算法的改进

针对人脸图像局部特征提取不充分的问题,在基于子空间分析的人脸识别算法中,提出了在线性和非线性空间中实现基于2DGabor均值的子空间人脸识别算法.首先,根据人脸图像的5个特殊区域,对人脸图像进行分块处理,分别对每一块进行2DGabor运算,并把每个训练样本相应像素点得到的特征矢量取均值,得到图像的特征向量,然后在线性和非线性空间中利用2DPCA(two-dimensional principle component analysis)和KDA(kernel fisher discriminant analysis)对特征向量进行降维处理,最后利用最近邻分类器和支持向量机分类器SVM(support vector machine)进行特征分类与识别,通过对ORL和FERET标准人脸库图像进行的实验仿真即对比结果表明,基于2DGabor均值的方法不仅提高识别率,而且对于人脸光照、姿态和表情变换均具有良好的鲁棒性.     

基于三维模型与Gabor小波的人脸特征点跟踪方法

为了实现人脸特征点跟踪系统的鲁棒性和精确性,使用光束平差法模型将基于三维人脸几何模型的跟踪方法与基于Gabor小波的特征点跟踪方法结合起来,提出基于三维模型与Gabor小波的人脸特征点跟踪方法.该方法使用基于Gabor小波的特征跟踪方法来得到每帧的初始特征点,使用基于三维人脸几何模型的整合优化跟踪方法来得到每帧的最终特征点.与3类典型人脸特征点跟踪方法的对比实验结果表明,该方法克服了以往方法基于二维图像信息来寻找特征点的局限性,可以实现鲁棒的、实时的、大角度的人脸特征点跟踪.