A method of facial expression recognition based on Gabor and NMF

The technology of facial expression recognition is a challenging problem in the field of intelligent human-computer interaction. An algorithm based on the Gabor wavelet transformation and non-negative matrix factorization (G-NMF) is presented. The main process includes image preprocessing, feature extraction and classification. At first, the face region containing emotional information is obtained and normalized. Then, expressional features are extracted by Gabor wavelet transformation and the high-dimensional data are reduced by non-negative matrix factorization (NMF). Finally, two-layer classifier (TLC) is designed for expression recognition. Experiments are done on JAFFE facial expressions database. The results show that the method proposed has a better performance.     

基于参数估计的贝叶斯网络面部表情识别

面部表情是一种非语言暗示,在人际交往关系中发挥重要的作用.静态图像中分析处理面部表情,人机交互的处理方法就有很多.首先利用Gabor对静态图像进行特征提取,由PCA降维之后再用贝叶斯估计参数构建的贝叶斯分类器进行分类,从而达到表情识别的目的.     

基于ENM-Gabor差分权重的人脸表情特征提取方法

针对人脸子区域对表情识别分类的重要程度不同,提出一种基于Gabor小波特征和ENM(Eye,Nose,Mouth)差分权重的表情特征提取方法。通过对人脸眼睛、鼻子、嘴巴三个区域进行特征提取并自适应加以权重,有效地区分了不同区域对识别表情的重要程度。对预处理后的表情图像提取ENM区域Gabor特征;将表情图像与中性图像作差值计算得到ENM差分权重;将ENM-Gabor特征结合差分权重得到最终的表情特征并用BP神经网络进行分类。与其他方法在JAFFE表情库上进行对比实验,实验结果表明,该方法相比于传统Gabor特征提取有了明显的提高,且平均识别率达到99.3%。     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

An analysis of facial expression recognition under partial facial image occlusion

In this paper, an analysis of the effect of partial occlusion on facial expression recognition is investigated. The classification from partially occluded images in one of the six basic facial expressions is performed using a method based on Gabor wavelets texture information extraction, a supervised image decomposition method based on Discriminant Non-negative Matrix Factorization and a shape-based method that exploits the geometrical displacement of certain facial features. We demonstrate how partial occlusion affects the above mentioned methods in the classification of the six basic facial expressions, and indicate the way partial occlusion affects human observers when recognizing facial expressions. An attempt to specify which part of the face (left, right, lower or upper region) contains more discriminant information for each facial expression, is also made and conclusions regarding the pairs of facial expressions misclassifications that each type of occlusion introduces, are drawn.     

基于Gabor小波和稀疏表示的人脸表情识别

通过分析Gabor小波和稀疏表示的生物学背景和数学特性,提出一种基于Gabor小波和稀疏表示的人脸表情识别方法。采用Gabor小波变换对表情图像进行特征提取,建立训练样本Gabor特征的超完备字典,通过稀疏表示模型优化人脸表情图像的特征向量,利用融合识别方法进行多分类器融合识别分类。实验结果表明,该方法能够有效提取表情图像的特征信息,提高表情识别率。     

基于Gabor小波变换的人脸表情特征提取

提出了一种基于Gabor小波变换的人脸表情特征提取算法。针对包含表情信息的静态灰度图像,首先对其预处理,然后对表情子区域执行Gabor小波变换,提取表情特征矢量,进而构建表情弹性图。最后分析比较了在不同光照条件下不同测试者做出6种基本表情时所提取的表情特征,结果表明Gabor小波变换能够有效地提取与表情变化有关的特征,并能有效地屏蔽光照变化及个人特征差异的影响。     

改进的HOG和Gabor,LBP性能比较

为了实现复杂环境下的人脸特征有效表达,提出一种改进的梯度方向直方图(HOG)人脸识别方法.首先以人脸图像网格作为采样窗口并在其上提取HOG特征;然后将所有网格HOG特征向量进行组合,实现整个人脸特征表达;最后采用最近邻分类器进行识别.另外,比较了该方法与Gabor小波和局部二值模式(LBP)2种著名的人脸局部特征表示方法的优劣.实验结果表明,在调优的HOG参数下,在具有光照和时间环境等复杂变化的FERET人脸库中,较少维数的HOG特征比LBP特征有更好的表现,而且HOG特征提取时间和特征向量维数比Gabor小波方法更具有优势.     

疲劳驾驶面部表情识别算法

针对疲劳驾驶的六种表情 ,提出几何规范化结合 Gabor滤波提取表情特征 ,使用支持向量机对疲劳驾驶的面部表情分类识别的系统。首先对视频图像预处理进行几何规范化 ,利用二维 Gabor核函数构造最优滤波器 48个,获取 48个面部表情特征点 ,最后利用支持向量机进行面部表情分类识别。实验结果表明径向基函数的 SVM性能最好。     

基于混合特征和分类树的细微表情识别方法

目前多数人脸表情识别的研究仅限于6种基本表情,未考虑到人脸表情变化是细微的.因此提出了基于混合特征和分类树的细微表情识别方法.对眼睛区域采用Gabor小波变换提取纹理变化特征,对鼻子区域采用2D-DCT提取纹理变化特征,而对嘴巴区域采用改进的AAM提取形状变化特征.分类识别时,将易混淆表情先归为一类进行表情的粗分类,然后对类内的表情选择相应表情贡献较大的特征子区域中的特征,进行表情细分类.在每级分类识别过程中,对每个区域采用离散HMM得出表情概率,最后采用在训练阶段得到的贡献权值进行加权融合得到分类结果.实验结果表明,该方法能够得到较好的识别效果,且处理速度快,适合于实时图像序列的细微表情识别.     

基于Gabor小波特征的多姿态人脸图像识别

多姿态人脸识别在很多领域具有重要的应用价值。基于多姿态人脸图像及Gabor小波特点选取离散化参数,对人脸图像进行Gabor小波变换;然后采用两步降维法对变换系数进行降维,基于降维后的Gabor特征表示实现人脸识别。实验将互不相交的两个样本集依次作为训练集和测试集,验证了该方法在人脸识别中对于不同姿态和表情的有效性及鲁棒性。     

基于自动分割的局部Gabor小波人脸表情识别算法

针对包含表情信息的静态灰度图像,提出基于自动分割的局部Gabor小波人脸表情识别算法。首先使用数学形态学与积分投影相结合定位眉毛眼睛区域,采用模板内计算均值定位嘴巴区域,自动分割出表情子区域。接着,对分割出的表情子区域进行Gabor小波变换提取表情特征,再利用Fisher线性判别分析进行选择,有效地去除了表情特征的冗余性和相关性。最后利用支持向量机实现对人脸表情的分类。用该算法在日本女性表情数据库上进行测试,实现了自动化且易于实现,结果证明了该方法的有效性。     

A novel application of self-organizing network for facial expression recognition from radial encoded contours

We propose an efficient algorithm for recognizing facial expressions using biologically plausible features: contours of face and its components with radial encoding strategy. A self-organizing network (SON) is applied to check the homogeneity of the encoded contours and then different classifiers, such as SON, multi-layer perceptron and K-nearest neighbor, are used for recognizing expressions from contours. Experimental results show that the recognition accuracy of our algorithm is comparable to that of other algorithms in the literature on the Japanese female facial expression database. We also apply our algorithm to Taiwanese facial expression image database to demonstrate its efficiency in recognizing facial expressions.     

Hybrid-boost learning for multi-pose face detection and facial expression recognition

This paper proposes a hybrid-boost learning algorithm for multi-pose face detection and facial expression recognition. To speed-up the detection process, the system searches the entire frame for the potential face regions by using skin color detection and segmentation. Then it scans the skin color segments of the image and applies the weak classifiers along with the strong classifier for face detection and expression classification. This system detects human face in different scales, various poses, different expressions, partial-occlusion, and defocus. Our major contribution is proposing the weak hybrid classifiers selection based on the Harr-like (local) features and Gabor (global) features. The multi-pose face detection algorithm can also be modified for facial expression recognition. The experimental results show that our face detection system and facial expression recognition system have better performance than the other classifiers.     

基于Gabor和ADABOOST的面部表情识别

多尺度图像的Gabor表示在计算机视觉领域有着广泛的应用,本文探讨了面部表情图像的Gabor表示方法,为了减少特征矢量的维数,本文对Gabor小波系数进行了下采样处理和并采用PCA二次降维。最后利用Adaboost方法对面部表情进行识别,通过实验表明该方法对已知人脸的表情识别率达到95%以上,对未知人脸的表情识别率达72%,识别效果比较好。     

基于子模式的Gabor特征融合的单样本人脸识别

针对传统人脸识别方法在单训练样本条件下效果不佳的缺点,提出基于子模式的Gabor特征融合方法并用于单样本人脸识别。首先采用Gabor变换抽取人脸局部信息,为有效利用面部器官的空间位置信息,将Gabor人脸图像分块构成子模式,采用最小距离分类器对各子模式分类。最后对各子模式分类结果做决策级融合得出分类结果。根据子模式构成原则和决策级融合策略不同,提出两种子模式Gabor特征融合方法。利用ORL人脸库和CAS-PEAL-R1人脸库进行实验和比较分析,实验结果表明文中方法有效提高单样本人脸识别的正确率,改善单样本人脸识别系统的性能。     

人机交互中的人脸信息曲波分析

视觉交互是自然人机交互的重要组成部分,而人脸特征提取则是视觉交互成功的关键。针对小波变换难以充分描述人脸曲线特征的缺点,为了更好地提取人脸特征,将更符合人类视觉特性的曲波变换用于人脸信息处理,提出了结合曲波变换与Adaboost方法的人脸检测优化方法和基于曲波变换与SVM进行表情分析的新方法,并开展了人脸检测、人脸识别与表情分析的对比实验。实验结果显示,曲波变换在人脸特征提取中具有明显优势,从而为自然人机交互的下一步工作打下了坚实基础。     

2维双树复小波不确定度加权融合的人脸识别

在人脸识别中,传统小波、Gabor小波不能很好地表征人脸特征。提出2维双树复小波多频带不确定度加权融合的人脸识别算法,使用了人脸2维双树复小波多频带特征,计算多频带不确定度及其权值并结合多频带特征进行加权融合,能很好得到人脸的特征。该加权融合算法首先计算人脸2维双树复小波多个频带特征图,然后计算多个频带滤波不确定度权值,最后进行加权融合。同时使用了2维主成分分析(2DPCA)方法对特征向量进行子空间投影,应用欧氏距离作为相似测度实现分类识别。使用英国剑桥Olivetti实验室(ORL)图像库进行了测试,实验结果表明,提出的方法相对于使用2DPCA、Wavelet和Gabor小波的特征提取方法,取得了更好的识别效果。     

一种基于Gabor小波特征的人脸表情识别新方法

近来,表情识别成为人机交互研究的热点.将Gabor小波变换与2DPCA结合提出了一种表情识别的新方法.首先对静态灰度表情图片进行预处理,然后对其进行Gabar小波变换,通过2DPCA进行降维,根据Gabor不同尺度不同方向的变换结果训练不同的分类器,由校验集得到分类器权值,通过隶属度函数将各个分类结果模糊化,实现了分类器集成和表情特征数据的融合.实验证明了Gabor小渡与2DPCA结合在表情识别中的有效性,以及基于Gabor小波模糊分类器集成的方法能够进一步提高识别率.     

基于Gabor特征和混合高斯模型的人脸表情分析

首先对人脸表情的特点进行分析,提出了利用Gabor小波特征、主分量分析（PCA）结合混合高斯模型的人脸表情分析方法,并在人脸表情数据库JAFFE进行了实验。通过对不同表情的分布规律进行实验分析,实现了对表情的定性/定量分析。实验结果表明,提出的人脸表情分析方法能够对人脸表情进行恰当的表达和描述。