基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

融合局部纹理和形状特征的人脸表情识别

针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进,该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS-LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征,然后使用典型线性分析法(CCA)进行特征融合,最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库上的实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,该文所提人脸表情识别方法取得了较好的分类识别效果。     

一种新的人脸面部表情识别算法研究

针对人脸面部表情的识别率易受非均匀光照影响,进而降低人脸面部表情辨识率的问题,提出一种融合局部特征与深度置信网络（DBN）的人脸面部表情识别算法。首先提取出人脸面部表情图像中的局部敏感质量分布图（LSH）非均匀光照不变特征;其次通过双编码局部二值模式（DCLBP）提取出人脸面部表情的边缘局部细节纹理特征;然后计算其各自特征的基本标准差来进一步确定自适应融合特征的权重值,并以此构造融合后的人脸面部表情特征;最后将部敏感质量分布图（LSH）与双编码局部二值模式（DCLBP）融合后的人脸面部表情特征进行训练深度置信网络（DBN）模型,将训练后的深度置信网络（DBN）模型进行人脸面部表情识别。在JAFFE人脸面部表情数据库和自建的维吾尔族人脸面部表情数据库中识别实验表明,该算法比其他4中算法的对比中其识别率分别至少提高了4.3%和5.22%,具有很好的鲁棒性和有效性。     

多区域融合轻量级人脸表情识别网络

由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。     

基于融合DCT和LBP特征提取的面部表情识别

针对离散余弦变换(DCT)只能提取面部表情图像的全局特征,而忽略了临近像素之间的关系、不能提取纹理特征信息、不能准确区分相似表情等问题,提出一种融合离散余弦变换方法和局部二值模式(LBP)特征的表情特征提取方法。该方法首先将人脸图像经过DCT获得的低频系数作为表情的全局特征;然后用LBP对贡献率较大的嘴部、眼睛区域进行局部纹理特征提取,通过将LBP提取到的局部纹理特征与DCT提取到的全局特征进行融合,从而得到更有效的表情特征;最后利用支持向量机(SVM)进行识别。实验结果表明:该方法比单独使用DCT方法提取的表情特征更有利于识别,提高了表情识别的准确性,并将这个表情识别方法用于智能轮椅的控制上,收到了良好的效果。     

基于隐马尔可夫模型(HMM)的人脸表情识别

人脸表情识别是目前的研究热点．文中介绍了人脸表情识别的过程，给出了基于隐马尔可夫模型（HMM）的人脸表情识别方法．通过分析人脸表情的变化情况，利用二维离散余弦变换（2D—DCT）提取脸部表情特征，经过大样本训练构建HMM模型来识别图像中的人脸表情．实验结果表明该方法是一种高效的面部表情识别方法。     

基于LBP特征匹配算法的红外人脸图像表情识别技术

红外人脸图像表识别过程中易受到光照不均匀、角度多变、亮度差异大等问题的影响，导致红外人脸图像表情识别效率较差，为解决上述问题，提出基于LBP特征匹配算法的红外人脸图像表情识别方法。首先通过局部优化保留摄影法对红外人脸图像实行降维处理，获取优化后的图像，然后采用多角度分水岭法分割图像，保留图像的细节信息。并采用LBP算子提取预处理后的图像纹理特征，将提取的纹理特征输入支持向量机中，计算出特征的类内比重，完成红外人脸图像表情的识别。实验结果表明，所提方法的平均识别准确率为92%,识别100张人脸图像表情耗时129 s识别效率高、识别效果好、稳定性强。     

融合时空特征的视频序列表情识别

针对视频表情识别,静态特征不能有效描述人脸区域沿时间轴动态变化信息的局限,该文提出一种融合动态纹理信息和运动信息的表情识别方法,借鉴LBP-TOP原理,提出具有时空域描述能力的时空韦伯局部描述子(STWLD)来提取动态纹理信息,同时采用分块光流直方图(BHOF)描述运动信息,最后利用SVM对融合后的纹理和运动信息完成表情分类。在CK+和MMI表情数据库上的交叉实验结果表明,相比基于单一特征的识别方法,所提方法取得了更好的效果;与其他相关方法的对比实验也验证了该方法的优越性。     

基于动态时间规整和主动外观模型的动态表情识别

针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping, DTW)和主动外观模型(Active Appearance Model, AAM)的动态表情识别。首先采用基于局部梯度DT-CWT(Dual-Tree Complex Wavelet Transform)主方向模式(Dominant Direction Pattern, DDP)特征的DTW对表情序列进行规整。然后采用AAM定位出表情图像的66个特征点并进行跟踪,利用中性脸的特征点构建人脸几何模型,通过人脸几何模型的匹配克服不同人呈现表情的差异,并通过计算表情序列中相邻两帧图像对应特征点的位移获得表情的变化特征。最后采用最近邻分类器进行分类识别。在CK+库和实验室自建库HFUT-FE(HeFei University of Technology-Face Emotion)上的实验结果表明,所提算法具有较高的准确性。     

基于色彩和纹理特征融合的模糊人脸识别方法

基于纹理特征的方法被广泛应用于人脸识别。然而纹理特征依赖于图像的高频细节信息,当图像出现模糊时,单纯利用纹理特征的识别方法的识别精度会急剧下降。为了克服纹理特征的在模糊人脸识别中的不足,提出了一种基于色彩特征和纹理特征融合的识别方法。首先参照人类的对立色感知机制提取人脸的色彩特征;然后,将该色彩特征和纹理特征分别用于识别分类;最后,将二者的识别相似度进行融合,得到最终的识别结果。该色彩特征描述了图像的低频信息,其对图像模糊不敏感,并且与描述图像高频信息的纹理特征具有良好的互补性。在FERET 和AR 人脸库上的实验表明,融合色彩特征和纹理特征有效地提高了模糊人脸的识别精度。     

Facial expression feature extraction using hybrid PCA and LBP

In order to recognize facial expression accurately, the paper proposed a hybrid method of principal component analysis (PCA) and local binary pattern (LBP). Firstly, the method of eight eyes segmentation was introduced to extract the effective area of facial expression image, which can reduce some useless information to subsequent feature extraction. Then PCA extracted the global grayscale feature of the whole facial expression image and reduced the data size at the same time. And LBP extracted local neighbor texture feature of the mouth area, which contributes most to facial expression recognition. Fusing the global and local feature will be more effective for facial expression recognition. Finally, support vector machine (SVM) used the fusion feature to complete facial expression recognition. Experiment results show that, the method proposed in this paper can classify different expressions more effectively and can get higher recognition rate than the traditional recognition methods.     

基于Gabor小波的人脸表情特征提取研究

为了使计算机能更好的识别人脸表情,对基于Gabor小波变换的人脸表情识别方法进行了研究。首先对包含表情区域的静态灰度图像进行预处理,包括对确定的人脸表情区域进行尺寸和灰度归一化,然后利用二维Gabor小波变换提取脸部表情特征,使用快速PCA方法对提取的Gabor小波特征初步降维。再在低维的空间中,利用Fisher准则提取那些有利于分类的特征,最后用SVM分类器进行分类。实验结果表明,上述提出的方法比传统的方法识别速度更快,能达到实时性的要求,并且具有很好的鲁棒性,识别率高。     

Automatic facial expression recognition: feature extraction and selection

In this paper, we investigate feature extraction and feature selection methods as well as classification methods for automatic facial expression recognition (FER) system. The FER system is fully automatic and consists of the following modules: face detection, facial detection, feature extraction, selection of optimal features, and classification. Face detection is based on AdaBoost algorithm and is followed by the extraction of frame with the maximum intensity of emotion using the inter-frame mutual information criterion. The selected frames are then processed to generate characteristic features using different methods including: Gabor filters, log Gabor filter, local binary pattern (LBP) operator, higher-order local autocorrelation (HLAC) and a recent proposed method called HLAC-like features (HLACLF). The most informative features are selected based on both wrapper and filter feature selection methods. Experiments on several facial expression databases show comparisons of different methods.     

基于Gabor小波变换的人脸表情识别

在人脸表情识别中,针对Gabor小波变换特征维数很大的问题,提出了一种新的多方向特征编码方法。通过对Gabor特征幅值进行统计处理,将每个像素点同一尺度不同方向的Gabor特征幅值闽值化成二进制,加强了Gabor小波对图像局部结构信息的表征。同时,结合了类似旋转不变LBP的方法对图像进行降维。为了进一步提高表情的正确识别率,采用一种局部区域融合的方法,最后在JAFFE表情库上进行测试,得到比较好的识别率,验证了所提方法的有效性。     

Entropy-based feature selection for improved 3D facial expression recognition

Facial expressions contain most of the information on human face which is essential for human–computer interaction. Development of robust algorithms for automatic recognition of facial expressions with high recognition rates has been a challenge for the last 10 years. In this paper, we propose a novel feature selection procedure which recognizes basic facial expressions with high recognition rates by utilizing three-Dimensional (3D) geometrical facial feature positions. The paper presents a system of classifying expressions in one of the six basic emotional categories which are anger, disgust, fear, happiness, sadness, and surprise. The paper contributes on feature selections for each expression independently and achieves high recognition rates with the proposed geometric facial features selected for each expression. The novel feature selection procedure is entropy based, and it is employed independently for each of the six basic expressions. The system’s performance is evaluated using the 3D facial expression database, BU-3DFE. Experimental results show that the proposed method outperforms the latest methods reported in the literature.     

Facial expression recognition based on improved completed local ternary patterns

The information of expression texture extracted by the completed local ternary patterns (CLTP) method is not accurate enough, which may cause low recognition rate. Therefore, an improved completed local ternary patterns (ICLTP) is proposed here. Firstly, the Scharr operator is used to calculate gradient magnitudes of images to enhance the detail of texture, which is beneficial to obtaining more accurate expression features. Secondly, two different neighborhoods of CLTP features are combined to obtain much information of facial expression. Finally, K nearest neighbor (KNN) and sparse representation classifier (SRC) are combined for classification and a 10-fold cross-validation method is tested in the JAFFE and CK+ databases. The results show that the ICLTP method can improve the recognition rate of facial expression and reduce the confusion between various expressions. Especially, the misrecognition rate of other six expressions recognized as neutral is reduced in the 7-class expression recognition.     

人脸显性特征的融合构造方法及识别

 目前的人脸识别研究中,面部几何特征没有得到很好的利用.本文阐述了几何特征对于人脸识别的重要性,在此基础上提出了一种提取面部几何特征的新方法;通过融合几何信息和纹理信息构造出一种面部显性特征,并给出了相应的人脸识别方法.这种新的人脸识别方法相对于基于统计学习的子空间方法具有一定的优势,同时也可作为后者的有益补充.实验表明,本文提出的人脸表示特征及识别方法对人脸表情变化和环境光照变化均有一定的鲁棒性.     

基于局部二元模式的快速红外人脸识别系统

红外人脸成像具有对光照、人脸皮肤、表情、姿态等因素变化不敏感的特点,可以在一定程度上弥补这些因素对可见光人脸识别影响的不足。为了充分提取红外人的局部鉴别特征,文中提出了一个基于局部二元模式的快速红外人脸识别系统。该系统首先通过thermoVision A40型红外热像仪获分辨率为320240的红外人脸图像,并通过人脸检测和归一化方法提取大小为6080的标准红外人脸图像。其次,基于人脸图像的对称性,将红外人脸图像分块。通过局部二元模式直方图提取每一分块所包含的纹理模式特征。最后,采用Kruskal-Wallis（KW）特征选择算法,进一步抽取对识别有贡献的局部纹理特征用于分类识别。实验结果表明:提出的热红外人脸系统识别率明显优于基于主成分分析（PCA）和线性鉴别分析（LDA）的传统红外人脸识别系统,可以达到98.6%的识别率。与此同时,提出的红外人脸识别系统识别速度也快于传统基于PCA和LDA系统,可以广泛应用于实时人脸识别中。