人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

基于层次分析法语义知识的人脸表情识别新方法

在目前的人脸表情识别系统中,人脸表情的机器识别和人类感知之间存在着本质的差异,造成人脸表情识别率不高。为了减小人脸图像底层视觉特征与高层语义之间的语义鸿沟,提出一种基于层次分析法（AHP）语义知识的人脸表情识别新方法。该方法首先采用层次分析法对训练集中人脸图像进行高层语义描述,建立语义特征向量,在底层视觉特征提取阶段,提出一种二阶PCA（principal component analysis）方法来提取人脸图像的纹理特征;在识别阶段,仅利用输入人脸图像的底层视觉特征,采用K-NN（k-nearest neighbor）算法并结合学习阶段建立的语义特征向量,进行人脸表情分类识别。提出的人脸表情识别方法结合底层视觉特征和高层语义知识,减小了人脸图像底层视觉特征与高层语义之间的语义鸿沟。在JAFFE人脸表情数据库中进行实验,获得了93.92%的平均识别率。理论分析和实验结果表明,与其他的人脸表情识别方法相比,该方法具有更好的识别效果。     

人脸表情识别研究的新进展

人脸表情识别（facial expression recognition,简称FER）作为智能化人机交互技术中的一个重要组成部分,近年来得到了广泛的关注,涌现出许多新方法.本文综述了国内外近4年人脸表情识别（FER）技术的最新发展.首先,介绍了FER系统的组成：人脸检测、表情特征提取和表情分类,并详细叙述了其中表情特征提取和表情分类的方法.然后,对目前广泛应用的人脸表情数据库进行了介绍,并在此基础上对当前一些FER系统的性能进行了比较分析.最后,对FER领域的研究现状和挑战给予了评述,对FER可能的发展方向进行了讨论.     

一种新的人面部表情识别方法

论文提出一种全自动识别人脸七种基本表情(愤怒、厌恶、恐惧、高兴、无表情、悲伤和惊奇)的方法。该方法首先采用几何模型匹配法自动定位出人眼,在此基础上进行人脸大小归一化,然后利用局域二值模式(LocalBinaryPattern,LBP)技术提取面部特征,最后采用由粗到细的方案进行表情分类。采用日本的JAFFE公用表情数据库来检测算法的性能,实验结果验证了方法的有效性。     

人脸疼痛表情识别综述

自动疼痛识别技术在医疗保健,特别是在对无法用语言表达疼痛的病人的治疗和护理中具有广泛的应用前景,因此逐步受到研究者的关注。由于人的面部线索是很重要的疼痛评估依据,并且基于计算机视觉技术的人脸表情识别研究已取得很大进展,因此利用面部表情信息实现自动疼痛识别成为了一条有效的途径。本文首先简要介绍了目前常用的STOIC表情数据库、 婴儿疼痛表情分类（COPE）数据库、UNBC-McMaster肩部疼痛数据库和BioVid热疼痛数据库,然后从静态图像疼痛表情识别、视频序列疼痛表情识别、特定人物疼痛识别以及多信息融合疼痛识别4个方面对近10年的疼痛表情识别主要方法进行了详细 的介绍,最后对目前人脸疼痛表情识别现状进行总结和分析,并阐述了其存在的挑战和未来的发展方向。     

基于混淆交叉支撑向量机树的自动面部表情分类方法

面部表情自动分类是情感信息处理研究中的重要内容,为了提高表情识别的准确率以及鲁棒性,提出了一种基于混淆交叉支撑向量机树的面部表情自动分类方法。该方法依据伪Zernike矩特征,以混淆交叉支撑向量机树对矩特征进行学习,实现面部表情的自动分类。混淆交叉支撑向量机树的结构使模型能够根据教师信号将面部表情识别问题分解,在不同的层次上以相对较低的复杂度解决子问题;在训练阶段,对当前中间节点划分的两个子样本集进行混淆交叉,增强了模型在面部表情识别上的整体泛化性能以及鲁棒性。实验对Cohn-Kanade面部表情数据库中的6类基本表情进行自动分类,准确率达到96.31%;与同样基于该数据库的识别方法相比,该方法在识别正确率和鲁棒性上具有较大的优势。     

基于特征融合和模糊核判别分析的面部表情识别方法

提出了基于特征融合和模糊核判别分析（FKDA）的面部表情识别方法。首先,从每幅人脸图像中手工定位34个基准点,作为面部表情图像的几何特征,同时采用Gabor小波变换方法对每幅表情图像进行变换,并提取基准点处的Gabor小波系数值作为表情图像的Gabor特征;其次,利用典型相关分析技术对几何特征和Gabor特征进行特征融合,作为表情识别的输入特征;然后,利用模糊核判别分析方法进一步提取表情的鉴别特征;最后,采用最近邻分类器完成表情的分类识别。通过在JAFFE国际表情数据库和Ekman“面部表情图片”数据库上的实验,证实了所提方法的有效性。     

基于混合特征提取的人脸情感识别研究

为了提高特征提取环节对表情识别率的影响,文中采用活动外观模型（AAM）提取整体形变信息,对眉毛及眼睛区域采用Gabor小波变换提取纹理信息,对嘴巴区域采用模板匹配法获取嘴部纹理信息,然后对提取的各个特征采用离散的隐马尔科夫模型得出6种表情概率,在识别阶段根据每个特征对6种表情的贡献权值分别进行特征加权融合,最后选择最大概率的表情作为表情识别结果。通过对10位女性6种表情图像进行训练实验,该方法有着良好的识别率。     

使用非负矩阵分解方法识别脸部表情

在论文中两种图像识别的方法即非负矩阵分解方法(NMF)和主成分分析方法(PCA)被适用于认识三种基本脸部表情的数据库.三种表情是:高兴,惊恐和中性表达.采用NMF和PCA方法提取的脸部表情特征被分别独立地送到最大相关分类比较不同的结果.基于CMU脸数据库的实验方面证明,我们得到的结论是NMF有了比较好的表现.     

基于局部SVM分类器的表情识别方法

提出了一种新的视频人脸表情识别方法. 该方法将识别过程分成人脸表情特征提取和分类2个部分,首先采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取人脸表情几何特征;然后,采用一种新的局部支撑向量机分类器对表情进行分类. 在Cohn2Kanade数据库上对KNN、SVM、KNN2SVM和LSVM 4种分类器的比较实验结果验证了所提出方法的有效性.     

An approach for moving object recognition based on BPR and CI

A recognition and classification method of multiple moving objects in traffic based on the combination of the Biomimetic Pattern Recognition (BPR) and Choquet Integral (CI) is proposed. The recognition process consists of three stages. At the first stage, vehicles and pedestrians are detected in video images and the area, the shape and the velocity features are obtained by classical methods. At the second stage, BPR is used to classify the Zernike moments extracted at the first stage. At the last stage, CI is then adopted for multi-features fusion based on the output of BPR, and the area and the velocity features obtained at the first stage to improve the recognition accuracy. Experiment results show that this approach is efficient.     

表情和姿态的双模态情感识别

多模态情感识别是当前情感计算研究领域的重要内容,针对人脸表情和动作姿态开展双模态情感识别研究,提出一种基于双边稀疏偏最小二乘的表情和姿态的双模态情感识别方法.首先,从视频图像系列中分别提取表情和姿态两种模态的空时特征作为情感特征矢量.然后,通过双边稀疏偏最小二乘(BSPLS)的数据降维方法来进一步提取两组模态中的情感特征,并组合成新的情感特征向量.最后,采用了两种分类器来进行情感的分类识别.以国际上广泛采用的FABO表情和姿态的双模态情感数据库为实验数据,并与多种子空间方法(主成分分析、典型相关分析、偏最小二乘回归)进行对比实验来评估本文方法的识别性能.实验结果表明,两种模态融合后相比单模态更加有效,双边稀疏偏最小二乘(BSPLS)算法在几种方法中得到最高的情感识别率.     

一种面向识别的无监督特征学习算法

特征抽取是图像识别的关键环节,准确的特征表达能够产生更准确的分类效果。采用软阈值编码器和正交匹配追踪(OMP)算法正交化视觉词典的方法,以提高单级计算结构的识别率,并进一步构造两级计算结构,获取图像更准确的特征,以提高图像的识别率。实验表明,采用软阈值编码器和OMP算法能提高单级计算结构提取特征的能力,提高大样本数据集中图像的识别率。两级计算结构能够提高自选数据集中图像的识别率。采用OMP算法能提高VOC2012数据中图像的识别率。在自选数据集上,两级计算结构优于单级计算结构,与NIN结构相比表现出优势,与卷积神经网络CNN相当,说明两级计算结构在自选数据集上有很好的适应性。     

Two stage emotion recognition based on speaking rate

This paper proposes two stage speech emotion recognition approach using speaking rate. The emotions considered in this study are anger, disgust, fear, happy, neutral, sadness, sarcastic and surprise. At the first stage, based on speaking rate, eight emotions are categorized into 3 broad groups namely active (fast), normal and passive (slow). In the second stage, these 3 broad groups are further classified into individual emotions using vocal tract characteristics. Gaussian mixture models (GMM) are used for developing the emotion models. Emotion classification performance at broader level, based on speaking rate is found to be around 99% for speaker and text dependent cases. Performance of overall emotion classification is observed to be improved using the proposed two stage approach. Along with spectral features, the formant features are explored in the second stage, to achieve robust emotion recognition performance in case of speaker, gender and text independent cases.     

多字体印刷藏文字符识别

藏文字符识别系统是中文多文种信息处理系统的重要组成部分,但至今国内外的研究基本处于空白。本文提出了一种基于统计模式识别的多字体印刷藏文字符识别方法:从字符轮廓中抽取方向线素特征,利用线性鉴别分析(LDA)压缩降维后得到紧凑的字符特征向量。采用基于置信度分析的两级分类策略,设计了带偏差欧氏距离分类器(EDD)完成高效的粗分类,细分类采用修正二次鉴别函数(MQDF)。通过实验选取恰当的分类器参数后,在容量为177,600字符(300样本/字符类)的测试集上的识别率达到99.79%,证明了该方法的有效性。     

基于子模式行列方向二维线性判别分析特征融合的特征提取

针对人脸识别中表情和光照变化引起的面部变化、灰度不均匀等识别问题,提出一种基于子模式行列方向二维线性判别分析(Sp-RC2DLDA)的特征提取方法。该方法通过对原图像进行子模式分块处理,能有效提取图像的局部特征,减少表情、光照变化的影响,通过把相同位置的子图像组成子样本集,合理利用了子块间的空间关系,进一步提高了识别率;同时,对各个子样本集分别利用行方向二维线性判别分析(2DLDA)和列方向扩展2DLDA(E2DLDA)进行特征抽取,得到互补的行、列方向子图像特征,并分别把子图像特征组合成原图像的特征矩阵,然后利用一种特征融合方法对行、列方向特征矩阵进行有效融合,对互补的特征空间进行融合有效地改善了识别性能;最后采用最近邻分类器进行人脸识别实验。在Yale及ORL人脸库上的实验结果表明,Sp-RC2DLDA有效地减少了表情和光照变化的影响,具有较好的鲁棒性。     

Texture and shape information fusion for facial expression and facial action unit recognition

A novel method based on fusion of texture and shape information is proposed for facial expression and Facial Action Unit (FAU) recognition from video sequences. Regarding facial expression recognition, a subspace method based on Discriminant Non-negative Matrix Factorization (DNMF) is applied to the images, thus extracting the texture information. In order to extract the shape information, the system firstly extracts the deformed Candide facial grid that corresponds to the facial expression depicted in the video sequence. A Support Vector Machine (SVM) system designed on an Euclidean space, defined over a novel metric between grids, is used for the classification of the shape information. Regarding FAU recognition, the texture extraction method (DNMF) is applied on the differences images of the video sequence, calculated taking under consideration the neutral and the expressive frame. An SVM system is used for FAU classification from the shape information. This time, the shape information consists of the grid node coordinate displacements between the neutral and the expressed facial expression frame. The fusion of texture and shape information is performed using various approaches, among which are SVMs and Median Radial Basis Functions (MRBFs), in order to detect the facial expression and the set of present FAUs. The accuracy achieved using the Cohn–Kanade database is 92.3% when recognizing the seven basic facial expressions (anger, disgust, fear, happiness, sadness, surprise and neutral), and 92.1% when recognizing the 17 FAUs that are responsible for facial expression development.     

基于特征分组加权聚类的表情识别

给出一种基于特征加权聚类的表情识别算法．首先通过特征分组加权充分考虑特征之间度量值的不均衡性,更好地描述了同类表情中不同特征作用的差异;其次利用模糊聚类思想在算法中引入表情不确定性描述,给出了基于形状特征识别表情时表情的模糊表示方法．该算法实现简单,计算复杂度低,能够实时、动态地更新训练结果,并且有良好的分类效果．