基于混合特征和分类树的细微表情识别方法

目前多数人脸表情识别的研究仅限于6种基本表情,未考虑到人脸表情变化是细微的.因此提出了基于混合特征和分类树的细微表情识别方法.对眼睛区域采用Gabor小波变换提取纹理变化特征,对鼻子区域采用2D-DCT提取纹理变化特征,而对嘴巴区域采用改进的AAM提取形状变化特征.分类识别时,将易混淆表情先归为一类进行表情的粗分类,然后对类内的表情选择相应表情贡献较大的特征子区域中的特征,进行表情细分类.在每级分类识别过程中,对每个区域采用离散HMM得出表情概率,最后采用在训练阶段得到的贡献权值进行加权融合得到分类结果.实验结果表明,该方法能够得到较好的识别效果,且处理速度快,适合于实时图像序列的细微表情识别.     

基于混合特征提取的人脸情感识别研究

为了提高特征提取环节对表情识别率的影响,文中采用活动外观模型（AAM）提取整体形变信息,对眉毛及眼睛区域采用Gabor小波变换提取纹理信息,对嘴巴区域采用模板匹配法获取嘴部纹理信息,然后对提取的各个特征采用离散的隐马尔科夫模型得出6种表情概率,在识别阶段根据每个特征对6种表情的贡献权值分别进行特征加权融合,最后选择最大概率的表情作为表情识别结果。通过对10位女性6种表情图像进行训练实验,该方法有着良好的识别率。     

基于典型相关分析特征融合的人脸表情识别方法

针对目前大部分人脸表情识别算法中仅提取图像的某一类特征,导致特征参数不能全面反映脸部情感信息的问题,提出了一种基于特征融合和离散隐马尔可夫模型（HMM）识别的人脸表情识别方法。对同一个图像序列分别使用离散小波变换(DWT)和标准正交非负矩阵分解(ONMF)提取纹理信息,使用改进的主动表观模型(AAM)提取几何形变信息,再使用高维小样本下典型相关分析(CCA)对提取的两种特征进行特征融合,最后使用离散HMM来进行表情分类识别。实验结果表明,经过特征融合后,在较少特征向量维数下该方法能够达到较高的识别率和较快的识别速度。     

基于Curvelet的边缘纹理特征提取及表情识别

针对小波变换在提取图像边缘特征上的局限性,提出一种使用Curvelet变换进行边缘纹理特征提取的表情识别方法。Curvelet变换在表达图像的边缘曲线上的奇异性时比小波变换更能得到稀疏的图像表示。在表情识别中,对表情图像使用Curvelet变换得到Curvelet系数作为边缘纹理特征能更好地反映表情的变化,使用K最邻近结点算法进行了识别。结果表明在表情识别中该方法比小波变换更有效。     

基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别

针对人脸表情识别背景复杂性以及表情识别的鲁棒性问题,基于Dempster-Shafer(DS)证据理论,提出了一种融合主动形状模型(ASM)差分纹理特征和局部方向模式(LDP)特征的人脸表情识别方法。ASM差分纹理既能有效地屏蔽个体人脸之间的差异,又能保留人脸表情信息。LDP特征通过计算8个方向的边缘响应来对图像进行编码,因此具有很强的抗噪能力,能够捕捉人脸因表情而产生的细微变化。在DS证据理论融合时,针对不同的特征对表情的识别率,分别用不同的权重系数来计算概率分配值。通过对JAFFE和Cohn-Kanade混合数据库进行实验,表情识别的平均识别率为97.08%,比单特征LDP高出一个百分点,有效地提高了表情识别率和鲁棒性。     

基于混合方法的人脸表情识别研究

针对人脸表情图像识别进行了研究,为了提高表情图像的识别率,提出了一种综合Gabor小波、离散余弦变换、支持向量机的人脸面部表情识别方法。采用ISOMAP算法对人脸面部表情的分类以及强度鉴别。利用Gabor小波变换的局部化特点滤掉人脸表情图像中的高频信息,提出结合离散余弦变换提取系数作为识别特征,并用支持向量机的训练样本构造表情强度模型,进行仿真实验。实验结果表明方法与传统的识别方法相比,系统具有良好的鲁棒性,达到较高的识别率,并能实现了人脸面部表情的分类和强度鉴别。因此充分证明了方法的有效性。     

基于Wold模型和支持向量机的纹理识别

提出一种基于Wold模型和支持向量机的纹理识别新方法,有效解决了方向和尺度变化给纹理识别带来的困难.该方法首先对纹理图像进行傅里叶变换和自适应谱分解,将确定域功率谱的扇形区域能量和环形区域能量分布参数作为纹理扩展特征.然后,利用能量分布特征把纹理的主方向旋转到0°,提取旋转后图像的共生矩阵和小波变换统计参数作为基本纹理特征.在两组分别包含25类单色自然纹理的图像库上进行的识别实验表明,该方法获得了良好的识别效果.     

一种基于时空分析的步态识别方法

提出一种基于侧影的非模型步态识别方法,从图像序列中提取特征进行识别.首先,采用背景减除技术检测跟踪人的侧影,提取出相应的侧影形状轮廓.然后,用新的轮廓形状描述和分析方法对轮廓形状进行时空分析,并运用离散傅立叶变换进一步提取最终用于识别的步态特征.该描述和分析方法兼顾步态的空间和时间信息,能在较低的代价下表达步态运动的时空变化模式.最后,运用标准的模式分类器对步态序列进行训练和识别.在常用数据库上所做测试的结果表明,本方法行之有效.     

基于时序分析的微弱表情识别方法

依赖现有夸张的表情图像序列数据库,将微弱表情看成是整个夸张表情图像序列中的前面一段,提出基于时序分析的微弱表情识别方法.首先融合二值图像和灰度图像序列的光流运动场,提取眉毛、鼻子和嘴巴的动作方向及强度共5维特征序列.接着采用夸张表情特征序列训练隐马尔科夫模型(HMM),分析特征序列与夸张表情的关系.通过HMM前向学习识别微弱表情序列.同时采用Boosting算法提高识别精度.在Cohn Kanade表情数据库上进行实验验证,取得较好的实验效果.     

深度学习下融合不同模型的小样本表情识别

为了进一步提高人脸表情识别在小样本中的准确率,提出了一种深度学习下融合不同模型的小样本表情识别方法。该方法首先对单个卷积神经网络(CNN)模型进行比较,通过dropout层不同的节点保留概率p,筛选相对合适的CNN。之后采用尺度不变特征变换(SIFT)算法提取出特征,使用SIFT提取特征的目的是提高小数据的性能。为了减少误差,避免过拟合,将所有模型进行汇总,采用简单平均的模型融合方法得到CNN-SIFT-AVG模型。最后,只采用少量样本数据来训练模型即可。该模型已在FER2013、CK+和JAFFE数据集上进行了验证实验。实验结果表明,该模型可以很大程度上提高小样本表情识别的准确率,并在FER2013、CK+和JAFFE数据集上产生了较优异的结果,与其他表情识别方法相比,准确率最大提升约6%。     

Natural facial expression recognition using differential-AAM and manifold learning

This paper proposes a novel natural facial expression recognition method that recognizes a sequence of dynamic facial expression images using the differential active appearance model (AAM) and manifold learning as follows. First, the differential-AAM features (DAFs) are computed by the difference of the AAM parameters between an input face image and a reference (neutral expression) face image. Second, manifold learning embeds the DAFs on the smooth and continuous feature space. Third, the input facial expression is recognized through two steps: (1) computing the distances between the input image sequence and gallery image sequences using directed Hausdorff distance (DHD) and (2) selecting the expression by a majority voting of k-nearest neighbors (k-NN) sequences in the gallery. The DAFs are robust and efficient for the facial expression analysis due to the elimination of the inter-person, camera, and illumination variations. Since the DAFs treat the neutral expression image as the reference image, the neutral expression image must be found effectively. This is done via the differential facial expression probability density model (DFEPDM) using the kernel density approximation of the positively directional DAFs changing from neutral to angry (happy, surprised) and negatively directional DAFs changing from angry (happy, surprised) to neutral. Then, a face image is considered to be the neutral expression if it has the maximum DFEPDM in the input sequences. Experimental results show that (1) the DAFs improve the facial expression recognition performance over conventional AAM features by 20% and (2) the sequence-based k-NN classifier provides a 95% facial expression recognition performance on the facial expression database (FED06).     

基于CBP-TOP特征的人脸表情识别*

针对人脸表情时空域特征信息的有效提取,本文提出了一种CBP-TOP（Centralized Binary Patterns From Three Orthogonal Panels）特征和SVM分类器相结合的人脸表情识别新方法。该方法首先将原始图像序列进行图像预处理,包括人脸检测、图像截取和图像尺度归一化,然后用CBP-TOP算子对图像序列进行分块提取特征,最后采用SVM分类器进行表情识别。实验结果表明,该方法能更有效提取图像序列的运动特征和动态纹理信息,提高了表情识别的准确率。和VLBP特征相比, CBP-TOP特征在表情识别中具有更高的识别率和更快的识别速度。     

基于流形学习2D-LDLPA的东亚人脸表情识别算法

如何准确提取出人脸的表情特征并设计出性能优越的分类器是表情识别研究中最关键的两个问题,尤其对于以含蓄著称的东亚人表情,识别起来更加困难。针对这一难点,首先基于图像投影的方式,提出二维线性判别保局分析（2D-LDLPA）,直接在表情图像的二维矩阵中提取特征,然后,以提高东亚人脸表情识别率为目标,通过构造决策树来学习提取出的表情特征,进而使用随机森林算法实现分类,最后,在两个东亚人脸表情库上测试,验证所提算法识别的准确性和计算效率。     

面部表情图像的分析与识别

本文通过对若干类面部表情图像的分析，建立了基于部件分解组合的人脸图像模型。根据对部件形状和相对位置的分析，提出了表情的分类树，建立了表情模型的向量表示。根据能量优化原理，利用模板匹配方法提取目标特征，得到人脸表情的表征向量，由模式分类方法实现表情的识别。     

基于光流特征与高斯LDA的面部表情识别算法

文中提出了一种人脸表情识别的新方法,该方法采用动态的光流特征来描述人脸表情的变化差异,提高人脸表情的识别率。首先,计算人脸表情图像与中性表情图像之间的光流特征;然后,对传统的线性判断分析方法(Linear Discriminant Analysis,LDA)进行扩展,采用高斯LDA方法对光流特征进行映射,从而得到人脸表情图像的特征向量;最后,设计多类支持向量机分类器,实现人脸表情的分类与识别。在JAFFE和CK人脸表情数据库上的表情识别实验结果表明,该方法的平均识别率比3种对比方法的高出2%以上。     

基于Gabor、Fisher脸多特征提取及集成SVM的人脸表情识别*

针对于静态的灰度图像表情库,提出了基于多种脸部表情特征多级分类的表情识别算法。首先在选取的人脸特征点上做局部的Gabor小波变换,为了提高特征提取速度,利用改进的弹性图匹配算法来提取图像中的人脸有效区域,在提取的人脸区域中提取几何特征,并通过Fisher脸法提取统计特征,利用几何特征与建立的相应一级集成SVM来进行初次分类,最后利用Fisher特征与建立的相应二级集成SVM进行最终分类。通过在JAFFE与Cohn-Kanade表情库中实验,证明本文方法同单个特征相比较,具有更高的表情识别率以及更强的鲁棒性     

基于视听觉感知系统的多模态情感识别

情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑到不同模型间的弱依赖性,采用加权投票法进行模型融合,得到基于多个单特征模型的融合表情识别模型.本文使用AFEW数据集进行实验,通过对比融合表情识别模型与单特征的表情识别模型的识别结果,验证了基于视听觉感知系统的多模态情感识别效果要优于基于单模态的识别效果.