基于混合特征和多HMM融合的图像序列表情识别

当前多数图像序列的人脸表情识别方法仅提取图像的某一类特征,导致特征参数不能全面地反映脸部情感信息.提出一种基于混合特征和多HMM融合的图像序列表情识别方法.采用Gabor小波变换、二维离散余弦变换分别提取眼睛及眉毛区域、鼻子区域的纹理变化特征,对嘴巴区域则采用主动表观模型提取形状变化特征.对待测图像序列中的每个表情特征区域采用离散隐马尔可夫模型得出6种表情概率;然后根据在训练阶段得到的每个表情特征区域对每种表情的贡献权值进行加权融合,并选择融合后的表情概率最大者作为识别结果.实验结果表明,该方法综合了表情的纹理与形状变化,能够得到很好的识别效果,且处理速度快,适合于实时图像序列的表情识别.     

基于ICA与HMM的表情识别

独立分量分析(independent component analysis,ICA)是一种盲源分离的有效方法,为了进一步有效提取表情图像中隐藏的信息和提高表情识别率,可将它应用于人脸表情识别。由于脸部表情为人类情感、认知过程的研究提供了极为重要的测量依据,因此表情特征的提取和特征序列所代表的表情状态是表情识别过程中的重要步骤。为了更好地进行表情和情感的分类,提出了一种ICA结合隐马尔可夫模型(HMM)识别表情的情感分类系统,该系统首先利用ICA算法进行表情特征提取,为了加快特征提取的速度,这里采用了FastICA算法;然后通过7个训练好的HMM进行表情识别。实验结果显示,该系统使人脸表情识别的整体效果有了提高,取得了令人满意的效果,可以用来识别人脸表情。     

基于混合特征和分类树的细微表情识别方法

目前多数人脸表情识别的研究仅限于6种基本表情,未考虑到人脸表情变化是细微的.因此提出了基于混合特征和分类树的细微表情识别方法.对眼睛区域采用Gabor小波变换提取纹理变化特征,对鼻子区域采用2D-DCT提取纹理变化特征,而对嘴巴区域采用改进的AAM提取形状变化特征.分类识别时,将易混淆表情先归为一类进行表情的粗分类,然后对类内的表情选择相应表情贡献较大的特征子区域中的特征,进行表情细分类.在每级分类识别过程中,对每个区域采用离散HMM得出表情概率,最后采用在训练阶段得到的贡献权值进行加权融合得到分类结果.实验结果表明,该方法能够得到较好的识别效果,且处理速度快,适合于实时图像序列的细微表情识别.     

基于HMM和微粒群优化算法的表情识别

提出基于微粒群优化算法(PSO)的隐马尔科夫模型(HMM)训练算法,分别用PSO和量子微粒群优化算法进行HMM的参数估计,以提高HMM的性能。将改进的HMM算法应用于人脸表情识别,采用离散余弦变换提取表情特征向量。实验结果表明,该算法能有效提高表情识别率,解决HMM的参数估计问题。     

基于嵌入式HMM的脸部表情识别

提出了一种基于嵌入式EHMM的表情识别方法。通过分析人脸表情的变化情况,利用DCT提取脸部表情特征构成特征向量,构建嵌入式HMM来识别静态图像中的人脸表情,并在单层嵌入式HMM的基础上提出了更利于区分易混淆表情的双层嵌入式HMM结构。实验表明该方法能有效地识别6种基本表情。     

结合差图像和Gabor小波的人脸表情识别

提出一种结合差图像和Gabor小波变换的人脸特征提取方法,并使用支持向量机SVM(Support Vector Machines)进行人脸表情识别。对包含情感信息的静态灰度图像进行预处理,将眼睛和嘴巴等表情子区域从人脸中切割出来,求出其差图像,然后提取差图像的Gabor特征,使用下采样降维减少特征向量的维数并进行归一化,最后使用SVM进行分类。与只从表情子区域提取Ga-bor特征的识别方法进行了比较,结果显示识别效果更好。     

基于主动形状模型差分纹理和局部方向模式特征融合的人脸表情识别

针对人脸表情识别背景复杂性以及表情识别的鲁棒性问题,基于Dempster-Shafer(DS)证据理论,提出了一种融合主动形状模型(ASM)差分纹理特征和局部方向模式(LDP)特征的人脸表情识别方法。ASM差分纹理既能有效地屏蔽个体人脸之间的差异,又能保留人脸表情信息。LDP特征通过计算8个方向的边缘响应来对图像进行编码,因此具有很强的抗噪能力,能够捕捉人脸因表情而产生的细微变化。在DS证据理论融合时,针对不同的特征对表情的识别率,分别用不同的权重系数来计算概率分配值。通过对JAFFE和Cohn-Kanade混合数据库进行实验,表情识别的平均识别率为97.08%,比单特征LDP高出一个百分点,有效地提高了表情识别率和鲁棒性。     

多信息融合的深度学习人脸表情识别算法研究

人脸表情识别作为人机交互系统的重要组成部分,在安防监控、人机交互等领域有广泛的应用,是计算机视觉的研究热点。传统的卷积神经网络方法一般提取单张人脸图像或者人脸标记点作为特征提取的输入数据,未能考虑到人脸全域的表情信息。提出了一种基于三通道多信息融合的深度学习人脸表情识别模型,以人脸图像表情平静到高峰时期标记点坐标的相对位移为输入,提取整个人脸表情图像特征信息,模型融合了稀疏自编码器以提高对边缘特征提取效率。该模型在CK+数据集上进行了训练和测试,实验结果表明,与该领域中的同类算法相比,该算法模型提高了表情识别的准确率。     

基于FLDA、CPCA与HMM的人脸识别

为了获得具有较高识别率的算法,提出了一种将Fisher线性鉴别分析(Fisher Linear Discriminant Analysis)、复主分量分析(Principal Analysis in the Complex Space)与隐马尔可夫模型(Hidden Markov Models)相结合进行人脸识别的方法。对于输入的不同光照、人脸表情和姿势的图像先进行归一化处理,然后将归一化后的图像转化成一维向量,再用FLDA方法提取每幅图像的特征,形成新的复向量空间;通过运用复主分量分析,来抽取人脸图像的有效鉴别特征;最后通过HMM对这些特征进行训练,得到一个优化的HMM并应用于识别。在ORL人脸数据库中进行实验,实验结果表明,该方法具有较高的识别率。     

基于混合特征提取的人脸情感识别研究

为了提高特征提取环节对表情识别率的影响,文中采用活动外观模型（AAM）提取整体形变信息,对眉毛及眼睛区域采用Gabor小波变换提取纹理信息,对嘴巴区域采用模板匹配法获取嘴部纹理信息,然后对提取的各个特征采用离散的隐马尔科夫模型得出6种表情概率,在识别阶段根据每个特征对6种表情的贡献权值分别进行特征加权融合,最后选择最大概率的表情作为表情识别结果。通过对10位女性6种表情图像进行训练实验,该方法有着良好的识别率。     

构建并行卷积神经网络的表情识别算法

目的 表情识别在商业、安全、医学等领域有着广泛的应用前景,能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来,卷积神经网络因其良好的自学习和泛化能力得到广泛应用,但还存在表情特征提取困难、网络训练时间过长等问题,针对以上问题,提出一种基于并行卷积神经网络的表情识别方法。方法 首先对面部表情图像进行人脸定位、灰度统一以及角度调整等预处理,去除了复杂的背景、光照、角度等影响,得到了精确的人脸部分。然后针对表情图像设计一个具有两个并行卷积池化单元的卷积神经网络,可以提取细微的表情部分。该并行结构具有3个不同的通道,分别提取不同的图像特征并进行融合,最后送入SoftMax层进行分类。结果 实验使用提出的并行卷积神经网络在CK+、FER2013两个表情数据集上进行了10倍交叉验证,最终的结果取10次验证的平均值,在CK+及FER2013上取得了94.03%与65.6%的准确率。迭代一次的时间分别为0.185 s和0.101 s。结论 为卷积神经网络的设计提供了一种新思路,可以在控制深度的同时扩展广度,提取更多的表情特征。实验结果表明,针对数量、分辨率、大小等差异较大的表情数据集,该网络模型均能够获得较高的识别率并缩短训练时间。     

基于特征融合与决策树技术的表情识别方法

针对复杂状况下传统表情识别方法存在的问题,提出一种新的非特定人表情识别方法。该算法首先提取每张表情图像的HOG特征和Haar小波特征,然后将两种不同的特征串行融合得到整幅图像的特征,最后通过SVM多分类器完成各层人脸表情的分类识别。在JAFFE人脸表情库上的仿真实验中,该方法的分类准确率达到87.9%,平均时耗达到10.296 6s。对比实验结果表明,所提算法具有更高的识别率、更好的实时性和更强的鲁棒性。     

融合双向2DLDA和局部SVD的人脸识别

针对人脸识别中光照、表情、姿态的影响,提出一种融合双向二维线性鉴别分析和局部对称平均的人脸识别新方法。通过双向二维线性鉴别分析对整幅图像进行特征提取,利用局部奇异值分解对称平均提取图像的局部特征。对2种方法提取到的特征利用基于加权欧式距离的最近邻分类器进行融合识别,在ORL人脸库上的实验结果证明了该方法的有效性。     

基于2维偏最小二乘法的图像局部特征提取及其在面部表情识别中的应用

为了更有效地提取图像的局部特征,提出了一种基于2维偏最小二乘法(two-dimensional partial leastsquare,2DPLS)的图像局部特征提取方法,并将其应用于面部表情识别中。该方法首先利用局部二元模式(localbinary pattern,LBP)算子提取一幅图像中所有子块的纹理特征,并将其组合成局部纹理特征矩阵。由于样本图像被转化为局部纹理特征矩阵,因此可将传统PLS方法推广为2DPLS方法,用来提取其中的判别信息。2DPLS方法通过对类成员关系矩阵的构造进行相应的修改,使其适应样本的矩阵形式,并能体现出人脸局部信息重要性的差异。同时,对于类成员关系协方差矩阵的奇异性问题,也推导出了其广义逆的解析解。基于JAFFE人脸表情库的实验结果表明,该方法不但可以有效地提取图像局部特征,并能取得良好的表情识别效果。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+（the extended Cohn-Kanade dataset）、MMI （the MMI facial expression database）和Oulu-CASIA （the Oulu-CASIA NIR&VIS facial expression database）上的识别准确率分别为98.46%、82.96%和87.12%,接近或超越了当前同类方法中的表情识别最高性能。结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能。     

改进的HOG和Gabor,LBP性能比较

为了实现复杂环境下的人脸特征有效表达,提出一种改进的梯度方向直方图(HOG)人脸识别方法.首先以人脸图像网格作为采样窗口并在其上提取HOG特征;然后将所有网格HOG特征向量进行组合,实现整个人脸特征表达;最后采用最近邻分类器进行识别.另外,比较了该方法与Gabor小波和局部二值模式(LBP)2种著名的人脸局部特征表示方法的优劣.实验结果表明,在调优的HOG参数下,在具有光照和时间环境等复杂变化的FERET人脸库中,较少维数的HOG特征比LBP特征有更好的表现,而且HOG特征提取时间和特征向量维数比Gabor小波方法更具有优势.     

基于深度学习的面部表情识别研究

针对基于深度学习的静态人脸图像表情识别方法进行研究,首先介绍了深度学习的原理,并归纳了目前公开且常用的面部表情数据集;然后介绍了基于深度学习的表情识别的三个步骤,归纳了图像预处理和表情分类的主要方法,重点总结了目前性能较好用来提取特征的深度学习框架以及这些方法的基本原理和优劣势比较;最后指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。