人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

采用深度学习方法的非正面表情识别综述

2017年人工智能正式升级为中国国家战略,作为人工智能领域中重要的研究方向,人脸表情识别受到了国内外研究者们的广泛关注。然而传统的人脸表情识别技术无法适应自然环境下的表情识别需求。因此非正面人脸表情识别方法成为实现表情识别技术实用化突破的重点。但是现有的非正面表情识别研究面临很多困难：头部偏转不仅造成了识别图像的扭曲,而且还遮挡了部分人脸区域,严重干扰了表情特征的提取与识别。有鉴于此,研究者们将深度学习技术与非正面表情识别相结合,依靠非正面表情图像的深度信息,实现算法识别能力的提升。综述详细介绍了深度神经网络的结构,对最新的深度学习神经网络研究方法进行分类对比,同时对未来的研究和挑战做了展望。     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。     

基于人工情感的脸部表情识别的研究

脸部特征的提取和各种特征所代表的表情状态是识别是脸部表情识别过程中的重要步骤。该文研究了脸部表情识别方面的一些进展,概括论述了面部表情识别的主要研究内容,以及图像预处理,特征提取,图像识别和表情识别的主要算法和方法。研究表明,在正面人脸和无背景时识别效果较好;在复杂背景下,或人脸被部分遮挡或角度偏转角度较大时,识别效果不好,它的识别效果离实用还有较大的距离,还需要进一步研究。     

基于双线性模型的人脸表情识别技术

针对现阶段人脸表情识别过程中所遇到的问题,基于三维数据库BU-3DFE中的三维表情数据,研究三维人脸表情数据的点云对齐及基于对齐数据的双线性模型建立,对基于双线性模型的识别算法加以改进,形成新的识别分类算法,降低原有算法中身份特征参与计算的比重,最大可能地降低身份特征对于整个表情识别过程的影响。旨在提高表情识别的结果,最终实现高鲁棒性的三维表情识别。     

人脸表情识别方法综述

人脸表情识别是模式识别中一个非常重要却十分复杂的课题。首先对计算机人脸表情识别技术的研究背景及发展历程作了简单回顾。然后对近期人脸表情识别的方法进行了分类综述。通过对各种识别方法的分析与比较，提出了人脸表情识别技术实用化所需要考虑的几个方面，进而展望了今后人脸表情识别技术的发展方向。     

基于动态序列特征的人脸表情识别方法

基于静态灰度图特征识别表情的方法简单、快捷,在进行特定人表情识别时可以取得很好的识别结果,但在进行非特定人表情识别时却容易受到肤色、光照等因素的影响,识别效果较差。通过动态序列提取的运动特征能有效地反映表情运动的形变过程,用于非特定人表情识别时可以取得较好的识别结果。研究了通过光流和帧间灰度差两类方法提取表情序列动态特征,再与支持向量机（SVM）和隐马尔柯夫模型（HMM）两种分类器组合,进行非特定人表情识别,并分析比较了两类方法的特点与优劣,说明了利用运动特征识别人脸表情的有效性。     

基于子区域加权的不同年龄段人脸表情识别

人脸图像中不同子区域对表情识别的贡献度不同,而且同一子区域对不同年龄段人(如中老年、青年、儿童)的表情识别贡献度也不同。因此,若采用单一固定的子区域加权模式进行人脸表情识别,无法达到最佳识别率。为了提高识别率,提出一种可变加权值的表情识别方法。对中老年人、青年人和儿童分别建立表情数据库,分割出纯人脸区域、眼睛区域和嘴巴区域。对这些区域提取特征后将其进行加权融合,通过设置不同的权值研究其对不同年龄段人脸表情识别的影响。实验结果表明,采用可变加权值比采用固定加权值方法的识别率明显更高。对中老年人的表情识别率提高了8.6%,对青年人的表情识别率提高了4.8%,对儿童的表情识别率提高了1.4%。     

基于混淆交叉支撑向量机树的自动面部表情分类方法

面部表情自动分类是情感信息处理研究中的重要内容,为了提高表情识别的准确率以及鲁棒性,提出了一种基于混淆交叉支撑向量机树的面部表情自动分类方法。该方法依据伪Zernike矩特征,以混淆交叉支撑向量机树对矩特征进行学习,实现面部表情的自动分类。混淆交叉支撑向量机树的结构使模型能够根据教师信号将面部表情识别问题分解,在不同的层次上以相对较低的复杂度解决子问题;在训练阶段,对当前中间节点划分的两个子样本集进行混淆交叉,增强了模型在面部表情识别上的整体泛化性能以及鲁棒性。实验对Cohn-Kanade面部表情数据库中的6类基本表情进行自动分类,准确率达到96.31%;与同样基于该数据库的识别方法相比,该方法在识别正确率和鲁棒性上具有较大的优势。     

基于跨连接LeNet-5网络的面部表情识别

为避免人为因素对表情特征提取产生的影响,本文选择卷积神经网络进行人脸表情识别的研究.相较于传统的表情识别方法需要进行复杂的人工特征提取,卷积神经网络可以省略人为提取特征的过程.经典的LeNet-5卷积神经网络在手写数字库上取得了很好的识别效果,但在表情识别中识别率不高.本文提出了一种改进的LeNet-5卷积神经网络来进行面部表情识别,将网络结构中提取的低层次特征与高层次特征相结合构造分类器,该方法在JAFFE表情公开库和CK+数据库上取得了较好的结果.     

Bilinear Models for 3-D Face and Facial Expression Recognition

In this paper, we explore bilinear models for jointly addressing 3-D face and facial expression recognition. An elastically deformable model algorithm that establishes correspondence among a set of faces is proposed first and then bilinear models that decouple the identity and facial expression factors are constructed. Fitting these models to unknown faces enables us to perform face recognition invariant to facial expressions and facial expression recognition with unknown identity. A quantitative evaluation of the proposed technique is conducted on the publicly available BU-3DFE face database in comparison with our previous work on face recognition and other state-of-the-art algorithms for facial expression recognition. Experimental results demonstrate an overall 90.5% facial expression recognition rate and an 86% rank-1 face recognition rate.      

基于量子神经网络的人脸表情识别研究

人脸表情识别是模式识别领域的一个非常重要却十分复杂的研究课题。为了提高识别率和可靠性,提出了一种基于多层激励函数的量子神经网络和多级分类器组合的人脸表情识别方法。采用CMU人脸表情库进行训练和测试。实验结果表明,该识别方法在识别率和可靠性方面均有很好的效果,同时也体现了量子神经网络用于模式识别的优越性和潜力。     

基于层次分析法语义知识的人脸表情识别新方法

在目前的人脸表情识别系统中,人脸表情的机器识别和人类感知之间存在着本质的差异,造成人脸表情识别率不高。为了减小人脸图像底层视觉特征与高层语义之间的语义鸿沟,提出一种基于层次分析法（AHP）语义知识的人脸表情识别新方法。该方法首先采用层次分析法对训练集中人脸图像进行高层语义描述,建立语义特征向量,在底层视觉特征提取阶段,提出一种二阶PCA（principal component analysis）方法来提取人脸图像的纹理特征;在识别阶段,仅利用输入人脸图像的底层视觉特征,采用K-NN（k-nearest neighbor）算法并结合学习阶段建立的语义特征向量,进行人脸表情分类识别。提出的人脸表情识别方法结合底层视觉特征和高层语义知识,减小了人脸图像底层视觉特征与高层语义之间的语义鸿沟。在JAFFE人脸表情数据库中进行实验,获得了93.92%的平均识别率。理论分析和实验结果表明,与其他的人脸表情识别方法相比,该方法具有更好的识别效果。     

基于张量分析的表情特征提取

表情识别的性能依赖于所提取表情特征的有效性,现有方法提取的表情基本上是人脸与表情的融合体,然而不同个体的人脸差异是表情识别的主要干扰因素。在表情识别时,理想情况是将个体相关的人脸特征和与个体无关的表情特征相分离。针对此问题,在三维空间建立人脸张量;然后用张量分析的方法将人脸特征与表情特征进行分离,使获取的表情参数与人脸无关。从而排除不同个体的人脸差异对表情识别的干扰。最后,在JAFFE表情数据库上验证了该方法的有效性。     

心理学视角下的自动表情识别

自动表情识别是心理学与计算机科学等深度交叉的前沿领域。情绪心理学、模式识别、情感计算等领域的研究者发展表情识别相关的理论、数据库和算法,极大地推动了自动表情识别技术的进步。文章基于心理学视角,结合我们前期开展的相关工作,首先梳理自动表情识别的心理学基础、情绪的面部表达方式、表情数据的演化、表情样本的标注等方面的理论观点与实践进展,然后分析指出自动表情识别面临的主要问题,最后基于预测加工理论的建构观点,提出注重交互过程中的表情“理解”,有望进一步提高自动表情识别的有效性,并预期这可能是自动表情识别研究的未来发展方向。     

基于光流特征与高斯LDA的面部表情识别算法

文中提出了一种人脸表情识别的新方法,该方法采用动态的光流特征来描述人脸表情的变化差异,提高人脸表情的识别率。首先,计算人脸表情图像与中性表情图像之间的光流特征;然后,对传统的线性判断分析方法(Linear Discriminant Analysis,LDA)进行扩展,采用高斯LDA方法对光流特征进行映射,从而得到人脸表情图像的特征向量;最后,设计多类支持向量机分类器,实现人脸表情的分类与识别。在JAFFE和CK人脸表情数据库上的表情识别实验结果表明,该方法的平均识别率比3种对比方法的高出2%以上。     

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

基于基准线的多候选数学公式识别

提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈所在。提出了一种利用基准线定位公式嵌套结构,多候选分析公式符号间结构关系的方法,并使用LaTex格式表示数学公式的识别结果。在大量的公式图像组成的测试集上取得了良好的公式分析正确率。