一种处理部分遮挡表情图像的方法

针对目前表情识别中眼部因头发、帽子等物体而存在部分遮挡的问题,提出了一种基于对称变换的眼部遮挡处理方法。方法针对二值化的人脸表情图像,参照人脸几何特征对眼部区域进行垂直积分投影;通过中心线检测算法,确定人脸的中心线并判断是否存在遮挡。对于不可容忍的遮挡,进行对称变换处理以修复表情图像。实验表明,在相同的特征提取方法和分类器选择情况下,该方法可有效提高部分遮挡人脸表情的识别效果,并可容忍头部一定范围内的偏转。     

基于改进的非负矩阵分解的人脸表情识别

针对存在部分遮挡的人脸,提出了一种基于改进的非负矩阵分解的人脸表情识别方法,首先,用改进的非负矩阵分解算法对人脸图像进行表情特征提取,然后用最大相关分类器对面部表情进行分类。在Cohn-Kanade人脸表情数据库上的实验,结果表明,该方法提高了无遮挡的人脸表情识别,对有遮挡的人脸表情识别也有改善。     

基于HSMM的人脸表情识别

针对表情识别中存在人脸semi-Markov models,HSMM)的人脸表情识别模型.该模型具有每个状态产生多个观察值、允许观察值缺省等特性,据此识别那些由于局部被遮挡或其它原因引起的丢失特征的人脸表情.实验结果表明,该模型提高了部分遮挡人脸的表情识别效果,同时对无遮挡人脸的表情识别也有所改善.     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

基于稀疏表示的遮挡人脸表情识别方法

用基于稀疏表示的分类方法识别遮挡人脸表情时,遮挡字典不具有冗余度且身份特征易干扰表情分类.针对此问题,文中提出一种基于稀疏表示的遮挡人脸表情识别方法.该方法首先通过对图像多级分块得到具有冗余度的遮挡字典,然后通过稀疏分解求出待测图像的稀疏表示系数,最后在待测图像所在的子空间内实现表情类别判断.该方法使待测图像的分解系数变得更稀疏,同时避免身份特征对表情分类的干扰.在Cohn-Kanade和JAFFE人脸库上的遮挡表情识别实验表明,该方法对遮挡人脸的表情识别具有较强的鲁棒性.     

遮挡人脸表情识别深度学习方法研究进展

在真实环境下遮挡是准确分析识别人脸表情的主要障碍之一。近年来研究者采用深度学习技术解决遮挡条件下表情误识别率高的问题。针对遮挡表情识别的深度学习算法和遮挡相关的问题进行归纳总结。首先,概括局部遮挡条件下表情识别的发展现状、表情的表示方式以及研究遮挡表情用到的数据集;其次,回顾遮挡表情识别深度学习方法的最新进展和分析遮挡对表情的影响;最后,总结主要技术挑战,研究难点及其可能的应对策略。目的是为将来的遮挡表情识别研究提供更有益的参考依据和基准。     

基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

基于性别和年龄因子分析的鲁棒性人脸表情识别

针对非可控环境下人脸表情识别面临的诸如种族、性别和年龄等因子变化问题, 提出一种基于深度条件随机森林的鲁棒性人脸表情识别方法.与传统的单任务人脸表情识别方法不同, 设计了一种以人脸表情识别为主, 人脸性别和年龄属性识别为辅的多任务识别模型.在研究中发现, 人脸性别和年龄等属性对人脸表情识别有一定的影响, 为了捕获它们之间的关系, 提出一种基于人脸性别和年龄双属性的深度条件随机森林人脸表情识别方法.在特征提取阶段, 采用多示例注意力机制进行人脸特征提取以便去除诸如光照、遮挡和低分辨率等变化问题; 在人脸表情识别阶段, 根据人脸性别和年龄双属性因子, 采用多条件随机森林方法进行人脸表情识别.在公开的CK+, ExpW, RAF-DB, AffectNet人脸表情数据库上进行了大量实验：在经典的CK+人脸库上达到99%识别率, 在具有挑战性的自然场景库(ExpW, RAF-DB, AffectNet组合库)上达到70.52%的识别率.实验结果表明：与其他方法相比具有先进性, 对自然场景中的遮挡、噪声和分辨率变化具有一定的鲁棒性.     

人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

人脸性别约束下的深度随机森林表情识别

由于人脸表情类内变化和类间干扰因素的存在,人脸表情识别仍面临着巨大挑战.提出一种基于性别条件约束随机森林的深度人脸表情识别方法,解决人脸表情识别中噪声、性别等变化和干扰问题.首先,采用深度多示例学习方法提取鲁棒性人脸特征,解决人脸光照、遮挡和低分辨率等图像变化问题;其次,采用性别条件随机森林分类方法进行人脸表情分类器设...     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

基于人脸关键特征提取的表情识别

自然场景下人脸表情由于受遮挡、光照等因素影响,以及表情局部变化细微,导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法,以ResNet18为主干网络,利用残差连接模块加深网络结构,以提取更多深层次的表情特征。通过引入裁剪掩码模块,在训练集图像上的某个区域进行掩码,向训练模型中增加遮挡等非线性因素,提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征,并分配更多的权重给表情变化明显的特征图,同时抑制非表情特征。在特征图输出前加入Dropout正则化策略,通过在训练中随机失活部分神经元,达到集成多个网络模型的训练效果,提升模型泛化能力。实验结果表明,与L2-SVMs、IcRL、DLP-CNN等方法相比,该方法有效提高了表情识别准确率,在2个公开表情数据集Fer2013和RAF-DB上的识别准确率分别为74.366%和86.115%。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

An analysis of facial expression recognition under partial facial image occlusion

In this paper, an analysis of the effect of partial occlusion on facial expression recognition is investigated. The classification from partially occluded images in one of the six basic facial expressions is performed using a method based on Gabor wavelets texture information extraction, a supervised image decomposition method based on Discriminant Non-negative Matrix Factorization and a shape-based method that exploits the geometrical displacement of certain facial features. We demonstrate how partial occlusion affects the above mentioned methods in the classification of the six basic facial expressions, and indicate the way partial occlusion affects human observers when recognizing facial expressions. An attempt to specify which part of the face (left, right, lower or upper region) contains more discriminant information for each facial expression, is also made and conclusions regarding the pairs of facial expressions misclassifications that each type of occlusion introduces, are drawn.     

人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。