人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。     

结合改进VGGNet和Focal Loss的人脸表情识别

针对目前表情识别准确率偏低,表情数据集中类别样本类间差异小、类内差异大以及误标注样本产生的误分类等问题,提出了一种结合改进VGGNet和Focal Loss的人脸表情识别算法。在迁移学习的基础上,通过设计新的输出模块对VGGNet模型进行改进,提升了模型的特征提取能力,能够较好地避免过拟合现象;通过设置概率阈值对Focal Loss进行改进,避免误标注样本对模型分类性能产生影响。实验结果表明,该模型在CK+、JAFFE以及FER2013数据集上的识别准确率分别达到了99.68%、97.61%和72.49%,在实际应用中泛化能力突出。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于VGGNet的人脸表情识别研究

针对传统卷积神经网络(Convolutional Neural Network,CNN)在人脸表情识别中有效特征提取不够、泛化能力不强及识别准确性不高等缺点,研究选用具有更小卷积核和更深池化层的视觉几何组网络(Visual Geometry Group Network,VGGNet)进行人脸表情识别系统的设计。为了验证识别效果,在传统CNN和VGGNet框架下进行人脸表情识别系统的搭建,使用FER2013公开数据集进行训练和测试,并对测试结果进行对比分析。实验表明,传统CNN模型在人脸表情识别任务中的识别率仅为88%,而VGGNet则能够取得高达98%的识别率。此外,利用真人实际测试验证了研究搭建的VGGNet模型具有很好的表情识别效果。     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

基于改进的ResNet网络的人脸表情识别

近几年来,人工智能的热度一直居高不下,其中作为人机交互的一种重要方法—人脸表情识别已经成为计算机视觉研究的热点.从传统的机器学习算法到现在的深度学习,识别效率也在不断地提高,为了进一步提高人脸表情识别率,在传统的卷积神经网络的基础上,提出了一种基于改进的ResNet卷积神经网络的表情识别方法.该方法基于ResNet网络...     

遮挡人脸表情识别深度学习方法研究进展

在真实环境下遮挡是准确分析识别人脸表情的主要障碍之一。近年来研究者采用深度学习技术解决遮挡条件下表情误识别率高的问题。针对遮挡表情识别的深度学习算法和遮挡相关的问题进行归纳总结。首先,概括局部遮挡条件下表情识别的发展现状、表情的表示方式以及研究遮挡表情用到的数据集;其次,回顾遮挡表情识别深度学习方法的最新进展和分析遮挡对表情的影响;最后,总结主要技术挑战,研究难点及其可能的应对策略。目的是为将来的遮挡表情识别研究提供更有益的参考依据和基准。     

基于面部特征检测的人脸表情实时识别

针对传统方法特征提取识别准确率低、提取方法复杂以及深度学习方法模型复杂、实时性较差等缺点,提出了一种基于OpenCV和Dlib模型的人脸表情实时识别方法。首先,使用OpenCV实时采集并预处理图像;然后,使用Dlib预训练模型提取人脸特征点;最后,结合本文提出的5个表情识别指标：眉毛的倾斜程度、眼睛的睁开程度、上嘴唇与鼻尖高度占比、嘴巴宽度占比和嘴巴高度占比,对人脸表情进行实时识别。通过搭建系统界面,简化操作,增强了识别方法的实用性。实验表明,所提出算法表情识别的准确率均到达96%以上,验证了其有效性。     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

浅谈人脸表情智能识别

每个人都有一副独特而不混淆的脸相,即使双胞胎也不例外,因此人们相见时,给人印象最深的就是脸。人脸表达情感的肌肉非常发达,能表现各种表情,丰富的表情成了人脸的重要特征,在人际交往过程中了解内心的变化具有极为重要的意义。因此人脸表情智能识别在近几年也逐渐成为了人工智能和机器智慧学习中一个重要的研究点,在未来生活中有着广泛的应用前景以及极高的市场价值。现阶段尽管人脸表情智能识别取得了一定收获,但是仍存在显著的不足与缺陷。对人脸表情智能识别在现阶段发展情况进行了分析并对其未来发展作了一定展望。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

一种基于深度学习的表情识别方法

针对人脸表情识别鲁棒性差,容易受身份信息干扰的问题,提出一种具有局部并行结构的深度神经网络识别算法。首先使用稀疏自编码算法训练得到不同尺度的卷积核,然后提取卷积核特征并作池化处理,使特征具有一定的平移不变性,最后采用与表情相关的7个并行的4层网络得到最终的分类结果。实验结果表明,在标准的人脸表情识别库上进行独立测试时,本文提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现,相比其他算法更具有实用性。     

基于稀疏子空间迁移学习的跨域人脸表情识别

针对实际场景中人脸表情识别训练和测试数据来自不同场景从而导致识别性能显著下降的问题,提出了一种基于稀疏子空间迁移学习的跨域人脸表情识别方法.首先,引入稀疏重构的思想来获得一个共同的投影矩阵,同时对重构系数矩阵施加L 2,1范数约束;其次,引入图拉普拉斯正则化项来保留数据的局部判别结构;最后,利用源域丰富的标签信息,将样...     

基于面部表情识别的课堂教学反馈系统

教师在课堂上讲课时,学生对知识点的掌握程度都反应在他们的面部表情中,教师通常通过他们的表情判断出他们对知识点的理解程度,从而调整教学进度.但是课堂教学中一个班级至少有30多个学生,而教师在课堂中讲课不可能时时刻刻照顾到每个学生.这样造成了教师不能有效地了解每个学生对知识点的掌握程度,影响教学质量.为了解决这个问题,文章提出了基于面部表情识别的课堂教学反馈系统,它能分析课堂上每个学生的面部表情,从他们的表情中得出学生对知识点的掌握程度,从而帮助教师实时地了解每个学生在课堂上的学习效果,提高课堂教学质量.     

多信息融合的深度学习人脸表情识别算法研究

人脸表情识别作为人机交互系统的重要组成部分,在安防监控、人机交互等领域有广泛的应用,是计算机视觉的研究热点。传统的卷积神经网络方法一般提取单张人脸图像或者人脸标记点作为特征提取的输入数据,未能考虑到人脸全域的表情信息。提出了一种基于三通道多信息融合的深度学习人脸表情识别模型,以人脸图像表情平静到高峰时期标记点坐标的相对位移为输入,提取整个人脸表情图像特征信息,模型融合了稀疏自编码器以提高对边缘特征提取效率。该模型在CK+数据集上进行了训练和测试,实验结果表明,与该领域中的同类算法相比,该算法模型提高了表情识别的准确率。