面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

结合注意力机制的面部表情识别方法研究

传统CNN对重要通道特征关注不足,制约面部表情识别准确率.文章将通道注意力机制应用到面部表情识别中,即将通道注意力模块嵌入到卷积网络中.在Fer2013和CK+表情数据集上的验证结果表明,该方法有较高的识别率.     

融合注意力机制改进残差网络的表情识别方法

为提高大数据挖掘过程中表情识别的计算速度和准确率,在ResNet-50模型的基础上,融合通道注意力机制与改进残差网络,提出一种表情识别方法的改进模型(SE-ResNet-50+Swish)。改进模型在ResNet-50的基础上,引入多个带有通道注意力模块SE的特征层对表情样本进行特征提取,利用注意力机制增强关键的特征通道,增强网络的特征表达与鲁棒性,且能够有效减少计算量,并利用激活函数Swish替代ReLU激活函数,以达到进一步提升表情识别准确率的目的。在CAS-PEAL-R1数据库上进行验证的结果表明,SE-ResNet-50在ResNet-50的基础上引入SE模块之后,虽然增加了网络层数,但计算速度以及表情识别的准确率有明显提高;改进模型利用Swish替代ReLU后,相比于SE-ResNet-50的参数数量与计算量等无显著增多,但表情识别准确率有提升;以上结果表明,改进模型能够有效减少计算量,并增强网络的特征表达与鲁棒性,从而达到提升表情识别计算速度与识别准确率的目的。     

基于残差神经网络的学生面部表情识别方法

传统学生面部表情识别方法耗时较长,为此提出基于残差神经网络的学生面部表情识别方法。首先,分析残差神经网络模型结构,用于检测图像中的人脸并定位其坐标;其次,训练基于MobileNet＿v2神经网络模型的上课表情识别方法,并将检测到的人脸图像传入模型以识别上课注意力状态;最后,进行实验分析。实验结果表明,整个过程所需时间和资源占用量少于其他算法,说明该方法具有较高的实用性。     

一种基于深度学习的表情识别方法

针对人脸表情识别鲁棒性差,容易受身份信息干扰的问题,提出一种具有局部并行结构的深度神经网络识别算法。首先使用稀疏自编码算法训练得到不同尺度的卷积核,然后提取卷积核特征并作池化处理,使特征具有一定的平移不变性,最后采用与表情相关的7个并行的4层网络得到最终的分类结果。实验结果表明,在标准的人脸表情识别库上进行独立测试时,本文提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现,相比其他算法更具有实用性。     

基于深度学习的面部表情识别研究

针对基于深度学习的静态人脸图像表情识别方法进行研究,首先介绍了深度学习的原理,并归纳了目前公开且常用的面部表情数据集;然后介绍了基于深度学习的表情识别的三个步骤,归纳了图像预处理和表情分类的主要方法,重点总结了目前性能较好用来提取特征的深度学习框架以及这些方法的基本原理和优劣势比较;最后指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

融入注意力的残差网络表情识别方法

针对现有的卷积神经网络模型算法对人脸表情特征表达能力不足、识别精度不高、模型参数量大的问题,提出一种融入注意力的残差网络人脸表情识别方法。该方法在特征提取部分利用卷积块注意力模块(Convolutional Block Attention Module, CBAM)增强对判别性特征的表示;通过残差结构的卷积层提取表情特征;利用Softmax进行表情分类。实验结果表明,与原ResNet模型方法相比,以较小参数量的增加取得更好的识别效果,在FER2013、JAFFE和CK+数据集上的识别率分别提升了2.68百分点、6.40百分点和6.06百分点,与其他相关方法的对比也证明了其有效性。     

基于深度卷积神经网络的面部表情识别研究

本研究为了解决传统面部表情识别模型准确率较低的问题,基于深度卷积神经网络（Deep Convolutional Neural Network,DCNN）提出一种新的改进神经网络模型,与传统模型相对比,本模型将其核心的卷积层替换成了深度可分离卷积层,同时搭配卷积残差块的使用,使网络能够有效减少参数的情况下,能够提取多尺度上的特征信息,从而有效地保留了细节特征。最后通过仿真对比,证明本研究提出的DCNN网络具有突出的性能特点,适合用于面部表情识别任务。     

面部表情识别方法综述

介绍了表情识别难点及研究现状;重点阐述了不同的人脸表情特征提取方法和基于分类器的表情识别方法,并对各种方法进行了简单的分析比较;最后针对鲁棒性的需求,给出了人脸表情识别未来要研究的重点内容。     

基于局部特征聚类损失和多类特征融合的面部表情识别

在真实世界中,每个个体对表情的表现方式不同.基于上述事实,文中提出局部特征聚类(LFA)损失函数,能够在深度神经网络的训练过程中减小相同类图像之间的差异,扩大不同类图像之间的差异,从而削弱表情的多态性对深度学习方式提取特征的影响.同时,具有丰富表情的局部区域可以更好地表现面部表情特征,所以提出融入LFA损失函数的深度学习网络框架,提取的面部图像的局部特征用于面部表情识别.实验结果表明文中方法在真实世界的RAF数据集及实验室条件下的CK+数据集上的有效性.     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

面部表情交互识别方法研究

人类表情是反映交互双方情感意图的重要社交信号,识别表情交互中隐含的人际关系行为模式是情感计算的一个重要问题.本文以尊敬服从、信任接受等8种人际关系行为模式为分类依据,选取典型交互场景下交互双方的的表情交互序列为研究对象,建立了基于长短期记忆神经网络的交互情感计算模型,完成表情交互序列分类.进而,引入共情这一概念,提出对...     

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。     

基于跨连接LeNet-5网络的面部表情识别

为避免人为因素对表情特征提取产生的影响,本文选择卷积神经网络进行人脸表情识别的研究.相较于传统的表情识别方法需要进行复杂的人工特征提取,卷积神经网络可以省略人为提取特征的过程.经典的LeNet-5卷积神经网络在手写数字库上取得了很好的识别效果,但在表情识别中识别率不高.本文提出了一种改进的LeNet-5卷积神经网络来进行面部表情识别,将网络结构中提取的低层次特征与高层次特征相结合构造分类器,该方法在JAFFE表情公开库和CK+数据库上取得了较好的结果.     

基于选择性集成分类器的面部表情识别研究*

为了提高面部表情的分类识别性能,基于集成学习理论,提出了一种二次优化选择性(Quadratic Optimization Choice, QOC)集成分类模型。首先,对于9个基分类器,依据性能进行排序,选择前30%的基分类器作为集成模型的候选基分类器。其次,依据组合规则产生集成模型簇。最后,对集成模型簇进行二次优化选择,选择具有最小泛化误差的集成分类器的子集,从而确定最优集成分类模型。为了验证QOC集成分类模型的性能,选择采用最大值、最小值和均值规则的集成模型作为对比模型,实验结果表明：相对基分类器,QOC集成分类模型取得了较好的分类效果,尤其是对于识别率较差的悲伤表情类,平均识别率提升了21.11%。相对于非选择性集成模型,QOC集成分类模型识别性能也有显著提高。     

基于风格迁移的面部表情识别方法

针对一个人的面部表情可以被分解为表情成分和中性成分,提出一种新颖的基于风格迁移的面部表情识别方法。该方法通过训练循环一致生成对抗网络(Cycle-GAN)得到不同的生成器;这些不同的生成器可将不同的表情迁移到中性,因此每个生成器对应一种不同的表情。在测试阶段,输入表情图像到上述训练好的生成器中。由于只有与输入的表情对应的生成器能迁移成中性表情,因此可以通过这种方式实现面部表情识别。实验结果表明：该新方法不仅在实验室条件下获得的面部表情数据集中表现突出,而且在自然条件下获得的面部表情数据集中也有非常高的识别率。