基于人脸关键特征提取的表情识别

自然场景下人脸表情由于受遮挡、光照等因素影响,以及表情局部变化细微,导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法,以ResNet18为主干网络,利用残差连接模块加深网络结构,以提取更多深层次的表情特征。通过引入裁剪掩码模块,在训练集图像上的某个区域进行掩码,向训练模型中增加遮挡等非线性因素,提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征,并分配更多的权重给表情变化明显的特征图,同时抑制非表情特征。在特征图输出前加入Dropout正则化策略,通过在训练中随机失活部分神经元,达到集成多个网络模型的训练效果,提升模型泛化能力。实验结果表明,与L2-SVMs、IcRL、DLP-CNN等方法相比,该方法有效提高了表情识别准确率,在2个公开表情数据集Fer2013和RAF-DB上的识别准确率分别为74.366%和86.115%。     

基于CNN与关键区域特征的人脸表情识别算法

为了克服目前公开的人脸表情数据集的数据量较少,并且有一些类别的表情表达存在一定的相似这两个因素对人脸表情识别率的影响,提出一种基于关键区域特征融合的人脸表情分类算法。算法首先提取人脸图像中表情表达的关键区域,然后分别提取关键区域的特征信息并融合,最终使用融合的特征进行分类。通过实验验证:算法在JAFFE和CK+公开数据集上均取得了较好的识别准确率。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

改进人脸特征矫正网络的遮挡人脸识别方法

现有人脸识别模型受口罩等遮挡因素影响导致准确率无法提升。当前主流研究方法将有无遮挡场景分开训练后,整合应用于多场景。针对遮挡人脸识别模型的局限性,提出一种改进人脸特征矫正网络（FFR-Net）模型。该模型可同时用于有无遮挡人脸识别并应用于口罩与眼镜遮挡两种识别场景中。人脸特征矫正网络模型提出了一种人脸特征矫正模块,为保证充分利用无遮挡区域特征信息,在该模块中的空间分支引入involution算子扩大图像信息交互区域,增强在空间范围内面部特征信息;在通道分支引入坐标注意力机制,捕获跨通道信息以增强特征表示,利于模型准确地定位识别目标区域;将Meta-ACON作为该模块新的动态激活函数,通过动态调整线性或非线性程度以提高模型泛化能力和计算准确度。最后,利用改进的人脸特征矫正网络模型在CASIA-Webface经处理的有无口罩遮挡人脸数据集上进行训练,其在LFW经处理的有无口罩遮挡数据集、Meglass数据集上的测试结果准确率分别达到了82.50%和89.75%,优于现有算法,验证了所提方法的有效性。     

融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

FFDNet:复杂环境中的细粒度面部表情识别

针对面部表情识别在复杂环境中遮挡和姿态变化问题,提出一种稳健的识别模型FFDNet（feature fusion and feature decomposition net）。该算法针对人脸区域尺度的差异,采用多尺度结构进行特征融合,通过细粒度模块分解和细化特征差异,同时使用编码器捕捉具有辨别力和微小差异的特征。此外还提出一种多样性特征损失函数,驱动模型挖掘更丰富的细粒度特征。实验结果显示,FFDNet在RAF-DB和FERPlus数据集上分别获得了88.50%和88.75%的精度,同时在遮挡和姿态变化数据集上的性能都优于一些先进模型。实验结果验证了该算法的有效性。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

一种基于词频‐逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。     

基于人脸分割的复杂环境下表情识别实时框架

复杂环境下人脸表情识别由于人脸姿势、遮挡及光照等因素影响，相较于可控环境下的人脸表情识别具有更高的挑战性。针对复杂环境下人脸表情识别精度低以及现阶段用于表情识别的网络结构复杂造成的识别效率低等问题，提出了一种基于人脸分割的复杂环境下表情识别实时框架。该框架包括用于人脸区域分割的FsNet（Face segmentation Network）和用于表情识别的TcNet（Tiny classification Network）。FsNet旨在分割出对表情识别最相关的人脸区域以提升TcNet识别精度，其训练数据集基于已有数据集构建。两个网络的结构设计均趋于精简化以保证整体框架的实时性需求。在FER-2013和RAD-DB两个复杂场景人脸表情数据库上的实验表明，人脸区域分割的方式有利于提高复杂环境下人脸表情的识别率，且整体框架在保证实时性的同时达到了良好的识别效果。     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

基于局部二值特征和BP神经网络的头部姿态估计

针对头部姿态估计(HPE)通常会受到人脸姿态、表情和遮挡以及特征提取不准确等因素影响导致识别率不高的问题,提出一种鲁棒的头部姿态估计方法。生成局部二值特征(LBF),通过训练随机森林回归出人脸68个关键特征点提取模型,结合反向传播(BP)神经网络训练分类器识别头部姿态。在CASPEAL-R1和Pointing’04数据集上的实验结果表明:所提方法的头部姿态估计准确率达到了98. 57%,平均绝对误差为3. 90°,解决了人脸关键特征点定位不准确的问题,进一步提高了头部姿态的识别精度。     

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model）,以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。     

结合LBP特征和深度学习的人脸表情识别

对于人脸表情识别,传统方法是先提取图像特征,再使用机器学习方法进行识别,这种方法不但特征提取过程复杂且泛化能力也差。为了达到更好的人脸表情识别效果,文中提出一种结合特征提取和卷积神经网络的人脸表情识别方法。首先使用基于Haar-like特征的AdaBoost算法对于数据库原始图片进行人脸区域检测,然后提取人脸区域局部二值模式（Local Binary Patterns,LBP）特征图,将其尺寸归一化后输入到改进的LeNet-5神经网络模型中进行识别。在CK+和JAFFE数据集上采用10折交叉验证方法进行实验,分别为98.19%和96.35%的准确率。实验结果表明该方法与其他主流方法相比在人脸表情识别上有一定的先进性和有效性。     

基于注意力及视觉Transformer的野外人脸表情识别

目前的人脸表情识别更关注包含面部遮挡、图像模糊等因素的野外图像而非实验室图像,且COVID-19的流行使得人们不得不在公共场合佩戴口罩,这给表情识别任务带来了新的挑战。受启发于最近Transformer在众多计算机视觉任务上的成功,提出了基于注意力及视觉Transformer的野外人脸表情识别模型,并率先使用CSWin Transformer作为主干网络。加入通道-空间注意力模块来提高模型对于全局特征的注意力。Sub-center ArcFace损失函数被用来进一步优化模型的分类能力。在两个公开的野外表情数据集RAF-DB和FERPlus上以及它们对应的口罩遮挡数据集上对所提出的方法进行了评估,识别准确率分别为88.80%、89.31%和76.12%、72.28%,提高了表情识别精度。     

基于图卷积多标签学习的复合人脸表情识别

传统的人脸表情识别方法主要针对六类基本人脸表情,但在现实场景下,存在更加丰富的由基本人脸表情组合而成的复合人脸表情,原先识别基本人脸表情的工作难以去识别复合人脸表情,并且复合人脸表情的数据集缺乏足够的训练数据.针对该问题,提出基于图卷积多标签学习的复合人脸表情识别方法.通过特征提取网络提取到人脸表情的全局特征和感兴趣区...     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。     

多尺度残差注意力网络及其表情识别算法

面部表情识别已经广泛运用于人机交互、教育、自动驾驶等各种领域,针对现有表情识别方法网络结构复杂、参数多、泛化能力不足、识别率低等问题,且人脸表情在自然环境下易受到光照、姿态和局部遮挡等环境因素的影响,提出了一种多尺度残差注意力网络.以ResNet-18网络为基础,提出了一种新的多尺度残差注意力模块,通过提取不同尺度特征,增加特征多样性.引入CBAM注意力机制获取表情图像重点特征信息,有利于提升遮挡表情的识别.构建特征残差融合块,将浅层特征与深层特征进行残差融合,有利于获取丰富的人脸表情图像整体特征.实验结果表明,本文方法在CK+、JAFFE和Oulu-CASIA 3个公开表情数据集上分别达到了99.49%、98.53%和97.08%的准确率,与一些现有方法相比,本文方法表情识别率更高,证明了该方法可用于人脸表情识别.     

自然场景下人脸表情数据集的构建

目前人脸识别研究中表情数据集图像数量较少、表情信息单一,不利于人脸表情识别的研究。本文创建了自然场景下带标签的人脸表情数据集(Facial expression dataset in the wild, FELW),并对其进行测试。FELW表情数据集包含了多张从互联网上收集的不同的年龄、种族、性别的人脸表情图像,采用适合的方法标注每张图像带有人脸部件的状态标签和表情标签,并引入Kappa一致性检验,提高人脸表情识别率。使用传统方法和深度学习的表情识别方法对数据集进行实验分析,与其他公开的人脸表情数据集相比,FELW数据集具有更多图像和更丰富的表情类别,并包含了两种图像标签有利于表情识别的研究。