非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

融合关键点属性与注意力表征的人脸表情识别

人脸的表情变化非常细微,通常表现在图像中某些局部点区域的改变,现有的人脸表情识别方法难以捕捉到表情的细微变化,对非表情区域干扰不具有鲁棒性。为了获得描述人脸表情变化的高效特征表示,提出了一种融合关键点属性与注意力表征的人脸表情识别方法。通过添加通道注意力和空间注意力的神经网络提取人脸图像中的关键点信息,实现不同维度和位置的权重分配,有效避免非表情区域的干扰,捕获图像中局部关键点的特征表征。引入Transformer模块学习不同关键点之间的相关联系,引导网络构建对表情类型更具分辨力的特征表示,从而实现精准识别。通过在CK+、JAFFE、FER2013三种公开数据集上进行实验的结果表明：提出算法的识别准确率分别达到了99.22%、96.57%、73.37%。     

融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

基于关键区域遮挡与重建的人脸表情识别

为了解决自然场景下人脸表情识别任务中的无用信息干扰和遮挡对识别性能的影响问题,提出一种基于关键区域遮挡与重建的人脸表情识别模型。利用多尺度特征提取网络,提取人脸图像的全局特征。根据68个人脸关键点划分出68个关键区域,并通过插值法提取68个关键区域的特征,同时采用注意力机制学习关键区域特征之间的先验关系。设计自监督的遮挡与重建模块,对关键区域特征进行随机遮挡,并利用已知区域信息来预测和重建被遮挡区域的特征,从而提高模型在自然场景下的表情识别性能。设计多个实验验证了该模型的泛化能力,并通过消融实验验证了模型中每个模块的有效性。实验结果表明,该模型在真实世界的情感面孔数据集(RAF-DB)和Occlusion-RAF-DB数据集上分别达到了88.44%和86.09%的识别准确率,相比于视觉Transformer(Vi T)等模型有效地提升了自然场景下人脸表情识别的性能。     

基于Gabor、Fisher脸多特征提取及集成SVM的人脸表情识别*

针对于静态的灰度图像表情库,提出了基于多种脸部表情特征多级分类的表情识别算法。首先在选取的人脸特征点上做局部的Gabor小波变换,为了提高特征提取速度,利用改进的弹性图匹配算法来提取图像中的人脸有效区域,在提取的人脸区域中提取几何特征,并通过Fisher脸法提取统计特征,利用几何特征与建立的相应一级集成SVM来进行初次分类,最后利用Fisher特征与建立的相应二级集成SVM进行最终分类。通过在JAFFE与Cohn-Kanade表情库中实验,证明本文方法同单个特征相比较,具有更高的表情识别率以及更强的鲁棒性     

一种基于词频‐逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。