深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

基于光流特征与高斯LDA的面部表情识别算法

文中提出了一种人脸表情识别的新方法,该方法采用动态的光流特征来描述人脸表情的变化差异,提高人脸表情的识别率。首先,计算人脸表情图像与中性表情图像之间的光流特征;然后,对传统的线性判断分析方法(Linear Discriminant Analysis,LDA)进行扩展,采用高斯LDA方法对光流特征进行映射,从而得到人脸表情图像的特征向量;最后,设计多类支持向量机分类器,实现人脸表情的分类与识别。在JAFFE和CK人脸表情数据库上的表情识别实验结果表明,该方法的平均识别率比3种对比方法的高出2%以上。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同, 现实生活中的人脸表情图像场景复杂, 其中最常见的局部遮挡问题会造成面部外观的显著改变, 使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力. 针对此问题, 本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法, 学习各局部显著情感特征并关注局部特征与全局特征之间的关系. 首先引入对比学习, 通过特定的数据增强方法设计新的正负样本选取策略, 对大量易获得的无标签情感数据进行预训练, 学习具有感知遮挡能力的表征, 再将此表征迁移到下游人脸表情识别任务以提高识别性能. 在下游任务中, 将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题, 使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图, 并对加权特征进行融合, 削弱遮挡内容带来的噪声影响, 最后提出约束损失联合训练, 优化最终用于分类的融合特征. 实验结果表明, 无论是在公开的非遮挡人脸表情数据集(RAF-DB和FER2013)还是人工合成的遮挡人脸表情数据集上, 所提方法都取得了与现有先进方法可媲美的结果.     

非对称方向性局部二值模式人脸表情识别

针对方向性局部二值模式（DLBP）在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式（AR-DLBP）多尺度多方向融合的表情识别算法。首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度（CM）;然后提取人脸及关键区域的异或-非对称方向性局部二值模式（XOR-AR-DLBP）直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别。该算法在JAFFE库、CK库上仿真实验,分别取得95.71%、97.99%的平均识别率及112?ms、135?ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别。通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的。     

鲁棒的正则化编码随机遮挡表情识别

为了提高随机遮挡下人脸表情的识别率,提出一种新的人脸表示模型,即鲁棒的正则化编码,通过正则回归系数对给定信号进行鲁棒回归。首先,为了减少遮挡对人脸表情识别系统的影响,待识别表情图像的每个像素点将被分配不同的权重;然后,由于被遮挡部分像素点应分配较小的值,通过连续迭代直到权重收敛于设定的权重阈值;最后,待测图像的稀疏表示将通过最优权重矩阵计算,且待测表情图像分类结果由训练样本逼近待测图像的最小残差决定。应用该方法在日本的JAFFE表情数据库和Cohn-Kanade数据库上取得较理想的结果,且实验结果表明该方法对随机遮挡表情识别具有鲁棒性。     

基于分类稀疏表示的人脸表情识别

为挖掘不同人脸表情图像的统计特性差异,提出一种基于分类稀疏表示的表情识别算法。首先通过对不同类别表情图像的字典学习,构建满足各类表情图像统计特性的基函数子集,进而采用Lasso算法获得表情图像在由基函数集所张成特征子空间中的稀疏表示,最后通过比较表情图像在各基函数子集上的重构误差实现不同表情的分类识别。基于JAFFE人脸表情数据库的实验结果表明,该算法可以有效克服人脸身份对表情识别的影响,具有较高的表情识别率和鲁棒性。     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

弱光照环境下人脸表情图像识别方法研究

对弱光照环境下人脸表情图像进行识别,可以更好地对人类的情感进行分类,有利于人类在现实社会中的沟通。当前方法利用提取人脸表情图像的一维特征完成对弱光照环境下人脸表情图像的识别,该方法无法对人脸表情图像进行详细地描述,导致人脸表情图像在识别时经常出现识别精度低、速度慢的问题。为此,提出一种基于BP神经网络的弱光照环境下人脸表情图像识别方法。该方法首先利用自相似性对带有噪声的图像进行图像区域划分,并依据统计学习获得线性空间,通过对空间的投影获得不含噪声的人脸表情图像区域向量,将人脸表情图像进行重组,得到去噪后的图像,然后利用Cabor变换对人脸表情图像特征进行提取,采用AdaBoost对弱分类器以及人脸表情图像样本进行训练,并通过多次弱分类器的迭代,得到最终的人脸表情图像强分类器,完成对弱光照环境下人脸表情图像的识别。实验结果证明,所提方法可以提高人脸表情图像的识别准确率,加快识别速度,为该领域的研究发展提供强有力依据。     

自适应Gabor卷积核编码网络的表情识别方法

人脸表情识别是计算机视觉领域研究的热点之一。针对传统Gabor网络提取表情图像高维特征识别率不高、泛化性不强的问题,结合卷积神经网络学习局部特征的优点,提出多通道、图像分块、优化Gabor卷积核参数的方法实现表情图像卷积,对提取的表情自适应特征进行分析,首先进行通道内降维,然后采用自动编码器理论解决高维特征降维和多通道特征融合的问题。因为传统支持向量机（Support Vector Machine,SVM）对多分类问题不敏感,所以采用遗传算法优化出最大间隔分类面,进而得到适应度较高的分类器参数。对设计的GaAeS-net（Gabor Autoencoder Support Vector Machine Convolution Network）网络分别在CK+、JAFFE、FER2013、CHD2018等数据库上进行实验,并与现有模型进行对比,最高识别率可达到99.34%,从而证明GaAeS-net模型具备良好的识别率和泛化性。     

基于并行Gan的有遮挡动态表情识别

为了解决实际中动态表情识别存在的局部遮挡问题,提出一种基于并行Gan网络的有遮挡动态表情识别方法。构建一个并联网络P-IncepNet进行上下文特征提取,利用条件对抗网络训练了一个处理不同程度遮挡的图像修复网络。将构建的并联网络与LSTM进行级联,充分利用并联网络的特征提取和LSTM的时空信息获取能力,训练得到一个更具鲁棒性的动态表情识别网络。实验结果表明,在CelebA和MMI数据集上训练的局部遮挡补全网络对中小程度遮挡的补全优于其他网络;构建的级联表情识别网络对于不同程度遮挡的识别结果显示,修复表情图的平均识别率比未修复表情图高4.45个百分点,尤其愤怒、惊讶、高兴有6.36个百分点的较大识别率提升得益于遮挡图像的修复;在AFEW和MMI数据集的无遮挡实验表明,该网络对无遮挡的识别同样具有优越性能,平均识别准确率达51.12%和80.31%。因此构建的P-IncepNet是稳定的,对图像的遮挡修复和表情识别性能均有明显改善。     

融入注意力的残差网络表情识别方法

针对现有的卷积神经网络模型算法对人脸表情特征表达能力不足、识别精度不高、模型参数量大的问题，提出一种融入注意力的残差网络人脸表情识别方法。该方法在特征提取部分利用卷积块注意力模块(Convolutional Block Attention Module, CBAM)增强对判别性特征的表示；通过残差结构的卷积层提取表情特征；利用Softmax进行表情分类。实验结果表明，与原ResNet模型方法相比，以较小参数量的增加取得更好的识别效果，在FER2013、JAFFE和CK+数据集上的识别率分别提升了2.68百分点、6.40百分点和6.06百分点，与其他相关方法的对比也证明了其有效性。     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。     

基于性别和年龄因子分析的鲁棒性人脸表情识别

针对非可控环境下人脸表情识别面临的诸如种族、性别和年龄等因子变化问题,提出一种基于深度条件随机森林的鲁棒性人脸表情识别方法.与传统的单任务人脸表情识别方法不同,设计了一种以人脸表情识别为主,人脸性别和年龄属性识别为辅的多任务识别模型.在研究中发现,人脸性别和年龄等属性对人脸表情识别有一定的影响,为了捕获它们之间的关系,提出一种基于人脸性别和年龄双属性的深度条件随机森林人脸表情识别方法.在特征提取阶段,采用多示例注意力机制进行人脸特征提取以便去除诸如光照、遮挡和低分辨率等变化问题;在人脸表情识别阶段,根据人脸性别和年龄双属性因子,采用多条件随机森林方法进行人脸表情识别.在公开的CK+,ExpW,RAF-DB,AffectNet人脸表情数据库上进行了大量实验:在经典的CK+人脸库上达到99%识别率,在具有挑战性的自然场景库(ExpW,RAF-DB,AffectNet组合库)上达到70.52%的识别率.实验结果表明:与其他方法相比具有先进性,对自然场景中的遮挡、噪声和分辨率变化具有一定的鲁棒性.     

基于混合注意力机制的表情识别研究

针对目前传统人脸表情识别算法存在特征提取复杂、表情识别率低等问题,提出一种基于混合注意力机制的Res Net人脸表情识别方法。该方法把通道注意力模块和空间注意力模块组成混合注意力模块,将混合注意力模块嵌入Res Net残差学习分支中。针对CK+人脸表情数据集过小问题,采用数据增强策略扩充数据集。实验结果表明,改进后的Res Net在CK+数据集上表情识别准确率为97. 04%,有效提高了表情识别准确率。     

一种基于Fisher准则的有监督表情识别算法*

在分析LPP算法存在的不足后,提出了一种新的基于Fisher准则的有监督保局投影表情识别算法,即FSLPP。该算法通过可调因子有效地结合人脸局部流形的结构信息和样本的类别信息,对表情图像序列提取其Gabor特征后采用FSLPP算法获取低维表情特征序列,并由SVM分类器估算识别率。在JAFFE人脸表情库对该算法进行了测试,结果表明,与FLD、LPP等方法相比,该方法具有较好的识别率。     

基于生成对抗网络的人脸表情数据增强方法

基于深度学习的方法已经在人脸表情识别中取得了重大进展,然而人脸表情数据库的规模普遍不大。为了解决数据量不足的问题,提出了一种静态图像数据增强方法。在StarGAN的基础上修改重构误差实现多风格人脸表情图像转换,利用生成器由某一表情下的面部图像生成同一人其他表情的面部图像。在CK+表情库上的实验表明,该方法有利于提高人脸表情识别模型的识别率和泛化能力,同时对解决数据量不平衡的问题也有借鉴作用。     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

基于C均值K近邻算法的面部表情识别

随着人工智能与模式识别技术的不断发展,面部表情识别在智能人机交互中发挥着越来越重要的作用.通过对人的面部表情分类的研究,提出了一种使用C均值聚类、K近邻算法的面部表情分类方法.对参加训练的表情图像先进行Gabor小波变换,然后使用Fisherface判别分析方法进行变换,求得特征空间.再将已进行Gabor变换的标准表情图像投影到特征空间,进行C均值聚类得到子类表情模板.对于一幅待识别的表情图像,使用K近邻算法与子类表情模板比较,将该表情图像分类.使用该方法,在公开的日本女人表情人脸库上实测达到了95.8%的识别率.     

基于四元数局部编码和卷积网络的表情识别

为充分利用彩色图像的颜色信息和通道之间的关联性,提出一种联合四元数矩阵相位信息和幅值信息的特征提取方法,结合卷积神经网络(CNN)进行表情识别。将彩色表情图像表示为纯四元数矩阵并进行Clifford平移,对相位和幅值分别进行局部二值模式(LBP)编码,提取多尺度融合的图像特征,将特征输入CNN进行训练并分类。实验结果表明,该算法在RafD和MMI表情库上的识别率分别为79.42%和93.28%,相比其它表情识别算法,识别率更高且识别效果稳定。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.