基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

基于表情子空间多分类器集成的非特定人人脸表情识别

针对非特定人人脸表情平均识别率普遍不高（约65%）的问题,提出了一种基于表情子空间和多分类器集成的人脸表情识别新方法。通过局部二进制模式(LBP)与高阶奇异值分解(HOSVD)方法对训练集1中的人脸图像的全脸、眼睛（包括眉毛）和嘴巴三个区域进行特征提取与分解,建立相应的表情子空间;利用支持向量机(SVM)方法对训练集2中的人脸图像在表情子空间训练,得到模糊系统参数;最后结合表情子空间与多分类器集成,对测试集中的图像进行表情分类识别。在JAFFE人脸表情库中实验,获得了71.43%的平均识别率。实验结果表明,该方法有效地减少了人脸外观特征和表情表现方式所带来的影响,具有更好的识别效果。     

基于层次分析法语义知识的人脸表情识别新方法

在目前的人脸表情识别系统中,人脸表情的机器识别和人类感知之间存在着本质的差异,造成人脸表情识别率不高。为了减小人脸图像底层视觉特征与高层语义之间的语义鸿沟,提出一种基于层次分析法（AHP）语义知识的人脸表情识别新方法。该方法首先采用层次分析法对训练集中人脸图像进行高层语义描述,建立语义特征向量,在底层视觉特征提取阶段,提出一种二阶PCA（principal component analysis）方法来提取人脸图像的纹理特征;在识别阶段,仅利用输入人脸图像的底层视觉特征,采用K-NN（k-nearest neighbor）算法并结合学习阶段建立的语义特征向量,进行人脸表情分类识别。提出的人脸表情识别方法结合底层视觉特征和高层语义知识,减小了人脸图像底层视觉特征与高层语义之间的语义鸿沟。在JAFFE人脸表情数据库中进行实验,获得了93.92%的平均识别率。理论分析和实验结果表明,与其他的人脸表情识别方法相比,该方法具有更好的识别效果。     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

基于混合方法的人脸表情识别研究

针对人脸表情图像识别进行了研究,为了提高表情图像的识别率,提出了一种综合Gabor小波、离散余弦变换、支持向量机的人脸面部表情识别方法。采用ISOMAP算法对人脸面部表情的分类以及强度鉴别。利用Gabor小波变换的局部化特点滤掉人脸表情图像中的高频信息,提出结合离散余弦变换提取系数作为识别特征,并用支持向量机的训练样本构造表情强度模型,进行仿真实验。实验结果表明方法与传统的识别方法相比,系统具有良好的鲁棒性,达到较高的识别率,并能实现了人脸面部表情的分类和强度鉴别。因此充分证明了方法的有效性。     

基于HOSVD分类的非特定人脸表情识别算法

由于人脸外观、光照、姿势变化等对人脸表情特征提取的影响,非特定人脸表情识别率普遍较低.针对上述问题,提出一种基于高阶奇异值分解(HOSVD)分类的非特定人脸表情识别算法.算法融合局部方向模式(LDP)全脸特征和中心化二值模式(CBP)局部特征,以增强人脸表情特征的鉴别力,引人HOSVD建立表情子空间进行分类识别,从而减少人脸外观对表情特征的影响,同时利用HOSVD求解区域能量用于精确匹配.在JAFFE数据库上的非特定人脸表情实验结果表明,HOSVD分类算法相比传统最近邻算法更能区分表情图像的特征,识别率提高了 18％,此外,LDP融合CBP特征相比LDP特征和CBP特征更能准确描述人脸表情,识别率分别提高了 17％和12.2％.由此可见,上述方法对解决非特定人表情识别问题具有更好的识别效果.     

基于生物启发特征和SVM的人脸表情识别

将C1特征应用于静态图像人脸表情识别,提出了一种新的基于生物启发特征和SVM的表情识别算法。提取人脸图像的C1特征,利用PCA+LDA方法对特征进行降维,用SVM进行分类。在JAFFE和Extended Cohn-Kanade（CK+）人脸表情数据库上的实验结果表明,该算法具有较高的识别率,是一种有效的人脸表情识别方法。     

结构化低秩字典学习的人脸识别

目的 现实中采集到的人脸图像通常受到光照、遮挡等环境因素的影响,使得同一类的人脸图像具有不同程度的差异性,不同类的人脸图像又具有不同程度的相似性,这极大地影响了人脸识别的准确性。为了解决上述问题对人脸识别造成的影响,在低秩矩阵恢复理论的基础上提出了具有识别力的结构化低秩字典学习的人脸识别算法。方法 该算法基于训练样本的标签信息将低秩正则化以及结构化稀疏同时引入到学习的具有识别力的字典上。在字典学习过程中,首先利用样本的重建误差约束样本与字典之间的关系;其次将Fisher准则应用到稀疏编码过程中,使其编码系数具有识别能力;由于训练样本中的噪声信息会影响字典的识别力,所以在低秩矩阵恢复理论的基础上将低秩正则化应用到字典学习过程中;接着,在字典学习过程中加入了结构化稀疏使其不丢失结构信息以保证对样本进行最优分类;最后再利用误差重构法对测试样本进行分类识别。结果 本文算法在AR以及ORL人脸数据库上分别进行了实验仿真。在AR人脸数据库中,为了分析样本不同维数对实验结果造成的影响,选取了第一时期拍摄的每人6幅图像,包括1幅围巾遮挡,2幅墨镜遮挡以及3幅脸部表情变化以及光照变化（未被遮挡）的图像作为训练样本,同时选取相同组合的样本图像作为测试样本,无论哪种方法,图像的维度越高识别率越高。对比SRC （sparse representation based on classification）算法与DKSVD （discriminative K-means singular value decomposition）算法的识别率可知,DKSVD算法通过字典学习减缓了训练样本中的不确定因素对识别结果的影响;对比DLRD_SR （discriminative low-rank dictionary learning for sparse representation）算法与FDDL （Fisher discriminative dictionary learning）算法的识别率可知,当图像有遮挡等噪声信息存在时,字典低秩化可以提高至少5.8%的识别率;对比本文算法与DLRD_SR算法可知,在字典学习的过程中加入Fisher准则后识别率显著提高,同时理想稀疏值能保证对样本进行最优的分类。当样本图像的维度达到500维时人脸图像在有围巾、墨镜遮挡的情况下识别率可达到85.2%;其中墨镜和围巾的遮挡程度分别可以看成是人脸图像的20%和40%,为了验证本文算法在不同脸部表情变化、光照改变以及遮挡情况下的有效性,根据训练样本的具体图像组合情况进行实验。无论哪种样本图像组合,本文算法在有遮挡存在的样本识别中具有显著优势。在训练样本只包含脸部表情变化、光照变化以及墨镜遮挡图像的情况下,本文算法的识别率高于其他算法至少2.7%,在训练样本只包含脸部表情变化、光照变化以及围巾遮挡图像的情况下,本文算法的识别率高于其他算法至少3.6%,在训练样本包含脸部表情变化、光照变化、围巾遮挡以及墨镜遮挡图像的情况下,其识别率高于其他算法至少1.9%。在ORL人脸数据库中,人脸图像在无遮挡的情况下识别率达到95.2%,稍低于FDDL算法的识别率;在随机块遮挡程度达到20%时,相比较于SRC算法、DKSVD算法、FDDL算法以及DLRD_SR算法,本文算法的识别率最高;当随机块遮挡程度达到50%时,以上算法的识别率均不高,但本文算法的其识别率仍然最高。结论 本文算法在人脸图像受到遮挡等因素的影响时具有一定的鲁棒性,实验结果表明该算法在人脸识别方面具有可行性。     

遮挡表情变化下的联合辅助字典学习与低秩分解人脸识别

目的 从真实环境中采集到的人脸图片通常伴随遮挡、光照和表情变化等因素,对识别结果产生干扰。在许多特殊环境下,训练样本的采集数量也无法得到保证,容易产生训练样本远小于测试样本的不利条件。基于以上情况,如何排除复杂的环境变化和较少的训练样本等多重因素对识别效果的影响逐渐成为了人脸识别方向需要攻克的难题。方法 以低秩矩阵分解为基础,分别使用非凸秩近似范数和核范数进行两次低秩矩阵分解,以达到去除遮挡干扰的目的 。首先通过非凸稳健主成分分析分解得到去除了光照、遮挡等变化的低秩字典。为消除不同人脸类的五官等共通部分的影响,加快算法收敛效率,将得到的低秩字典用作初始化,进行基于核范数的第二次秩近似分解,以获得去除了类间不相关判别性的低秩字典用于分类。最后针对训练样本较少和遮挡样本占比过大等问题,选用同一数据库中不用做训练和测试的辅助数据作为辅助字典模拟可能出现的遮挡、光照等影响,通过最小化稀疏表示重构误差进行分类识别。结果 选用AR库和CK+库分别进行实验。在AR库的实验中,通过调整训练图片中遮挡、光照和表情变化的样本比例来检测算法性能。其中,在遮挡图片占比分别为1/7和3/7的训练集中,无遮挡图片由无干扰和光照表情干扰图片联合组成。在遮挡图片占比为2/7的训练集中,无遮挡图片全由光照表情变化图片组成。实验结果表明,在多种实验情况下均获得较高识别率。其中根据不同遮挡比例,分别获得97.75%、92%、95.25%和97.75%、90%、95.25%等识别率。与同类算法对比提高3%~5%。选用的外部数据从10类人脸至40类依次增加,获得的识别结果为96.75%~98%,与同类算法相比提高了2%~3%。在CK+表情库中,选用同伦算法配合分类求解,获得的识别结果为95.25%。结论 本文提出了一种在克服复杂环境变化和训练样本不足两个方面具有高效性和鲁棒性的人脸识别算法,实验结果表明,本文算法在不同数据库中都具有高效性,未来的研究方向包括将算法应用于联立人脸和表情识别,模拟更为复杂的噪声状况,以期达到更为优异的结果。     

联合判别性低秩类字典与稀疏误差字典学习的人脸识别

目的 由于受到光照变化、表情变化以及遮挡的影响,使得采集的不同人的人脸图像具有相似性,从而给人脸识别带来巨大的挑战,如果每一类人有足够多的训练样本,利用基于稀疏表示的分类算法（SRC）就能够取得很好地识别效果。然而,实际应用中往往无法得到尺寸大以及足够多的人脸图像作为训练样本。为了解决上述问题,根据基于稀疏表示理论,提出了一种基于联合判别性低秩类字典以及稀疏误差字典的人脸识别算法。每一类的低秩字典捕捉这类的判别性特征,稀疏误差字典反映了类变化,比如光照、表情变化。方法 首先利用低秩分解理论得到初始化的低秩字典以及稀疏字典,然后结合低秩分解和结构不相干的理论,训练出判别性低秩类字典和稀疏误差字典,并把它们联合起来作为测试时所用的字典;本文的方法去除了训练样本的噪声,并在此基础上增加了低秩字典之间的不相关性,能够提高的低秩字典的判别性。再运用l₁范数法（同伦法）求得稀疏系数,并根据重构误差进行分类。结果 针对Extended Yale B库和AR库进行了实验。为了减少算法执行时间,对于训练样本利用随机矩阵进行降维。本文算法在Extended Yale B库的504维每类32样本训练的识别结果为96.9%。在无遮挡的540维每类4样本训练的AR库的实验结果为83.3%,1 760维的结果为87.6%。有遮挡的540维每类8样本训练的AR库的结果为94.1%,1 760维的结果为94.8%。实验结果表明,本文算法的结果比SRC、DKSVD（Discriminative K-SVD）、LRSI（Low rank matrix decomposition with structural incoherence）、LRSE+SC（Low rank and sparse error matrix+sparse coding）这4种算法中识别率最高的算法还要好,特别在训练样本比较少的情况下。结论 本文所提出的人脸识别算法具有一定的鲁棒性和有效性,尤其在训练样本较少以及干扰较大的情况下,能够取得很好地识别效果,适合在实际中进行应用。     

基于PCA特征基压缩传感算法的人脸识别

针对人脸识别对遮挡、表情和光照的鲁棒性问题,提出基于PCA特征基压缩传感算法的人脸识别方法。利用双向二维主成分分析提取图像行列2个方向的特征并进行降维,建立反映人脸特征投影矩阵,作为压缩传感算法的超完备基。通过求解最小化l1范数,寻求图像在该超完备基上的稀疏表示,以得到一组最优稀疏系数重构各类图像,求取测试图像与各类重构图像的最小残差进行分类识别。实验结果表明,该方法在较低的人脸特征维数下具有较高的人脸识别率,能有效提高人脸识别对遮挡、表情和光照的鲁棒性。     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

低质量无约束人脸图像下的超分辨率摆正

针对人脸识别算法准确率受面部姿态、遮挡、图像分辨率等因素影响的问题,提出一种超分辨率摆正的方法,作用于低质量无约束输入图像上,生成高清晰度标准正面视图。主要通过估计输入图像与3D模型间的投影矩阵,产生标准正面视图,通过人脸对称性的特点,补全由于姿态、遮挡等原因所产生的面部缺失像素。在摆正过程中,为了提高图像分辨率以及避免面部像素信息丢失,引入一个16层的深度递归卷积神经网络进行超分辨率重构;并提出两个扩展：递归监督和跳跃链接,来降低网络训练难度以及缩小模型体量。在经过处理的LFW数据集上实验表明,该方法对人脸识别和性别检测算法的性能具有显著提升作用。     

基于测地映射分析的核稀疏描述人脸识别

针对人脸识别系统在非控制环境下易受姿态、表情和遮挡变化影响的问题,提出了一种基于测地映射分析（Geodesic Mapping Analysis,GMA）的特征提取方法。通过计算两个像素点间的测地距离来度量相似性,对提取的GMA特征进行核稀疏描述建模,并在非线性空间中实现特征的分类识别。在ORL和Yale-B人脸数据库上的实验表明,该方法在应对重度遮挡、姿态和表情变化的自由形式人脸图像方面具有更高的识别率,大大提高了人脸识别系统应对真实复杂环境的能力。     

基于人脸分割的复杂环境下表情识别实时框架

复杂环境下人脸表情识别由于人脸姿势、遮挡及光照等因素影响，相较于可控环境下的人脸表情识别具有更高的挑战性。针对复杂环境下人脸表情识别精度低以及现阶段用于表情识别的网络结构复杂造成的识别效率低等问题，提出了一种基于人脸分割的复杂环境下表情识别实时框架。该框架包括用于人脸区域分割的FsNet（Face segmentation Network）和用于表情识别的TcNet（Tiny classification Network）。FsNet旨在分割出对表情识别最相关的人脸区域以提升TcNet识别精度，其训练数据集基于已有数据集构建。两个网络的结构设计均趋于精简化以保证整体框架的实时性需求。在FER-2013和RAD-DB两个复杂场景人脸表情数据库上的实验表明，人脸区域分割的方式有利于提高复杂环境下人脸表情的识别率，且整体框架在保证实时性的同时达到了良好的识别效果。     

基于视频的人脸识别研究进展

近年来基于视频的人脸识别已成为人脸识别领域最为活跃的研究方向之一.如何充分利用视频中人脸的时间和空间信息克服视频中人脸分辨率低,尺度变化范围大,光照、姿态变化比较剧烈以及时常发生遮挡等困难是研究的重点.文中对近期(主要近5年)基于视频的人脸识别研究进行了详细的介绍和讨论,在对相关方法分类的基础上,分析了各类方法中典型技术的优缺点,并概况介绍了常用的视频人脸数据库和实验结果,最后展望了基于视频人脸识别未来的发展方向和趋势.