基于子空间稀疏系数的表情识别方法

提出了一种运用SRC（Sparse Representation based Classification）在个体子空间里,进行表情识别的新方法。用Gabor滤波器,提取表情图像的特征。进行稀疏分解,得到稀疏表示系数。根据稀疏系数确定待测图像所在的子空间,在子空间里,完成表情识别。这种方法较好地避免了不同个体对表情识别的干扰,从而提高了表情识别的正确率。在Cohn-Kanade和JAFFE人脸库上的表情识别实验表明,该方法对表情识别非常有效。     

组合方法在人脸表情识别中的应用研究

研究人脸表情识别问题,应有效挺取脸表情特征,消除与识别无关的信息.传统的Gabor滤波器在人脸表情特征提取过程中,针对存在提取特征时间较长和特征数据存在冗余性的缺点,提出了一种Gabor和PCA相结合的特征提取,并通过支持向量机进行表情识别方法.方法首先对人脸表情进行预处理得到纯表情图像,采用Gabor提取表情特征,用PCA进行数据冗余处理和用支持向量机识别人脸表情并进行仿真.仿真结果表明,相对于传统的Gabor方法,不仅提高了人脸表情识别的正确率,而且加快了识别的速度.改进办法非常适合于人脸表情图像的分析.     

基于表情相似性的人脸表情流形

在图嵌入(graph embedding)的框架下提出一种根据表情相似度构建邻接权重图的方法来学习人脸表情子空间.数据集中人脸图像的表情以半监督-学习的方式来估计,人脸图像之间的表情相似性由表情模糊隶属度矢量之间的内积来度量,与个体、光照、姿态等人脸差异无关.在得到的子空间内,相似表情的人脸图像位于流形上的邻近位置,表情数据在子空间内按语义的分布很好地揭示了表情模糊、演变的特性.在Cohn-Kanade人脸表情数据库和实验室自行采集的人脸表情数据集上的实验结果说明了该方法的有效性.因此,该方法可以很好地应用于各种基于人脸表情识别的人机交互中.     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

结合LBP特征和深度学习的人脸表情识别

对于人脸表情识别,传统方法是先提取图像特征,再使用机器学习方法进行识别,这种方法不但特征提取过程复杂且泛化能力也差。为了达到更好的人脸表情识别效果,文中提出一种结合特征提取和卷积神经网络的人脸表情识别方法。首先使用基于Haar-like特征的AdaBoost算法对于数据库原始图片进行人脸区域检测,然后提取人脸区域局部二值模式（Local Binary Patterns,LBP）特征图,将其尺寸归一化后输入到改进的LeNet-5神经网络模型中进行识别。在CK+和JAFFE数据集上采用10折交叉验证方法进行实验,分别为98.19%和96.35%的准确率。实验结果表明该方法与其他主流方法相比在人脸表情识别上有一定的先进性和有效性。     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

一种新的多角度人脸表情识别方法*

传统的多角度人脸表情识别方法是对角度特殊的样本采用角度特殊的分类器识别,该方法忽略了不同角度的人脸表情是相同的人脸表情的不同表现形式。而且传统的多角度人脸表情特征提取时间较长以及不能满足增量更新的要求。基于此,本文提出了一个新的多角度人脸表情识别方法。该方法首先提取回归模型的增量修正特征,然后用PCA进行特征选择,最后采用判别共享高斯过程隐变量模型识别多角度人脸表情。在CMU-PIE和LFPW数据库上的对比实验表明了该方法的有效性。     

基于多特征融合密集残差CNN的人脸表情识别

传统人脸表情识别主要基于人工提取特征,其存在算法鲁棒性较差、易受人脸身份信息干扰等问题,以及传统卷积神经网络不能充分提取人脸表情特征的现状。对此提出一种基于多特征融合密集残差卷积神经网络的人脸表情识别。该方法能够充分利用神经网络中每层的特征,在密集块中,对于每一个卷积层,其前面所有卷积层的输出都将作为本卷积层的输入。然后将每个密集块的输出送入到全连接层中进行特征融合,经过Softmax分类器分类。在CK+和FER2013数据集上进行多次实验,与传统的机器学习方法相比,该方法具有较高的准确率与较强的鲁棒性。     

基于视频的人脸表情识别方法研究

近年来,表情识别逐渐成为计算机视觉和模式识别领域的研究热点之一。给出了一个包含人脸特征提取和表情识别的计算机视觉系统,通过对视频中人脸兼容运动特征的跟踪,提取人脸运动特征向量序列,与以往的方法不同,提取到的特征向量流被分割为两类,一类是表情特征向量流,另一类是视觉语音特征向量流。然后,利用基于CHMM（Couple Hidden Markov Model）的表情识别模型,进行人脸表情的识别,该模型允许两个向量流根据其各自的时域特征以异步方式进行处理,同时保持这两个向量流在时域上的自然关联。实验表明该方法优于传统的单通道处理方法。     

基于PCA特征提取和距离哈希K近邻分类的人脸表情识别

使用PCA降维,提取人脸表情特征,并结合基于距离的哈希K近邻分类算法进行人脸表情识别。首先使用类Haar特征和AdaBoost算法进行人脸检测,并对人脸图像进行预处理;接着使用PCA提取人脸表情特征,并将特征加入到哈希表;最后使用K近邻分类算法进行人脸表情的识别。将特征库重构为哈希表后,很大地提高了识别效率。     

TP-FER：基于优化卷积神经网络的三通道人脸表情识别方法

针对人脸五官在表达不同情绪时所起的作用不同,利用单一的卷积神经网络对人脸面部特征进行特征提取和表情识别可能会导致提取表情关键特征信息时聚焦性不够,而仅对眼部或者嘴部等重点部位进行特征提取,又有可能造成特征提取不够充分的问题,提出了一种基于优化卷积神经网络的三通道人脸表情识别方法TP-FER(tri-path networks for facial expression recognition).该方法基于构建的卷积神经网络训练,采用三个输入渠道,分别聚焦面部、眼部和嘴部区域进行特征提取和表情判别,最后采用基于决策层的融合技术将三个渠道的识别结果进行相对多数投票决策,获取整体最优识别率.将此方法应用于JCK+数据集和自建数据集上进行了实验判别分析,结果表明该方法在两个数据集上均提高了整体表情识别率.该方法既考虑了脸部整体特征的提取,又兼顾了某些表情主要聚焦在眼部、嘴部表达的特性,相互辅助,整体提高了表情的识别率;该方法也能对神经心理学研究提供数据支持.     

基于流形的表情分解算法

提出了基于流形的表情分解算法。首先,运用保局投影将图像投影到低维的表情流形子空间,再在流形子空间里对它们进行高阶奇异值分解,最后在个人子空间和表情子空间里完成人脸和表情识别。该算法用流形学习解决了高阶奇异值分解中的图像特征值提取问题,用高阶奇异值分解解决了流形表情识别中个人模式影响表情识别的问题。是一种流形学习与高阶奇异值分解优势互补的算法。在CMU-AMP和JAFFE人脸库上的实验表明,该算法对人脸和表情识别都十分有效。     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。     

基于双决策子空间和神经网络的人脸表情识别

提出了一种新的基于双决策子空间和径向基函数（RBF）神经网络的人脸表情识别方法。该方法首先采用KPCA+ FLD算法在双决策子空间（核空间和值域空间）中进行决策分析,提取两类判决特征信息：非常规信息和常规信息,并按一定的规则融合这两类判决信息;再运用RBF神经网络分类器和融合特征信息进行人脸表情的分类识别。基于日本女性表情数据库JAFFE的实验结果表明,它是一种有效的人脸表情识别方法。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于特征区域自动分割的人脸表情识别?

针对目前三维人脸表情区域分割方法复杂、费时问题,提出一种人脸表情区域自动分割方法,通过投影、曲率计算的方法检测人脸的部分特征点,以上述特征点为基础进行人脸表情区域的自动分割。为得到更加丰富的表情特征,结合人脸表情识别编码规则对提取到的特征矩阵进行扩充,利用分类器进行人脸表情的识别。通过对三维人脸表情数据库部分样本的识别结果表明,该方法可以取得较高的识别率。     

人机交互中的人脸信息曲波分析

视觉交互是自然人机交互的重要组成部分,而人脸特征提取则是视觉交互成功的关键。针对小波变换难以充分描述人脸曲线特征的缺点,为了更好地提取人脸特征,将更符合人类视觉特性的曲波变换用于人脸信息处理,提出了结合曲波变换与Adaboost方法的人脸检测优化方法和基于曲波变换与SVM进行表情分析的新方法,并开展了人脸检测、人脸识别与表情分析的对比实验。实验结果显示,曲波变换在人脸特征提取中具有明显优势,从而为自然人机交互的下一步工作打下了坚实基础。