面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。     

采用深度学习方法的非正面表情识别综述

2017年人工智能正式升级为中国国家战略,作为人工智能领域中重要的研究方向,人脸表情识别受到了国内外研究者们的广泛关注。然而传统的人脸表情识别技术无法适应自然环境下的表情识别需求。因此非正面人脸表情识别方法成为实现表情识别技术实用化突破的重点。但是现有的非正面表情识别研究面临很多困难：头部偏转不仅造成了识别图像的扭曲,而且还遮挡了部分人脸区域,严重干扰了表情特征的提取与识别。有鉴于此,研究者们将深度学习技术与非正面表情识别相结合,依靠非正面表情图像的深度信息,实现算法识别能力的提升。综述详细介绍了深度神经网络的结构,对最新的深度学习神经网络研究方法进行分类对比,同时对未来的研究和挑战做了展望。     

基于深度学习的面部表情识别研究

针对基于深度学习的静态人脸图像表情识别方法进行研究,首先介绍了深度学习的原理,并归纳了目前公开且常用的面部表情数据集;然后介绍了基于深度学习的表情识别的三个步骤,归纳了图像预处理和表情分类的主要方法,重点总结了目前性能较好用来提取特征的深度学习框架以及这些方法的基本原理和优劣势比较;最后指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

人脸性别约束下的深度随机森林表情识别

由于人脸表情类内变化和类间干扰因素的存在,人脸表情识别仍面临着巨大挑战.提出一种基于性别条件约束随机森林的深度人脸表情识别方法,解决人脸表情识别中噪声、性别等变化和干扰问题.首先,采用深度多示例学习方法提取鲁棒性人脸特征,解决人脸光照、遮挡和低分辨率等图像变化问题;其次,采用性别条件随机森林分类方法进行人脸表情分类器设...     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估

为了解决复杂课堂场景下学生表情识别的遮挡的问题,同时发挥深度学习在智能教学评估应用上的优势,提出了一种基于深度注意力网络的课堂教学视频中学生表情识别模型与智能教学评估算法.构建了课堂教学视频库、表情库和行为库,利用裁剪和遮挡策略生成多路人脸图像,在此基础上构建了多路深度注意力网络,并通过自注意力机制为多路网络分配不同权...     

人脸部分遮挡条件下表情识别研究的新进展

随着人工智能技术的发展,人脸表情识别可以从图像或视频中抽取表情状态,识别对象心理情绪,从而达到更好的人机交互效果。然而多数方法只关注正面无遮挡的人脸表情识别,并不能适用于客观复杂的场景,极大地限制了算法的实用性。近几年,针对光照遮挡、噪声遮挡、姿态遮挡、实物遮挡等不同类型的遮挡,研究者们提出了各种新方法来挑战人脸部分遮挡下的表情识别,综述了这些方法的主要原理并进行了对比分析,同时对未来的研究和发展方向进行了展望。     

基于性别和年龄因子分析的鲁棒性人脸表情识别

针对非可控环境下人脸表情识别面临的诸如种族、性别和年龄等因子变化问题, 提出一种基于深度条件随机森林的鲁棒性人脸表情识别方法.与传统的单任务人脸表情识别方法不同, 设计了一种以人脸表情识别为主, 人脸性别和年龄属性识别为辅的多任务识别模型.在研究中发现, 人脸性别和年龄等属性对人脸表情识别有一定的影响, 为了捕获它们之间的关系, 提出一种基于人脸性别和年龄双属性的深度条件随机森林人脸表情识别方法.在特征提取阶段, 采用多示例注意力机制进行人脸特征提取以便去除诸如光照、遮挡和低分辨率等变化问题; 在人脸表情识别阶段, 根据人脸性别和年龄双属性因子, 采用多条件随机森林方法进行人脸表情识别.在公开的CK+, ExpW, RAF-DB, AffectNet人脸表情数据库上进行了大量实验：在经典的CK+人脸库上达到99%识别率, 在具有挑战性的自然场景库(ExpW, RAF-DB, AffectNet组合库)上达到70.52%的识别率.实验结果表明：与其他方法相比具有先进性, 对自然场景中的遮挡、噪声和分辨率变化具有一定的鲁棒性.     

基于人工情感的脸部表情识别的研究

脸部特征的提取和各种特征所代表的表情状态是识别是脸部表情识别过程中的重要步骤。该文研究了脸部表情识别方面的一些进展,概括论述了面部表情识别的主要研究内容,以及图像预处理,特征提取,图像识别和表情识别的主要算法和方法。研究表明,在正面人脸和无背景时识别效果较好;在复杂背景下,或人脸被部分遮挡或角度偏转角度较大时,识别效果不好,它的识别效果离实用还有较大的距离,还需要进一步研究。     

融合深度学习与最大间距准则的人脸识别方法

当前,人脸识别技术遇到的突出问题是光照、姿态、遮挡和表情等因素所引起的识别精度的下降,这些问题是人脸识别系统不完美的主要原因,深度学习是一种新的方法,可有效解决这些问题。首先通过引入深度学习算法进行多层次的学习,然后提取高层特征进行人脸描述,最后应用最大间距准则减小最小二乘估计产生的重建误差,实现有效的面部识别分类。该算法在ORL、CAS-PEAL和扩展Yale-B人脸数据库中进行了不同光照、姿态、遮挡、表情和容貌特征变化条件下的仿真实验。结果表明,所提出的算法比传统线性分类算法具有更高的效率和准确度。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。     

基于局部特征聚类损失和多类特征融合的面部表情识别

在真实世界中,每个个体对表情的表现方式不同.基于上述事实,文中提出局部特征聚类(LFA)损失函数,能够在深度神经网络的训练过程中减小相同类图像之间的差异,扩大不同类图像之间的差异,从而削弱表情的多态性对深度学习方式提取特征的影响.同时,具有丰富表情的局部区域可以更好地表现面部表情特征,所以提出融入LFA损失函数的深度学习网络框架,提取的面部图像的局部特征用于面部表情识别.实验结果表明文中方法在真实世界的RAF数据集及实验室条件下的CK+数据集上的有效性.     

基于深度学习和证据理论的表情识别模型

表情识别是在人脸检测基础之上的更进一步研究,是计算机视觉领域的一个重要研究方向.将研究的目标定位于基于微视频的表情自动识别,研究在大数据环境下,如何使用深度学习技术来辅助和促进表情识别技术的发展.针对表情智能识别过程中存在的一些关键性技术难题,设计了一个全自动表情识别模型.该模型结合深度自编码网络和自注意力机制,构建了...     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the e...     

基于CNN集成学习的人脸表情识别系统的设计

随着计算机计算资源的提升以及深度学习理论的不断丰富,自动的人脸表情识别技术已经得到了进一步的发展。但由于表情存在复杂性以及微妙性,实现实时的人脸表情识别仍是一大难题。文章设计了一种基于CNN集成学习的人脸表情识别系统,该系统在FER2013数据集上表情的识别准确率达到70.84%,能够实现实时的、高精度的表情识别。