基于复杂CNN的人脸微表情识别算法

传统人脸微表情识别算法忽略了数据集的预处理，导致表情误识率偏高，且识别耗时较长。为有效解决上述问题，提出基于复杂CNN的人脸微表情识别算法。预处理人脸微表情数据集，以降低网络样本训练过程中过拟合风险。通过复杂卷积神经网络(CNN)分别提取微表情视频序列在64fps和128fps两个时间尺度特征。采用支持向量机(SVM)完成决策级融合分类，以有效实现人脸微表情识别。实验结果表明，实验过程中所提方法的表情误识率低于0.1%,识别耗时不高于5ms,相比之下所提方法具有更好的应用效果。     

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快，导致人工分析难度较大，开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展，研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状，从多个角度对微表情分析的两大分支，即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同，从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法，其中，基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较，在此基础上，探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。     

微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。微表情在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。     

双通道动静态特征的微表情识别

微表情识别是情感识别领域的一项关键任务,其目的是分析人们隐藏的真实情感.针对微表情识别中微表情视频帧冗余、微表情幅度变化微弱和微表情持续时间短的问题,导致无法有效在微表情视频中提取有效特征,从而降低微表情识别的精度与速度,提出一种动态特征与静态特征结合的微表情识别方法.首先将视频动态信息压缩为残差积减少帧冗余,提高模型预测速度,然后分别使用稀疏卷积和深度可分离卷积提取动态特征和静态特征,并利用多阶段自适应特征融合的方式充分结合动态特征与静态特征,最后通过标签平滑损失函数提高模型泛化能力.实验结果表示,动态特征与静态特征的结合有效地提高了微表情识别的精度.在MEGC2019的评估标准下,混合数据集的UF1值提高了0.035,UAR值提高了0.045.     

CBFaceNet基于双注意力机制的微表情识别网络

微表情识别在学生课堂、医疗等方面都发挥着重要作用。现有的微表情识别模型技术大多使用传统的特征学习方法进行特征提取,但是传统的特征学习方法识别率不高,而深度学习的方法会产生大量的运行参数。因此,提出一种轻量级的微表情识别方法,称为CBFaceNet。该模型可以实现端到端的检测,适合应用于资源有限的移动设备。在提出的模型中,融合三维注意力机制simAM增强模型对微表情关键部位特征的提取,并且能够降低模型参数。在模型中插入通道和空间注意力模块CBAM,使提取的面部特征更加丰富,同时,采用混合损失函数测试该模型。在SMIC微表情数据集中将CBFaceNet与其他模型进行比较,实验结果表明,CBFaceNet在识别精度、复杂度和模型参数方面都有着优越的性能。     

微表情自动识别综述

微表情是一种持续时间仅为1/25~1/5 s非常快速的表情,它表达了人试图压抑与隐藏的真正情感.文中简要分析了面部行为代码系统,探讨了人工微表情识别方法的实验研究;对现有的微表情自动识别的数据库从采集情况、微表情的产生情况以及用途进行了对比总结,重点综述了现有的微表情自动识别研究进展,从识别结果、所采用的技术、优缺点等方面进行了对比总结,给出了评估方法,论述了微表情线索测谎的典型应用;最后探讨了该领域值得进一步研究的问题和可能的发展方向.     

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作，具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题，提出一种基于卷积注意力模块（CBAM）和双通道网络（DPN）的微表情识别算法——CBAM-DPN。首先，进行典型微表情数据集的数据融合；然后，分析序列帧中像素的变化值以确定顶点帧位置，再对顶点帧进行图像增强处理；最后，基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取，并构建分类器对微表情进行识别。优化后模型的未加权F1值（UF1）和未加权平均召回率（UAR）分别可以达到0.720 3和0.729 3，相较于DPN模型分别提高了0.048 9和0.037 9，相较于CapsuleNet模型分别提高了0.068 3和0.078 7。实验结果表明，CBAM-DPN算法融合了CBAM和DPN的共同优势，可增强微小特征的信息提取能力，有效改善微表情识别性能。     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

视频放大和深度学习在微表情识别任务上的应用

针对微表情动作过于微弱不利于识别和目前主流方法合并情绪类别不利于微表情在现实任务中的应用2个问题,提出一种基于眼部干扰消除的视频放大方法,并利用卷积神经网络实现微表情识别任务.首先,利用基于相位的视频动作处理技术对微表情数据集CASME和CASME II中的视频数据进行放大;然后利用特征点定位获取眼部坐标,并将原始眼部视频替换到放大视频中进行图像融合,以实现对眼部干扰的消除操作;最后利用VGG16的思想设计卷积神经网络模型网络,实现对放大后的微表情数据情绪类别的识别.实验在不同方法下分别对2个数据集的准确率进行对比,并用几种调优策略下的模型分别就原始数据集和放大数据集的准确率进行对比.结果表明,文中方法能够更好地提升真实情绪分类状态下的微表情识别准确率.     

基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5?s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务。对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法。提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域。然后统计具有整体最大贡献度的层次,将该层次下选中的区域块和前一层选中的区域块进行交集操作,达到去除分层时空特征的空间冗余性和提升微表情特征区分度的目的。在CASME[Ⅱ]上的实验表明,提出的方法能够细粒度化微表情发生区域,获得了更好的识别结果。     

基于局部区域方法的微表情识别

微表情（ME）的发生只牵涉到面部局部区域，具有动作幅度小、持续时间短的特点，但面部在产生微表情的同时也存在一些无关的肌肉动作。现有微表情识别的全局区域方法会提取这些无关变化的时空模式，从而降低特征向量对于微表情的表达能力，进而影响识别效果。针对这个问题，提出使用局部区域方法进行微表情识别。首先，根据微表情发生时所牵涉到的动作单元（AU）所在区域，通过面部关键点坐标将与微表情相关的七个局部区域划分出来；然后，提取这些局部区域组合的时空模式并串联构成特征向量，进行微表情识别。留一交叉验证的实验结果表明局部区域方法较全局区域方法进行微表情识别的识别率平均提高9.878%。而通过对各区域识别结果的混淆矩阵进行分析表明所提方法充分利用了面部各局部区域的结构信息，并有效摒除与微表情无关区域对识别性能的影响，较全局区域方法可以显著提高微表情识别的性能。     

基于多任务中级特征个性化学习的微表情识别

微表情是一种短暂的面部表情，揭示了一个人试图隐藏的真实情感。对现有的一种多任务中级特征学习方法进行了改进，提出了一种多任务中级特征个性化学习方法用于微表情识别。对于每个低级特征，计算类内[k]最近邻时，去除同一人的同类微表情；计算类间[k]最近邻时，保留同一人的不同类表情，并减小[k]值。采用个性化学习方法，生成具有更多判别信息的中级特征。在微表情数据集CASME2上的实验表明，所提出的方法具有更好的识别性能。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

双流增强融合网络微表情识别

为解决微表情识别领域数据集样本数量少,样本类型分布不均导致识别率鲁棒性差的问题,提出了一种基于双流增强网络的微表情识别模型。该模型基于单帧RGB图像流及光流图像流的双流卷积神经网络,以权威数据集为基础,数据增强为基准,构建微表情识别模型。通过在SoftMax逻辑回归层融合单帧空域信息和光流时域信息,对两个独立流的网络性能进行提升,并通过引入基于带循环约束的生成对抗网络的图像生成方式对数据集进行扩充。通过将输入微表情视频帧序列进行分解,将其分割为双流网络的灰度单帧序列与光流单帧序列,对两类序列图进行数据增强,再进行微表情识别模型构建的方法,有效提高了微表情识别率。基于双流增强网络的微表情识别模型可以较好提升微表情识别准确度,鲁棒性较好,泛化状态较稳定。     

Coupled source domain targetized with updating tag vectors for micro-expression recognition

Micro-expression has raised increasing attention for analyzing human inner emotions. However, most micro-expression recognition methods are developed with specific feature representations and extraction methods, such as local binary pattern on three orthogonal planes (LBP-TOP) and optical flow. The performance in such micro-expression recognition models is not high due to the limited training samples and the unequal size of the sample category. To improve the performance, we present a novel algorithm, named coupled source domain targetized with updating tag vectors, and we apply it to the micro-expression recognition. This method leverages rich speech data to enhance micro-expression recognition by transferring learning from the speech to the micro-expression recognition. The method highlights are: it simultaneously projects micro-expression samples and speech samples into a common space, then minimizes the reconstruction error between the speech and micro-expression samples, with an updating tag vectors added in the reconstruction process. It performs recognition by using dictionary learning together with support vector machine (SVM). Experimental results on the CASIA Chinese emotional corpus and CASME II micro-expression database demonstrate the effectiveness of our method.