微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。微表情在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。     

多通道运动特征融合的微表情识别方法

针对已有的微表情识别中由于微表情变化幅度不明显,导致细微特征容易在学习过程中丢失,从而使模型的性能受到限制的问题,提出一种基于运动特征的微表情识别方法.首先分析变化幅度相对明显的区域对微表情识别的影响,根据生理学研究对微表情变化相对活跃区域进行局部切割,并使用并行神经网络分别对局部区域和全局区域提取特征;然后采用一种能够提取特征级运动信息的运动特征提取模块从空间特征图中学习到运动特征,将运动特征和空间特征进行聚合,以减少细微特征的丢失;最后将局部特征和全局的聚合特征组合成新的混合特征用于微表情识别.实验结果表明,在MEGC 2019数据集(包含CASMEⅡ,SMIC和SAMM)上,未加权F1分数和未加权平均召回率的结果分别为81.81％和79.01％,与MEGC 2019最好的方法相比分别提高了2.96％和0.77％,该方法具有更好的识别性能.     

微表情自动识别综述

微表情是一种持续时间仅为1/25~1/5 s非常快速的表情,它表达了人试图压抑与隐藏的真正情感.文中简要分析了面部行为代码系统,探讨了人工微表情识别方法的实验研究;对现有的微表情自动识别的数据库从采集情况、微表情的产生情况以及用途进行了对比总结,重点综述了现有的微表情自动识别研究进展,从识别结果、所采用的技术、优缺点等方面进行了对比总结,给出了评估方法,论述了微表情线索测谎的典型应用;最后探讨了该领域值得进一步研究的问题和可能的发展方向.     

基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。     

基于差分定位与光流特征提取的微表情识别

针对现有微表情识别算法中特征提取冗余、处理时间长的问题,提出基于差分定位与光流特征提取的微表情识别方法。首先对人脸的表情敏感部位进行图像序列差分,通过差分投影值划定人脸运动区域,计算运动区域光流分析数据的主成分特征,最后利用支持向量机判断脸部运动单元编号,识别微表情的类别。实验结果表明,该方法较之于传统识别技术在微表情识别效率与准确度上有显著提升。     

CBFaceNet基于双注意力机制的微表情识别网络

微表情识别在学生课堂、医疗等方面都发挥着重要作用。现有的微表情识别模型技术大多使用传统的特征学习方法进行特征提取,但是传统的特征学习方法识别率不高,而深度学习的方法会产生大量的运行参数。因此,提出一种轻量级的微表情识别方法,称为CBFaceNet。该模型可以实现端到端的检测,适合应用于资源有限的移动设备。在提出的模型中,融合三维注意力机制simAM增强模型对微表情关键部位特征的提取,并且能够降低模型参数。在模型中插入通道和空间注意力模块CBAM,使提取的面部特征更加丰富,同时,采用混合损失函数测试该模型。在SMIC微表情数据集中将CBFaceNet与其他模型进行比较,实验结果表明,CBFaceNet在识别精度、复杂度和模型参数方面都有着优越的性能。     

结合空间注意力机制与光流特征的微表情识别方法

针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法.     

基于深度学习和微表情检测的防疲劳驾驶检测综述

随着国家经济的迅速发展,基础设施日益完善,人民生活水平不断提高,安全出行成为一项重大的民生课题。很多交通事故都是由疲劳驾驶引起。目前,快速、精准检测疲劳驾驶成为一个热点研究问题。基于此,从传统疲劳驾驶检测方案的局限性出发,引出了基于深度学习和微表情检测的防疲劳驾驶检测方案,归纳总结了微表情检测流程和深度学习流程。     

双流时间域信息交互的微表情识别卷积网络

目前主流的深度学习方法用于微表情识别存在实验数据非常稀缺的问题,导致神经网络在学习的过程中知识获取有限进而难以提升精度.针对目前存在的问题,提出双流网络时间域信息交互的微表情识别方法,构建了双流时间域信息交互卷积神经网络(DSTICNN),网络对微表情序列进行处理,进而实现微表情自动识别.该算法通过改进深度互学习策略引...     

基于改进特征融合的微表情识别方法

微表情的变化是非常微小的,这使得微表情的研究非常困难。微表情是不能伪造和压制的,因此也成为判断人们主观情感的重要依据。本文提出了以卷积神经网络及改进长短时记忆网络特征融合为依托的微表情识别方法,先介绍了相关的背景知识,再介绍了实验的预处理过程、特征提取以及相应的特征融合的过程,将所得的结果用于实验模型的预测分类。实验结果表明,新模型具有更好的识别率。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5?s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务。对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法。提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域。然后统计具有整体最大贡献度的层次,将该层次下选中的区域块和前一层选中的区域块进行交集操作,达到去除分层时空特征的空间冗余性和提升微表情特征区分度的目的。在CASME[Ⅱ]上的实验表明,提出的方法能够细粒度化微表情发生区域,获得了更好的识别结果。     

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作，具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题，提出一种基于卷积注意力模块（CBAM）和双通道网络（DPN）的微表情识别算法——CBAM-DPN。首先，进行典型微表情数据集的数据融合；然后，分析序列帧中像素的变化值以确定顶点帧位置，再对顶点帧进行图像增强处理；最后，基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取，并构建分类器对微表情进行识别。优化后模型的未加权F1值（UF1）和未加权平均召回率（UAR）分别可以达到0.720 3和0.729 3，相较于DPN模型分别提高了0.048 9和0.037 9，相较于CapsuleNet模型分别提高了0.068 3和0.078 7。实验结果表明，CBAM-DPN算法融合了CBAM和DPN的共同优势，可增强微小特征的信息提取能力，有效改善微表情识别性能。     

一种视频微表情检测的改进光流算法

微表情是人们在试图隐藏自己真实情感时表现出的不受自主神经控制、持续时间 短暂,强度十分微弱的面部表情。由于微表情与谎言识别有着密切的联系,其公共安全、侦查 讯问、临床医学等领域有很大的应用前景。针对人为识别微表情十分困难的问题,提出一种基 于Horn-Schunck (HS)光流法改进并应用于微表情自动检测的方法。使用预条件Gauss-Seidel 迭 代方法改进了HS 光流法,加快了收敛速度。通过在自发微表情数据库CASME 中进行实验, 该验证方法在微表情检测中有很好的效果。     

微表情识别研究综述

微表情是人类在试图掩饰自己情感时所产生的面部细微变化,在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用,因此微表情识别也开始得到重视。从微表情识别的主流的方法：卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析,对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结;阐述微表情识别目前存在的问题,并对未来的发展方向进行展望。     

Coupled source domain targetized with updating tag vectors for micro-expression recognition

Micro-expression has raised increasing attention for analyzing human inner emotions. However, most micro-expression recognition methods are developed with specific feature representations and extraction methods, such as local binary pattern on three orthogonal planes (LBP-TOP) and optical flow. The performance in such micro-expression recognition models is not high due to the limited training samples and the unequal size of the sample category. To improve the performance, we present a novel algorithm, named coupled source domain targetized with updating tag vectors, and we apply it to the micro-expression recognition. This method leverages rich speech data to enhance micro-expression recognition by transferring learning from the speech to the micro-expression recognition. The method highlights are: it simultaneously projects micro-expression samples and speech samples into a common space, then minimizes the reconstruction error between the speech and micro-expression samples, with an updating tag vectors added in the reconstruction process. It performs recognition by using dictionary learning together with support vector machine (SVM). Experimental results on the CASIA Chinese emotional corpus and CASME II micro-expression database demonstrate the effectiveness of our method.     

基于多任务中级特征个性化学习的微表情识别

微表情是一种短暂的面部表情，揭示了一个人试图隐藏的真实情感。对现有的一种多任务中级特征学习方法进行了改进，提出了一种多任务中级特征个性化学习方法用于微表情识别。对于每个低级特征，计算类内[k]最近邻时，去除同一人的同类微表情；计算类间[k]最近邻时，保留同一人的不同类表情，并减小[k]值。采用个性化学习方法，生成具有更多判别信息的中级特征。在微表情数据集CASME2上的实验表明，所提出的方法具有更好的识别性能。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

基于局部区域方法的微表情识别

微表情（ME）的发生只牵涉到面部局部区域，具有动作幅度小、持续时间短的特点，但面部在产生微表情的同时也存在一些无关的肌肉动作。现有微表情识别的全局区域方法会提取这些无关变化的时空模式，从而降低特征向量对于微表情的表达能力，进而影响识别效果。针对这个问题，提出使用局部区域方法进行微表情识别。首先，根据微表情发生时所牵涉到的动作单元（AU）所在区域，通过面部关键点坐标将与微表情相关的七个局部区域划分出来；然后，提取这些局部区域组合的时空模式并串联构成特征向量，进行微表情识别。留一交叉验证的实验结果表明局部区域方法较全局区域方法进行微表情识别的识别率平均提高9.878%。而通过对各区域识别结果的混淆矩阵进行分析表明所提方法充分利用了面部各局部区域的结构信息，并有效摒除与微表情无关区域对识别性能的影响，较全局区域方法可以显著提高微表情识别的性能。