采用时空注意力机制的人脸微表情识别

目的 微表情是人自发产生的一种面部肌肉运动,可以展现人试图掩盖的真实情绪,在安防、嫌疑人审问和心理学测试等有潜在的应用。为缓解微表情面部肌肉变化幅度小、持续时间短所带来的识别准确率低的问题,本文提出了一种用于识别微表情的时空注意力网络（spatiotemporal attention network,STANet）。方法 STANet包含一个空间注意力模块和一个时间注意力模块。首先,利用空间注意力模块使模型的注意力集中在产生微表情强度更大的区域,再利用时间注意力模块对微表情变化更大因而判别性更强的帧给予更大的权重。结果 在3个公开微表情数据集（The Chinese Academy of Sciences microexpression,CASME;CASME II;spontaneous microexpression database-high speed camera,SMIC-HS）上,使用留一交叉验证与其他8个算法进行了对比实验。实验结果表明,STANet在CASME数据集上的分类准确率相比于性能第2的模型Sparse MDMO（sparse main directional mean optical flow）提高了1.78%;在CASME II数据集上,分类准确率相比于性能第2的模型HIGO（histogram of image gradient orientation）提高了1.90%;在SMIC-HS数据集上,分类准确率达到了68.90%。结论 针对微表情肌肉幅度小、产生区域小、持续时间短的特点,本文将注意力机制用于微表情识别任务中,提出了STANet模型,使得模型将注意力集中于产生微表情幅度更大的区域和相邻帧之间变化更大的片段。     

视频放大和深度学习在微表情识别任务上的应用

针对微表情动作过于微弱不利于识别和目前主流方法合并情绪类别不利于微表情在现实任务中的应用2个问题,提出一种基于眼部干扰消除的视频放大方法,并利用卷积神经网络实现微表情识别任务.首先,利用基于相位的视频动作处理技术对微表情数据集CASME和CASME II中的视频数据进行放大;然后利用特征点定位获取眼部坐标,并将原始眼部视频替换到放大视频中进行图像融合,以实现对眼部干扰的消除操作;最后利用VGG16的思想设计卷积神经网络模型网络,实现对放大后的微表情数据情绪类别的识别.实验在不同方法下分别对2个数据集的准确率进行对比,并用几种调优策略下的模型分别就原始数据集和放大数据集的准确率进行对比.结果表明,文中方法能够更好地提升真实情绪分类状态下的微表情识别准确率.     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

结合C3D与光流法的微表情自动识别

由于微表情动作幅度小且持续时间短,使其识别难度大.针对此问题,提出一个结合三维卷积神经网络(3D Convolutional neural network,C3D)和光流法的微表情识别方法.所提出的方法先用光流法从微表情视频中提取出包含动态特征的光流图像系列,然后将得到的光流图像系列与原始灰度图像序列一起输入到C3D网络,由C3D进一步提取微表情在时域和空域上的特征.在开放数据集CASMEⅡ上进行了模拟实验,实验表明本文所提出的方法对微表情的识别准确率达到67.53％,优于现有方法.     

基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。     

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用“留一交叉验证法”进行实验,结果表明本文方法相比一些现有的方法识别准确率及 ${F_1}$ 值更高。     

结合空间注意力机制与光流特征的微表情识别方法

针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法.     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

结合空洞卷积的CNN实时微表情识别算法

通过CNN等基于深度特征的人脸自发式微表情识别分类方法逐渐完善,相比于传统的特征提取方法更易满足应用实时性,针对微表情持续时间短、动作幅度细微,在多卷积层叠加会丢失图像中的细微信息的问题,为了完善细节信息,充分提取微表情细微特征,提出结合空洞卷积核及人脸自动校正算法,完善CNN特征提取过程,通过自动人脸矫正适应实际应用中的实时识别分类,在CASME及CASMEⅡ微表情公开数据集上完成模型训练及测试,通过损失函数方案对比提高模型鲁棒性,CASME中准确率为70.16%,CASMEⅡ中准确率为72.26%;实时识别帧率在60 fps。该方法能有效地提高微表情识别准确率,满足实时性要求,且具有较好的鲁棒性和泛化能力。     

基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.     

微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。微表情在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。     

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快，导致人工分析难度较大，开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展，研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状，从多个角度对微表情分析的两大分支，即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同，从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法，其中，基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较，在此基础上，探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。     

基于改进特征融合的微表情识别方法

微表情的变化是非常微小的,这使得微表情的研究非常困难。微表情是不能伪造和压制的,因此也成为判断人们主观情感的重要依据。本文提出了以卷积神经网络及改进长短时记忆网络特征融合为依托的微表情识别方法,先介绍了相关的背景知识,再介绍了实验的预处理过程、特征提取以及相应的特征融合的过程,将所得的结果用于实验模型的预测分类。实验结果表明,新模型具有更好的识别率。     

细粒度分层时空特征描述符的微表情识别方法

由于微表情持续时间小于0.5?s、非自愿性和低强度等特点,微表情识别仍然是具有挑战性的任务。对分层时空特征描述符进行改进,提出一种新的细粒度分层时空特征的微表情识别方法。提取微表情视频片段中的各层次时空特征,利用投影矩阵建立时空特征和微表情之间的联系,进而选择对识别任务有贡献的区域。然后统计具有整体最大贡献度的层次,将该层次下选中的区域块和前一层选中的区域块进行交集操作,达到去除分层时空特征的空间冗余性和提升微表情特征区分度的目的。在CASME[Ⅱ]上的实验表明,提出的方法能够细粒度化微表情发生区域,获得了更好的识别结果。     

基于多任务中级特征个性化学习的微表情识别

微表情是一种短暂的面部表情，揭示了一个人试图隐藏的真实情感。对现有的一种多任务中级特征学习方法进行了改进，提出了一种多任务中级特征个性化学习方法用于微表情识别。对于每个低级特征，计算类内[k]最近邻时，去除同一人的同类微表情；计算类间[k]最近邻时，保留同一人的不同类表情，并减小[k]值。采用个性化学习方法，生成具有更多判别信息的中级特征。在微表情数据集CASME2上的实验表明，所提出的方法具有更好的识别性能。     

一种视频微表情检测的改进光流算法

微表情是人们在试图隐藏自己真实情感时表现出的不受自主神经控制、持续时间 短暂,强度十分微弱的面部表情。由于微表情与谎言识别有着密切的联系,其公共安全、侦查 讯问、临床医学等领域有很大的应用前景。针对人为识别微表情十分困难的问题,提出一种基 于Horn-Schunck (HS)光流法改进并应用于微表情自动检测的方法。使用预条件Gauss-Seidel 迭 代方法改进了HS 光流法,加快了收敛速度。通过在自发微表情数据库CASME 中进行实验, 该验证方法在微表情检测中有很好的效果。     

双流网络信息交互机制下的微表情识别

针对深度学习的方法用于微表情识别时微表情识别的实验数据库非常稀缺,导致神经网络在学习的过程中知识获取有限而难以提高精度及泛化能力的问题,提出基于双流网络信息交互的微表情识别方法.通过改进的深度互学习策略引导图像序列不同模态之间的交互训练,提高网络的识别率.方法基于RGB图像序列建立主体网络,基于光流建立辅助网络;在训练阶段,通过设计互学习损失中的有监督学习损失和拟态损失,优化训练过程,使得每一种模态都能学习正确地预测训练样本的真实标识,同时能与其他模态的预测相匹配;在测试阶段,由于互学习机制增强了RGB分支的判别能力,因此可对光流分支进行剪裁,在保证精度的前提下提高识别速度.在CASME,CASMEⅡ和SMIC数据库上的实验结果表明,该方法有效地提高了识别精度,整体性能优于已有方法.     

微表情类别与区域间关联度的分析方法研究

为了揭示微表情类别与面部各区域之间的关联度,提出一种局部区域划分和分析方法。该方法首先根据各类微表情对应动作单元所在的位置确定出人脸中最为关键的7个局部区域,然后采用面部形变鉴别模型自动检测出面部49个关键点坐标,再根据这些点确定上述局部区域的4个边界。最后,分别提取各区域的时空模式特征并进行微表情分类,通过各区域对各类微表情的分类准确率来分析两者之间的关联度。实验结果表明,局部区域划分方案科学合理,微表情“惊奇”及“厌恶”与眼睛区域、微表情“高兴”与嘴巴区域、微表情“压抑”与下巴区域有较高的关联度。