基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.     

注意力引导的三流卷积神经网络用于微表情识别

目的 微表情识别在心理咨询、置信测谎和意图分析等多个领域都有着重要的应用价值。然而,由于微表情自身具有动作幅度小、持续时间短的特点,到目前为止,微表情的识别性能仍然有很大的提升空间。为了进一步推动微表情识别的发展,提出了一种注意力引导的三流卷积神经网络（attention-guided three-stream convolutional neural network, ATSCNN）用于微表情识别。方法 首先,对所有微表情序列的起始帧和峰值帧进行预处理;然后,利用TV-L1(total variation-L1)能量泛函提取微表情两帧之间的光流;接下来,在特征提取阶段,为了克服有限样本量带来的过拟合问题,通过3个相同的浅层卷积神经网络分别提取输入3个光流值的特征,再引入卷积块注意力模块以聚焦重要信息并抑制不相关信息,提高微表情的识别性能;最后,将提取到的特征送入全连接层分类。此外,整个模型架构采用SELU(scaled exponential linear unit)激活函数以加快收敛速度。结果 本文在微表情组合数据集上进行LOSO(leave-one-subject-out)交叉验...     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

结合C3D与光流法的微表情自动识别

由于微表情动作幅度小且持续时间短,使其识别难度大.针对此问题,提出一个结合三维卷积神经网络(3D Convolutional neural network,C3D)和光流法的微表情识别方法.所提出的方法先用光流法从微表情视频中提取出包含动态特征的光流图像系列,然后将得到的光流图像系列与原始灰度图像序列一起输入到C3D网络,由C3D进一步提取微表情在时域和空域上的特征.在开放数据集CASMEⅡ上进行了模拟实验,实验表明本文所提出的方法对微表情的识别准确率达到67.53％,优于现有方法.     

基于差分定位与光流特征提取的微表情识别

针对现有微表情识别算法中特征提取冗余、处理时间长的问题,提出基于差分定位与光流特征提取的微表情识别方法。首先对人脸的表情敏感部位进行图像序列差分,通过差分投影值划定人脸运动区域,计算运动区域光流分析数据的主成分特征,最后利用支持向量机判断脸部运动单元编号,识别微表情的类别。实验结果表明,该方法较之于传统识别技术在微表情识别效率与准确度上有显著提升。     

结合特征融合和注意力机制的微表情识别方法

微表情指当人们试图隐藏或抑制自己的真实情感时,脸上出现的一种无法控制的肌肉运动.此类情绪面部表情由于具有持续时间短、动作幅度小、难以掩饰和抑制的特点,因此其识别精度受到了制约.为了应对这些挑战,文中提出一种结合特征融合和注意力机制的微表情识别方法,同时考虑了光流特征和人脸特征,通过进一步加入注意力机制来提升识别性能.该...     

基于视频时空特征的行为识别方法

针对双流网络提取运动信息需要预先计算光流图,从而无法实现端到端的识别以及三维卷积网络参数量巨大的问题,提出了一种基于视频时空特征的行为识别方法。该方法能够高效提取视频中的时空信息,且无需添加任何光流计算和三维卷积操作。首先,利用基于注意力机制的运动信息提取模块捕获相邻两帧之间的运动位移信息,从而模拟双流网络中光流图的作用;其次,提出了一种解耦的时空信息提取模块代替三维卷积,从而实现时空信息的编码;最后,在将两个模块嵌入二维的残差网络中后,完成端到端的行为识别。将所提方法在几个主流的行为识别数据集上进行实验,结果表明在仅使用RGB视频帧作为输入的情况下,在UCF101、HMDB51、Something-Something-V1数据集上的识别准确率分别为96.5%、73.1%和46.6%,与使用双流结构的时间分段网络（TSN）方法相比,在UCF101数据集上的识别准确率提高了2.5个百分点。可见,所提方法能够高效提取视频中的时空特征。     

微表情峰值帧定位引导的分类算法

目的 微表情是人在外界信息和刺激下做出的无意识面部动作,是判断受试人情绪和行为的重要佐证,在社会安全、商业谈判和心理辅导等领域都有着广泛的应用。微表情不同于一般的表情,分类与定位较为困难。针对这种情况,提出了一种基于光流窗口的双分支微表情定位网络（dual-branch optical flow spotting network,DFSN）和一种利用峰值帧光流信息的微表情分类网络,以识别视频中的微表情。方法 在定位任务中,首先提取面部图像,选择光流窗口大小和位置,计算面部光流并进行预处理;接下来输入双分支网络中进行两次分类,分别针对有无微表情和在有微表情前提下微表情所处阶段分类,并结合两个损失函数抑制过拟合;最后绘制出微表情强度曲线,曲线峰值所处位置即为所求微表情峰值帧。在分类任务中,选取视频起始帧和定位网络取得的峰值帧作为光流窗口,并利用欧拉运动放大算法（Eulerian motion magnification,EMM）放大微表情,最后采用峰值帧光流信息分类微表情视频。结果 微表情定位网络分别在CASME II （Chinese Academy of Sciences Micro-expression Database II）数据集和CASME数据集上按照使用留一被试交叉验证法进行了实验,与目前最好的定位方法比较,此网络在CASME II上获得了最低的NMAE（normalized mean absolute error）值0.101 7,比Optical flow+UPC方法提高了9%。在CASME上获得的NMAE值为0.137 8,在此数据集上为次优定位方法。在定位网络得到的峰值基础上,分类网络在CASME II上取得了89.79%的准确率,在CASME上取得了66.06%的准确率。若采用数据集标注的峰值,分类网络在CASME II上取得了91.83%的准确率,在CASME上取得了76.96%的准确率。结论 提出的微表情定位网络可以有效定位视频中微表情峰值帧的位置,帮助后续网络进行分类,微表情分类网络可以有效区分不同种类的微表情视频。     

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作，具有持续时间短、幅度小的典型特点。针对微表情识别难度大、识别效果不理想的问题，提出一种基于卷积注意力模块（CBAM）和双通道网络（DPN）的微表情识别算法——CBAM-DPN。首先，进行典型微表情数据集的数据融合；然后，分析序列帧中像素的变化值以确定顶点帧位置，再对顶点帧进行图像增强处理；最后，基于CBAM-DPN对图像增强后的微表情顶点帧进行特征的有效提取，并构建分类器对微表情进行识别。优化后模型的未加权F1值（UF1）和未加权平均召回率（UAR）分别可以达到0.720 3和0.729 3，相较于DPN模型分别提高了0.048 9和0.037 9，相较于CapsuleNet模型分别提高了0.068 3和0.078 7。实验结果表明，CBAM-DPN算法融合了CBAM和DPN的共同优势，可增强微小特征的信息提取能力，有效改善微表情识别性能。