基于局部区域方法的微表情识别

微表情（ME）的发生只牵涉到面部局部区域，具有动作幅度小、持续时间短的特点，但面部在产生微表情的同时也存在一些无关的肌肉动作。现有微表情识别的全局区域方法会提取这些无关变化的时空模式，从而降低特征向量对于微表情的表达能力，进而影响识别效果。针对这个问题，提出使用局部区域方法进行微表情识别。首先，根据微表情发生时所牵涉到的动作单元（AU）所在区域，通过面部关键点坐标将与微表情相关的七个局部区域划分出来；然后，提取这些局部区域组合的时空模式并串联构成特征向量，进行微表情识别。留一交叉验证的实验结果表明局部区域方法较全局区域方法进行微表情识别的识别率平均提高9.878%。而通过对各区域识别结果的混淆矩阵进行分析表明所提方法充分利用了面部各局部区域的结构信息，并有效摒除与微表情无关区域对识别性能的影响，较全局区域方法可以显著提高微表情识别的性能。     

微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。微表情在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。     

基于ADCP-TOP的微表情识别方法

微表情识别的难点是情绪持续时间短,面部动作变化微小。为此,提出一种基于相邻双交叉局部二值模式（ADCP-TOP）的微表情识别方法,针对微表情特点将邻域像素之间关系引入,使得对细节信息提取更丰富,捕捉微小变化能力增强。通过对奇偶位置的采样点分开编码,将结构信息量化,在保证信息量增加的同时使维度减小,并增强鲁棒性。此外,通过面部动作单元划分细粒度感兴趣区域（FROI）提取ADCP-TOP特征,以进一步增强对细节信息提取能力。最后,在SMIC和CASME2数据库中的实验表明,提出的识别方法取得更高识别率。     

人脸微表情识别综述

人脸表情是人际交往的重要渠道,识别人脸表情可促进对人心理状态和情感的理解.不同于常规的人脸表情,微表情是一种特殊的面部微小动作,可以作为判断人主观情绪的重要依据,在公共安防和心理治疗领域有广泛的应用价值.由于微表情具有动作幅度小、持续时间短的特点,对微表情的人工识别需要专业的培训,且识别正确率较低.近年来不少研究人员开始利用计算机视觉技术自动识别微表情,极大地提高了微表情的应用可行性.本文综述人脸微表情识别的定义和研究现状,总结微表情识别中的一些关键技术,探讨潜在的问题和可能的研究方向.     

采用时空注意力机制的人脸微表情识别

目的 微表情是人自发产生的一种面部肌肉运动,可以展现人试图掩盖的真实情绪,在安防、嫌疑人审问和心理学测试等有潜在的应用。为缓解微表情面部肌肉变化幅度小、持续时间短所带来的识别准确率低的问题,本文提出了一种用于识别微表情的时空注意力网络（spatiotemporal attention network,STANet）。方法 STANet包含一个空间注意力模块和一个时间注意力模块。首先,利用空间注意力模块使模型的注意力集中在产生微表情强度更大的区域,再利用时间注意力模块对微表情变化更大因而判别性更强的帧给予更大的权重。结果 在3个公开微表情数据集（The Chinese Academy of Sciences microexpression,CASME;CASME II;spontaneous microexpression database-high speed camera,SMIC-HS）上,使用留一交叉验证与其他8个算法进行了对比实验。实验结果表明,STANet在CASME数据集上的分类准确率相比于性能第2的模型Sparse MDMO（sparse main directional mean optical flow）提高了1.78%;在CASME II数据集上,分类准确率相比于性能第2的模型HIGO（histogram of image gradient orientation）提高了1.90%;在SMIC-HS数据集上,分类准确率达到了68.90%。结论 针对微表情肌肉幅度小、产生区域小、持续时间短的特点,本文将注意力机制用于微表情识别任务中,提出了STANet模型,使得模型将注意力集中于产生微表情幅度更大的区域和相邻帧之间变化更大的片段。     

多通道运动特征融合的微表情识别方法

针对已有的微表情识别中由于微表情变化幅度不明显,导致细微特征容易在学习过程中丢失,从而使模型的性能受到限制的问题,提出一种基于运动特征的微表情识别方法.首先分析变化幅度相对明显的区域对微表情识别的影响,根据生理学研究对微表情变化相对活跃区域进行局部切割,并使用并行神经网络分别对局部区域和全局区域提取特征;然后采用一种能...     

基于AU-GCN与注意力机制的微表情识别

微表情作为一种持续时间非常短的表情,能够隐晦地将人试图压抑与隐藏的真正情感表达出来,在国家安全、司法系统、医学范畴和政治选举等有着较好的应用。但由于微表情有着数据集较少、持续时间短暂、表情幅度低等特点,在识别微表情时存在数据样本量较少、计算量较大、缺失重点特征的关注、易过拟合等困难。因此本文将针对微表情只出现在面部部分区域的特点,借助面部动作单元（Action Units,AU）,对其使用加权注意力机制凸显局部特征,并且应用图卷积神经网络找到AU各个节点间的依赖关系,聚合为全局特征,用于微表情识别。实验结果表明,相较于现有方法,本文提出的方法将准确率提高至79.3%。     

基于改进特征融合的微表情识别方法

微表情的变化是非常微小的,这使得微表情的研究非常困难。微表情是不能伪造和压制的,因此也成为判断人们主观情感的重要依据。本文提出了以卷积神经网络及改进长短时记忆网络特征融合为依托的微表情识别方法,先介绍了相关的背景知识,再介绍了实验的预处理过程、特征提取以及相应的特征融合的过程,将所得的结果用于实验模型的预测分类。实验结果表明,新模型具有更好的识别率。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

人脸活动单元自动识别研究综述

人脸活动单元(action units,AU)的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近年来得到了广泛关注.文中阐述了AU自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU编码的代表性人脸表情数据库,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述.最后总结了目前AU自动识别研究中存在的主要难点,并展望了其发展方向.     

基于卷积注意力模块和双通道网络的微表情识别算法

微表情是一种人类在试图隐藏自己真实情感时作出的面部动作,具有持续时间短、幅度小的典型特点.针对微表情识别难度大、识别效果不理想的问题,提出一种基于卷积注意力模块(CBAM)和双通道网络(DPN)的微表情识别算法——CBAM-DPN.首先,进行典型微表情数据集的数据融合;然后,分析序列帧中像素的变化值以确定顶点帧位置,再...     

基于区域分割和二次判别的手静脉识别

提出了一种基于区域分割和二次判别的手静脉识别方法,首先,将静脉图像分割成一些相同大小的互不重叠的子区域,在每一个小的子区域内抽取仅带有该区域局部特征的Gabor相位信息,再将这些特征信息级联成整幅图像的特征矢量,进行静脉识别.在抽取特征的过程中,使用Fisher线性判别(Fisher linear discriminant,FLD)降低特征矢量维度.最后,利用得到的相位信息重建一幅静脉图像,并根据阈值将图像二值化,从而分割出手静脉骨架,结合静脉骨架的相似性得到手静脉的二次识别.在香港理工大学的数据库上测试了算法性能,实验结果表明,通过区域分割获取局部特征在手静脉识别中起到了关键作用,在进一步结合了二次判别后,本文提出的手静脉识别方法取得了0.09％的等错误概率(Error equation rate,EER).     

基于人脸识别技术的智能系统研究与开发

本文针对单人正面人脸图像的定位、特征提取以及识别的方法进行了研究,提出了结合人脸模板和人脸特征进行人脸检测的方法.利用已经定位的人脸图像,确定其眼睛、鼻部及嘴部的几何特征参数,并对实验人脸库进行监督下的分类和统计.在此基础上,实现了一个智能识别系统.     

基于局部SVM分类器的表情识别方法

提出了一种新的视频人脸表情识别方法. 该方法将识别过程分成人脸表情特征提取和分类2个部分,首先采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取人脸表情几何特征;然后,采用一种新的局部支撑向量机分类器对表情进行分类. 在Cohn2Kanade数据库上对KNN、SVM、KNN2SVM和LSVM 4种分类器的比较实验结果验证了所提出方法的有效性.     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

基于局部特征点方法的动作识别研究

利用局部特征点方法进行视频中的动作识别研究,通过对尺度空间理论以及多种经典的局部特征点检测方法的深入分析,将SIFT算法引入到视频研究领域,提出了一种全新而高效的视频特征点检测算法。在此基础上,设计了合理的机器学习方法对局部特征点进行训练,利用训练出的通用动作模式在视频中进行动作识别。