基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。     

一种改进的光流算法

光流法是运动图像序列分析的一种重要方法。该文通过引入前向－后向光流方程,计算其Hessian矩阵,把Hessian矩阵条件数的倒数作为Lucas－Kanade光流法的加权阵,可有效消除局部邻域中不可靠约束点,同时提高基本约束方程解的稳定性。实验表明该方法相对于其它梯度约束光流法具有更好的可靠性。     

基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.     

基于光流法的不良视频检测算法

提出了一种适用于流媒体中的不良视频检测算法,提出了4点约束光流算法,利用局部光流信息提取     

一种基于PSO的改进光流算法

针对变分光流法无法有效检测由间断、遮挡等因素造成的错误光流分量的缺陷,提出一种基于PSO(Particle Swarm Optimization)的光流算法。该方法在Classic+NL算法模型的基础上计算出光流后,引入前向光流和后向光流的运动一致性理论来判断遮挡区域,并通过基于PSO的修补法来实现对遮挡区域错误光流的有效修补,同时,利用邻域光流修补法实现了再次修补。实验结果表明,该方法能有效克服由间断、遮挡等因素造成的错误光流分量的缺陷,更准确地刻画出光流,提高光流的计算精度。     

结合C3D与光流法的微表情自动识别

由于微表情动作幅度小且持续时间短,使其识别难度大.针对此问题,提出一个结合三维卷积神经网络(3D Convolutional neural network,C3D)和光流法的微表情识别方法.所提出的方法先用光流法从微表情视频中提取出包含动态特征的光流图像系列,然后将得到的光流图像系列与原始灰度图像序列一起输入到C3D网络,由C3D进一步提取微表情在时域和空域上的特征.在开放数据集CASMEⅡ上进行了模拟实验,实验表明本文所提出的方法对微表情的识别准确率达到67.53％,优于现有方法.     

一种改进的帧间差光流场算法

结合运动目标检测帧差法运算速度快和光流法活动目标检测准确度高的特点,提出一种改进的帧间差光流场计算的运动目标检测算法。在帧差部分采用隔帧差分从而可以检测到帧间位移小于1个像元而多帧累积位移大于1个像元的运动点目标;在光流计算时,引入通用动态图像模型（GDIM）建立新的光流约束条件,克服了亮度变化引起的约束方程不成立问题。算法仅对帧差法后图像中不为零的像素进行光流场计算,提高了目标检测的准确性和检测速度。仿真实验证明了该算法的有效性。     

基于全局光流特征的微表情识别*

以改善微表情识别效果为目标,研究基于梯度的全局光流特征提取算法.针对精细图像间大位移问题,引入多分辨率策略对图像分层,通过迭代重加权最小二乘法逐层优化目标函数,求解最优光流,保证运动跟踪的准确性.为了体现人脸关键部位的动作差异,提出分区的特征统计方法,将光流图像划分为若干矩形区域,在局部区域内归纳各点光流运动情况,增强特征的有效性.实验表明,文中方法提升整体识别率和各类情感区分的准确度.     

一种结合光流法与三帧差分法的运动目标检测算法

运动目标的检测是计算机视觉研究的重要内容之一,光流法是其中的一种重要方法.由于计算光流的算法复杂,限制了它的使用.本文提出一种结合光流法与三帧差分法的运动目标检测算法,该算法简化了光流的计算,选择图像中具有代表性的Harris角点,只对这些像素点计算光流信息,有效地减少了复杂度,由于检测得到的运动目标区域不够完整,引入了三帧差分法作为简化光流法的补充.经过实验,该方法使光流法达到了实时性要求,取得了好的效果,优于单独运用两种方法中的任何一种取得的效果.     

结合空间注意力机制与光流特征的微表情识别方法

针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法.     

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快,导致人工分析难度较大,开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展,研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状,从多个角度对微表情分析的两大分支,即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同,从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法,其中,基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较,在此基础上,探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。     

基于量子化降噪自编码器的遮挡微表情重建方法研究

微表情是一种心理健康诊断的重要依据, 眼镜、口罩等物体造成的遮挡会导致微表情识别困难。现有遮挡微表情重建方法以RGB纹理信息重建为主, 存在信息大量冗余、难以实现对纹理的精确重建等问题。此外, 重建方法采用的模型多为基于U-Net的对称自编码器和生成对抗网络(GAN)等, 存在浅层的对称结构重建能力有限、对抗损失收敛困难等问题。为此, 提出一种基于量子化降噪自编码器的微表情遮挡区域动态流特征重建方法。首先, 基于光流和动态图像提出光照能量鲁棒的动态流特征表示, 有效聚合所有TVL1光流中的运动信息, 并简化纹理信息; 其次, 基于离散编码的变分自编码器(VQ-VAE)提出一种双层结构向量量子化降噪自编码器(VQ-DAE), 用于微表情的遮挡区域动态流特征重建, 以进行遮挡微表情的识别。实验结果表明, 该方法能较好地重建遮挡区域的运动信息, 在CASME、CAS(ME) 2 、CASME Ⅱ这3个数据集上的准确率分别达到77.89%、72.02%、61.04%。与传统方法、基于空间注意力及自注意力方法相比, 所提方法在准确率、未加权平均召回率(UAR)、Macro-F1等指标上均有显著的性能提升。     

微表情自动分析方法研究综述

微表情自动分析是计算机视觉研究方向之一。微表情在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。为了梳理微表情自动分析领域研究现状及发展方向,对常用微表情数据集和数据预处理方法进行整理。基于微表情特征,全面整理和对比微表情检测和识别任务各类算法以及实验方法和验证指标。可以帮助研究人员更加快捷、全面了解该领域研究现状,存在的问题和未来发展方向。     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

基于巡逻机器人的实时跑动检测系统

文章提出了一种基于巡逻机器人系统的快速运动人体目标检测方法,采用卷积神经网络作为运动人体目标检测器,在不同摄像头视角和背景条件下,采集了不同姿态的跑动目标正负样本图像,完成了卷积神经网络的训练.为区分前景目标的运动和机器人造成的背景运动,采用了光流特征来描述目标的运动情况并提取出感兴趣区域;为提高跑动目标的检测准确率,将跑动人物的表面特征和运动特征结合起来形成双流数据通道,并输入到卷积神经网络中进行识别.实验结果表明,该系统在室外环境下能够实现85％的跑动人体目标检测准确率,并达到20帧/秒检测速度.     

Shot Change Detection Using Scene-Based Constraint

A key step for managing a large video database is to partition the video sequences into shots. Past approaches to this problem tend to confuse gradual shot changes with changes caused by smooth camera motions. This is in part due to the fact that camera motion has not been dealt with in a more fundamental way. We propose an approach that is based on a physical constraint used in optical flow analysis, namely, the total brightness of a scene point across two frames should remain constant if the change across two frames is a result of smooth camera motion. Since the brightness constraint would be violated across a shot change, the detection can be based on detecting the violation of this constraint. It is robust because it uses only the qualitative aspect of the brightness constraint—detecting a scene change rather than estimating the scene itself. Moreover, by tapping on the significant know-how in using this constraint, the algorithm's robustness is further enhanced. Experimental results are presented to demonstrate the performance of various algorithms. It was shown that our algorithm is less likely to interpret gradual camera motions as shot changes, resulting in a significantly better precision performance than most other algorithms.     

微表情识别研究综述

微表情是人类在试图掩饰自己情感时所产生的面部细微变化,在测谎、安防、心理学治疗和微表情识别机器人等方面有着非常广泛的应用,因此微表情识别也开始得到重视。从微表情识别的主流的方法：卷积神经网络及其改进、光流法及其改进、局部二值模式及其改进方法进行分析,对现存的几种方法从使用的算法、准确率、各方法的优缺点、各方法的特点等几个角度进行对比总结;阐述微表情识别目前存在的问题,并对未来的发展方向进行展望。