微表情峰值帧定位引导的分类算法

目的 微表情是人在外界信息和刺激下做出的无意识面部动作，是判断受试人情绪和行为的重要佐证，在社会安全、商业谈判和心理辅导等领域都有着广泛的应用。微表情不同于一般的表情，分类与定位较为困难。针对这种情况，提出了一种基于光流窗口的双分支微表情定位网络（dual-branch optical flow spotting network，DFSN）和一种利用峰值帧光流信息的微表情分类网络，以识别视频中的微表情。方法 在定位任务中，首先提取面部图像，选择光流窗口大小和位置，计算面部光流并进行预处理；接下来输入双分支网络中进行两次分类，分别针对有无微表情和在有微表情前提下微表情所处阶段分类，并结合两个损失函数抑制过拟合；最后绘制出微表情强度曲线，曲线峰值所处位置即为所求微表情峰值帧。在分类任务中，选取视频起始帧和定位网络取得的峰值帧作为光流窗口，并利用欧拉运动放大算法（Eulerian motion magnification，EMM）放大微表情，最后采用峰值帧光流信息分类微表情视频。结果 微表情定位网络分别在CASME II （Chinese Academy of Sciences Micro-expression Database II）数据集和CASME数据集上按照使用留一被试交叉验证法进行了实验，与目前最好的定位方法比较，此网络在CASME II上获得了最低的NMAE（normalized mean absolute error）值0.101 7，比Optical flow+UPC方法提高了9%。在CASME上获得的NMAE值为0.137 8，在此数据集上为次优定位方法。在定位网络得到的峰值基础上，分类网络在CASME II上取得了89.79%的准确率，在CASME上取得了66.06%的准确率。若采用数据集标注的峰值，分类网络在CASME II上取得了91.83%的准确率，在CASME上取得了76.96%的准确率。结论 提出的微表情定位网络可以有效定位视频中微表情峰值帧的位置，帮助后续网络进行分类，微表情分类网络可以有效区分不同种类的微表情视频。

Apex frame spotting and recognition of micro-expression by optical flow