基于特征运动的表情人脸识别

人脸像的面部表情识别一直是人脸识别的一个难点，为了提高表情人脸识别的鲁棒性，提出了一种基于特征运动的人脸识别方法，该方法首先利用块匹配的方法来确定表情人脸和无表情人脸之间的运动向量，然后利用主成分分析方法（PCA）从这些运动向量中，产生低维子空间，称之为特征运动空间，测试时，先将测试人脸与无表情人脸之间的运动向量投影到特征运动空间，再根据这个运动向量在特征运动空间里的残差进行人脸识别，同时还介绍了基于特征运动的个人模型方法和公共模型方法，实验结果证明，该新算法在表情人脸的识别上，优于特征脸方法，有非常高的识别率。     

基于信息融合的面部表情识别

文章提出用支持向量机融合四种基于不同特征表示的面部表情识别方法进行面部表情识别,即几何表示、PCA人脸表示、ICA人脸表示和FLD人脸表示。在用FLD和ICA提取表情特征前先进行PCA,把训练样本的人脸图像向量投影到一个较低维的空间,以达到降维和去除相关性的目的。然后对每一种表情特征表示都用最小距离分类器进行初步分类,最后用支持向量机融合这些分类结果来进行面部表情的最终识别,实验证明本文提出的方案是有效的。     

基于视频的人脸表情识别方法研究

近年来,表情识别逐渐成为计算机视觉和模式识别领域的研究热点之一。给出了一个包含人脸特征提取和表情识别的计算机视觉系统,通过对视频中人脸兼容运动特征的跟踪,提取人脸运动特征向量序列,与以往的方法不同,提取到的特征向量流被分割为两类,一类是表情特征向量流,另一类是视觉语音特征向量流。然后,利用基于CHMM（Couple Hidden Markov Model）的表情识别模型,进行人脸表情的识别,该模型允许两个向量流根据其各自的时域特征以异步方式进行处理,同时保持这两个向量流在时域上的自然关联。实验表明该方法优于传统的单通道处理方法。     

基于差分定位与光流特征提取的微表情识别

针对现有微表情识别算法中特征提取冗余、处理时间长的问题,提出基于差分定位与光流特征提取的微表情识别方法。首先对人脸的表情敏感部位进行图像序列差分,通过差分投影值划定人脸运动区域,计算运动区域光流分析数据的主成分特征,最后利用支持向量机判断脸部运动单元编号,识别微表情的类别。实验结果表明,该方法较之于传统识别技术在微表情识别效率与准确度上有显著提升。     

基于模型的面部图像生成方法

在人脸部件几何特征及肌肉运动模型的基础上,本文提出了一种二维面部图像的生成方法。该方法采用特征网络模型精确地描述人脸部件,将网络上轮廓特征点的相对位移作为面部图像变形及表情综合的参数,并通过面部整合模型控制各部件之间相互作用关系及人脸轮廓变化。实验证明该方法产生的面部变形图像比较精确,表情效果也很自然。     

融合SFM和动态纹理映射的视频流三维表情重建

为从未标定的单目视频序列中重建出具有真实感的三维人脸表情序列,提出一种仅需较少约束的自动化方法.首先用ASM算法从视频首帧自动标定人脸特征,并采用仿射矫正光流方法跟踪运动中的人脸特征;然后结合一般人脸模型,采用从运动恢复形状的方法重建出三维个性化人脸模型以及表情运动;最后采用动态纹理映射来代替传统的静态纹理映射,以产生真实感视觉外观.另外,使用基于特征脸的图像压缩方法,在尽量保持图像质量的前提下缩小原始视频占用的存储空间.实验结果表明,该方法能产生具有相当真实感的三维人脸表情序列,且在时间域和空间域上都保持了较高性能.     

利用Bézier曲面的面部表情和口型几何造型

本文主要介绍一汉语文本驱动的基本表情和口型的合成系统中的面部表情和口型几何造型.通过对面部曲面结构和面部各器官分布结构的分析,建立了面部曲面的几何模型和模拟人脸面部曲面的分片二次直积形Bezier参数曲面计算格式.应用此模型和算法,依据面部表情和汉语口型特征,实现基本表情和口型的造型.     

基于图谱分解的人脸表情分析

文中探索用人脸的几何结构图谱方法嵌入到模式空间来分析人脸表情,以图的加权邻接矩阵主要特征向量来定义矩阵的特征模。计算谱特征向量-模间邻接矩阵。用两类模式向量在范数下的多维尺度变换方法(MDS)嵌入该向量到一个模式空间,用人脸特征点来表示人脸图,并在模式空间里描述该嵌入方法下的同一人脸的不同表情。     

几何显著变化的表情识别特征构造

人脸表情作为人类情感的重要传达方式,近年来作为情感计算的重要组成部分,人脸表情识别吸引了很多学者的关注。与其他模式识别的问题类似,构造更为有效的统计特征是解决人脸表情识别的关键所在。同时,由于不同种类的特征对于模型性能的贡献不同,有效地利用不同特征对于性能的提升也至关重要。根据几何显著变化筛选标注点以形成几何特征,并根据几何特征构造特定的块形成形态特征;后采用多核多特征融合方法进行表情识别。通过在公开数据集(CK+)和自建数据集(JNFE)上的实验,和一些视频序列表情识别方法对比,分别获得了96.90%和92.85%的准确率,证明了所提方法的有效性。     

基于图谱分解的人脸表情分析

文中探索用人脸的几何结构图谱方法嵌入到模式空间米分析人脸表情，以网的加权邻接矩阵主要特征向量来定望矩阵的特征模。计算潜特征向量-模间邻接矩阵。用两类模式向量在范数下的多维尺度变换方法（MDS）嵌入该向量到一个模式空间，用人脸特征点来表示人脸图，并存模式空间里描述该嵌入方法下的同一人脸的不同表情。     

基于张量分析的表情特征提取

表情识别的性能依赖于所提取表情特征的有效性,现有方法提取的表情基本上是人脸与表情的融合体,然而不同个体的人脸差异是表情识别的主要干扰因素。在表情识别时,理想情况是将个体相关的人脸特征和与个体无关的表情特征相分离。针对此问题,在三维空间建立人脸张量;然后用张量分析的方法将人脸特征与表情特征进行分离,使获取的表情参数与人脸无关。从而排除不同个体的人脸差异对表情识别的干扰。最后,在JAFFE表情数据库上验证了该方法的有效性。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

基于小尺度核卷积的人脸表情识别

针对现有表情识别方法中网络泛化能力差以及网络参数多导致计算量大的问题,提出一种利用小尺度核卷积的人脸表情识别方法。采用多层小尺度核卷积块代替大卷积核减少参数量,结合最大池化层提取面部表情图像特征,利用Softmax分类器对不同表情进行分类,并在相同感受野下增加网络深度避免特征丢失。实验结果表明,与FER2013 record、DNNRL等方法相比,该方法的人脸表情识别率更高,能有效实现人脸表情的准确分类。     

Visual facial expression modeling and early predicting from 3D data via subtle feature enhancing

This work investigates a new challenging problem: how to exactly recognize facial expression captured by a high-frame rate 3D sensing as early as possible, while most works generally focus on improving the recognition rate of 2D facial expression recognition. The recognition of subtle facial expressions in their early stage is unfortunately very sensitive to noise that cannot be ignored due to their low intensity. To overcome this problem, two novel feature enhancement methods, namely, adaptive wavelet spectral subtraction method and SVM-based linear discriminant analysis, are proposed to refine subtle features of facial expressions by employing an estimated noise model or not. Experiments on a custom-made dataset built using a high-speed 3D motion capture system corroborated that the two proposed methods outperform other feature refinement methods by enhancing the discriminability of subtle facial expression features and consequently make correct recognitions earlier.     

Feature representation for facial expression recognition based on FACS and LBP

In expression recognition, feature representation is critical for successful recognition since it contains distinctive information of expressions. In this paper, a new approach for representing facial expression features is proposed with its objective to describe features in an effective and efficient way in order to improve the recognition performance. The method combines the facial action coding system(FACS) and "uniform" local binary patterns(LBP) to represent facial expression features from coarse to fine. The facial feature regions are extracted by active shape models(ASM) based on FACS to obtain the gray-level texture. Then, LBP is used to represent expression features for enhancing the discriminant. A facial expression recognition system is developed based on this feature extraction method by using K nearest neighborhood(K-NN) classifier to recognize facial expressions. Finally, experiments are carried out to evaluate this feature extraction method. The significance of removing the unrelated facial regions and enhancing the discrimination ability of expression features in the recognition process is indicated by the results, in addition to its convenience.     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

Facial expression recognition through modeling age-related spatial patterns

In this paper we tackle the problem of expression recognition by exploiting age-related spatial facial expression patterns, which carry crucial information that have not been thoroughly exploited. First, we conduct two statistic hypothesis tests to investigate age effect on the spatial patterns of expressions and on facial expression recognition respectively. Second, we propose two methods to recognize expressions by modeling age-related spatial facial expression patterns. One is a three-node Bayesian Network to classify expressions with the help of age from person-independent geometric features. The other is to construct multiple Bayesian networks to explicitly capture the spatial facial expression patterns for different ages. For both methods, age information is used as privileged information, which is only available during training, and is exploited during training to construct a better classifier. Statistic analyses on two benchmark databases, i.e. the Lifespan and the FACES, verify the age effect on spatial patterns of expressions and on facial expression recognition. Experimental results of expression recognition demonstrate the effectiveness of the proposed methods in modelling age-related spatial patterns as well as their superior expression recognition performance to existing approaches.     

基于性别和年龄因子分析的鲁棒性人脸表情识别

针对非可控环境下人脸表情识别面临的诸如种族、性别和年龄等因子变化问题,提出一种基于深度条件随机森林的鲁棒性人脸表情识别方法.与传统的单任务人脸表情识别方法不同,设计了一种以人脸表情识别为主,人脸性别和年龄属性识别为辅的多任务识别模型.在研究中发现,人脸性别和年龄等属性对人脸表情识别有一定的影响,为了捕获它们之间的关系,提出一种基于人脸性别和年龄双属性的深度条件随机森林人脸表情识别方法.在特征提取阶段,采用多示例注意力机制进行人脸特征提取以便去除诸如光照、遮挡和低分辨率等变化问题;在人脸表情识别阶段,根据人脸性别和年龄双属性因子,采用多条件随机森林方法进行人脸表情识别.在公开的CK+,ExpW,RAF-DB,AffectNet人脸表情数据库上进行了大量实验:在经典的CK+人脸库上达到99%识别率,在具有挑战性的自然场景库(ExpW,RAF-DB,AffectNet组合库)上达到70.52%的识别率.实验结果表明:与其他方法相比具有先进性,对自然场景中的遮挡、噪声和分辨率变化具有一定的鲁棒性.     

Non-Frontal Facial Expression Recognition Using a Depth-Patch Based Deep Neural Network

The challenge of coping with non-frontal head poses during facial expression recognition results in considerable reduction of accuracy and robustness when capturing expressions that occur during natural communications. In this paper, we attempt to recognize facial expressions under poses with large rotation angles from 2D videos. A depth-patch based 4D expression representation model is proposed. It was reconstructed from 2D dynamic images for delineating continuous spatial changes and temporal context under non-frontal cases. Furthermore, we present an effective deep neural network classifier, which can accurately capture pose-variant expression features from the depth patches and recognize non-frontal expressions. Experimental results on the BU-4DFE database show that the proposed method achieves a high recognition accuracy of 86.87% for non-frontal facial expressions within a range of head rotation angle of up to 52°, outperforming existing methods. We also present a quantitative analysis of the components contributing to the performance gain through tests on the BU-4DFE and Multi-PIE datasets.