基于面部动画参数抽取的特征跟踪

提出了一种结合CANDIDE模型和面部动画参数空间参数的方法进行面部特征跟踪和动画参数的提取。采取训练的方法得到面部动画参数和人脸图像之间的关系,直接进行人脸特征的跟踪和面部动面参数的抽取。实验结果表明,该特征跟踪算法柯较强的鲁棒性和准确性。     

基于回归森林的面部姿态分析

快速稳定地计算头部姿态的算法在很多应用领域都是非常重要的,为了寻求在飞行模拟器中实时跟踪操纵者头部运动的新方法,提出一个基于随机回归森林、使用深度数据来解决面部朝向的计算框架.该框架利用标注了真实头部位置和朝向的大规模人体面部模型数据库进行随机森林的训练,将携带标注真实参数值的随机采样图像块输入随机森林进行训练;在决策树叶子节点中得到姿态参数的高斯分布,再使用得到的随机森林进行面部姿态的计算,从而将面部姿态分析问题转换为待测试深度图像的随机采样子域的投票问题.测试了参数和引入计算的图像特征对识别性能的影响,并与相关算法进行比较,结果表明,该框架有较高的识别率和抗干扰能力,能够处理头部姿态大范围、快速变化、暂时性遮挡以及面部表情等数据.     

基于关键点指引的面部表情识别

面部表情是一种最自然、最有力、最直接地传递人类情感状态以及意图的方式,机器对于面部表情的识别在人机交互和数据驱动动画等存在广泛应用。为了应对真实世界中遮挡、光照、姿态等复杂变化的挑战,论文提出一种基于关键点指引的面部表情识别网络（LGFER-T）,整个网络由LGFER以及Transformer两部分构成。LGFER依据面部关键点的指引,使用可变形卷积针对性的提取静态图片空间特征,然后使用Transformer进一步关联时序特征,最后进行表情的识别分类。论文分别在面部表情静态图片数据集SFEW以及视频数据集AFEW上验证方法的有效性。大量的实验表明,单纯使用关键点指引的空间特征提取网络LGFER在SFEW数据集上面部表情识别准确率达到59.17%。通过与Transformer的结合,LGFER-T在视频数据集AFEW上准确率达到了51.96%。论文提出的方法在静态图片以及视频数据集上都处于领先水平。     

老龄面部数据抽取的肤色显著性方法

随着老龄化日益严重,相应数据驱动的决策支持系统成为智慧养老的关键,而人脸数据是老龄大数据的重要组成部分,如何精准抽取老龄面部数据是一个重要的技术难题。基于此,提出肤色显著性的概念,并将其应用到老龄面部数据抽取。首先,建立不同人种、不同年龄阶段的皮肤参考数据库,得到不同人种的老龄的肤色参数,建立肤色显著性模型;同时,利用肤色参数抽取脸部肤色前景,并利用肤色显著性抽取的种子区域;最后,采用81人脸特征点和形态学特征,确定人脸轮廓,并利用遗传算法（GA）抽取得到老龄面部数据。实验结果说明,所提方法能显著提升抽取准确率,在SPFace以及UTKFace的老龄数据上的准确率达到80%以上,具有很好的应用前景。     

提取驾驶员面部特征的疲劳驾驶检测研究综述

疲劳驾驶是威胁驾驶员人身安全以及道路交通安全的主要因素之一。高效精准的疲劳驾驶检测方法可以有效地保障驾驶员及其周围交通安全,维护交通秩序,减少财产损失和人员伤亡。由于基于驾驶员生理特征和基于车辆行驶信息的疲劳驾驶检测方法具有对驾驶员不友好、影响因素较多等局限性,使得基于驾驶员面部特征的疲劳驾驶检测方法成为研究热点。首先简述了疲劳驾驶面部特征表现,总结了疲劳驾驶领域常用公开数据集的优缺点和应用场景;其次使用公开数据集,通过对比实验,分析研究了疲劳驾驶检测领域常用人脸检测算法的优势和不足;随后给出了基于驾驶员面部特征的疲劳驾驶检测方法流程,总结分析了流程中关键步骤所使用的方法和技术;另外归纳整理了疲劳驾驶领域常用的疲劳判别参数和疲劳驾驶结果预测方法;最后对全文进行总结,给出了基于驾驶员面部特征的疲劳驾驶检测方法目前所面临的挑战,并对未来研究进行了展望。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法（semantic relationship embedded representation learning,SRERL）.在现有公开的面部动作单元检测数据集（BP4D、DISFA）和面部动作单元强度预测数据集（FERA2015、DISFA）上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

基于SVM的面部表情分析

以面部表情视频序列为研究对象,基于一种统计学习方法-支持向量机对面部表情进行识别及强度度量。采用一种改进的特征点跟踪方法来提取面部特征形变。通过非线性降维方法-等容特征映射自动产生表情强度范围,从高维特征点轨迹中抽取一维的表情强度。最后,使用SVM建立表情模型和强度模型,进行表情的分类,并对高兴表情进行强度等级的归类。实验证明了该表情分析方法的有效性。     

拟人Agent面部复杂运动合成的研究与实现

在多维面部运动的形式化描述方法的基础上,分析了面部肌肉的运动特征和控制约束,提出了面部运动单元的概念,采用正向运动学和示教再现两种方法实现拟人Agent的基本面部运动,并通过运动合成产生复杂的面部运动。实验表明,正向运动学方法能精确控制面部运动并降低非自然表情的出现;示教再现方法自动产生面部运动简化了操作细节;运动合成则通过运动重用提高了面部运动生成的效率。     

多表情源的人脸表情合成技术

提出了基于一个局部约束偏移和相对偏移技术的图像变形方法,用于人脸表情合成．该方法可以自动克服目前表情合成方法的非特征区域的形变,并与脸型外观相匹配．在此基础上,提出了基于多表情源的人脸表情合成技术．从人脸图像划分出三个主要表现表情的区域,并对每个区域根据多个表情源的加权平均的相对偏移量进行图像局部变形,最后利用加权平均的表情比图像加强表情．实验结果表明,用该方法得到的人脸表情自然逼真,更为重要的是,通过调节权向量的取值,可以取得不同模式的表情,丰富了表情表现的内涵．     

基于人脸特征分析的卡通人脸动画系统

给出一个基于人脸特征分析的卡通人脸动画系统,其输入是一张二维真实人脸照片和一段文本,输出为具有娱乐效果的卡通人脸动画。该文采用基于人脸特征分析的卡通人脸肖像生成方法,在卡通肖像的基础上结合文本驱动产生卡通人脸动画。将系统移植到移动平台,在手机上生成卡通人脸动画。实验结果表明该系统在PDA上能产生较好的娱乐效果。     

基于人脸五官结构特征的表情识别研究

在对人脸表情识别的研究中,对人脸五官的结构特征进行了分析,提出了基于五官结构特征的方法进行人脸表情的识别,文章构造了一种新的表情特征向量权重函数对五官各结构特征向量进行离散化,并构建了一个表情识别分类器,实验表明文章所提出的表情识别方法是有效的。     

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.     

Constraint-Based Facial Animation

Constraints have been traditionally used for computer animation applications to define side conditions for generating synthesized motion according to a standard, usually physically realistic, set of motion equations. The case of facial animation is very different, as no set of motion equations for facial expressions is available. In this paper we discuss a facial animation editor, which uses numerical constraints for two roles: to declare the mimic repertoire of synthetic faces and other requirements a facial animation has to meet, and to aid the animator in the process of composing a specific animation fulfilling the requirements. The editor is thus also a ``motion sculpturing' tool, which lifts the task of creating facial animation from the control data manipulation level to the conceptual design level. The major aid of the editor is to repair inconsistencies due to changes made by the user, and revise changes for which no good repair is possible. Also, reuse of constrained animations, especially expressions, is supported. The main machinery behind these services is interval propagation, which, if using certain type of linear inequalities to express the character- as well as the animation-specific requirements, can produce quickly the interval of feasible values for each control variable. If a solution (usually, repair) has to be produced, it is generated by selecting the best one from a restricted set of acceptable solutions, based on user-defined or automatically generated criteria for the choices.     

Classifying Facial Actions

The Facial Action Coding System (FACS) [23] is an objective method for quantifying facial movement in terms of component actions. This system is widely used in behavioral investigations of emotion, cognitive processes, and social interaction. The coding is presently performed by highly trained human experts. This paper explores and compares techniques for automatically recognizing facial actions in sequences of images. These techniques include analysis of facial motion through estimation of optical flow; holistic spatial analysis, such as principal component analysis, independent component analysis, local feature analysis, and linear discriminant analysis; and methods based on the outputs of local filters, such as Gabor wavelet representations and local principal components. Performance of these systems is compared to naive and expert human subjects. Best performances were obtained using the Gabor wavelet representation and the independent component representation, both of which achieved 96 percent accuracy for classifying 12 facial actions of the upper and lower face. The results provide converging evidence for the importance of using local filters, high spatial frequencies, and statistical independence for classifying facial actions.     

Facial surface scanner

An optical noncontact 3-D digitizing system developed to acquire, process, display, and replicate the surface of the human head is described. The modification of the digitizer to help plan and evaluate facial plastic surgery is discussed. The quality and accuracy of the images produced are examined, and some medically relevant results are considered     

基于表情分解-扭曲变形的人工表情合成算法

为了能快速有效地生成任意强度的人脸表情图像，提出了一种鲁棒的可以生成带任意强度表情图像的人工表情合成算法，该算法首先通过施加高阶奇异值分解（HOSVD）来把训练集分解为个人、表情和特征3个子空间，并把它们映射到表情子空间中，用来合成任意人脸正面照片的任意强度、任意表情的图像；在生成图像时，不采用通常所使用的线性组合基图像生成法，而是对源图像进行扭曲变形，这不仅能使训练数据和计算量大为减少，还可以生成任意尺寸、任意背景、任意光照、任意色彩或任意姿势的表情图像，且通过二次插值，还可以得到任意强度的表情图像。实验证明，该算法效率较高，且生成的图像效果很好。     

Facial motion cloning

We propose a method for automatically copying facial motion from one 3D face model to another, while preserving the compliance of the motion to the MPEG-4 Face and Body Animation (FBA) standard. Despite the enormous progress in the field of Facial Animation, producing a new animatable face from scratch is still a tremendous task for an artist. Although many methods exist to animate a face automatically based on procedural methods, these methods still need to be initialized by defining facial regions or similar, and they lack flexibility because the artist can only obtain the facial motion that a particular algorithm offers. Therefore a very common approach is interpolation between key facial expressions, usually called morph targets, containing either speech elements (visemes) or emotional expressions. Following the same approach, the MPEG-4 Facial Animation specification offers a method for interpolation of facial motion from key positions, called Facial Animation Tables, which are essentially morph targets corresponding to all possible motions specified in MPEG-4. The problem of this approach is that the artist needs to create a new set of morph targets for each new face model. In case of MPEG-4 there are 86 morph targets, which is a lot of work to create manually. Our method solves this problem by cloning the morph targets, i.e. by automatically copying the motion of vertices, as well as geometry transforms, from source face to target face while maintaining the regional correspondences and the correct scale of motion. It requires the user only to identify a subset of the MPEG-4 Feature Points in the source and target faces. The scale of the movement is normalized with respect to MPEG-4 normalization units (FAPUs), meaning that the MPEG-4 FBA compliance of the copied motion is preserved. Our method is therefore suitable not only for cloning of free facial expressions, but also of MPEG-4 compatible facial motion, in particular the Facial Animation Tables. We believe that Facial Motion Cloning offers dramatic time saving to artists producing morph targets for facial animation or MPEG-4 Facial Animation Tables.