基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

支持表情细节的语音驱动人脸动画

针对语音驱动人脸动画中如何生成随语音运动自然呈现的眨眼、抬眉等表情细节以增强虚拟环境的沉浸感的问题,提出一种可以合成表情细节的语音驱动人脸动画方法.该方法分为训练与合成2个阶段.在训练阶段,首先对富有表情的三维人脸语音运动捕获数据特征进行重采样处理,降低训练数据量以提升训练效率,然后运用隐马尔可夫模型(HMM)学习表情人脸语音运动和同步语音的关系,同时统计经过训练的HMM在训练数据集上的合成余量;在合成阶段,首先使用经过训练的HMM从新语音特征中推断与之匹配的表情人脸动画,在此基础上,根据训练阶段计算的合成余量增加表情细节.实验结果表明,文中方法比已有方法计算效率高,合成的表情细节通过了用户评价验证.     

基于拉普拉斯算子的人脸表情克隆优化方法

针对人脸克隆表情的真实性和表情重建的效率,提出了一种基于运动捕捉数据的人脸表情克隆新方法。使用运动捕捉设备捕捉人脸六种基本表情数据,并对数据进行归一化处理,使其位于同一区间范围,保证克隆表情数据的有效性;在表现人脸表情的关键区域选取41个特征点,通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上,很好保留了人脸表情的细节,克服了均一权值保真度低和余切权值计算不稳定的问题。实验结果表明,该方法合成的克隆表情真实、自然,人脸表情克隆的效率得到了显著提高。     

真实感3D人脸表情合成技术研究进展

文中综述了真实感3D人脸表情合成技术的研究进展.根据所采用的技术,将人脸表情合成方法划分为混合样本人脸表情合成、直接表情迁移、基于sketch的人脸表情合成与编辑、基于机器学习的真实感人脸表情合成、高分辨率人脸表情和细节的提取与合成5类,介绍了各类方法的研究现状,并比较了它们的优缺点.最后进行了总结,并对人脸表情合成技术未来的研究方向予以展望.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

单张照片输入的人脸动画系统

人脸动画不仅包括表情的变化,同时涉及眼睛和头部的动作.为了方便、逼真地生成这些丰富的动画效果,提出一个基于单张照片的人脸动画系统.首先利用梯度场修改的方法将样本表情映射到输入人脸上,为了避免样本人脸上斑点等非表情信息的映射,采取WLS算子对样本表情进行滤波;然后对输入图像的眼睛部分进行纹理合成处理,利用合成的眼球和眼白纹理来生成眼睛的动作;最后借助一个3D人脸模型来实现输入图像头部姿态的改变.实验结果表明,该系统能够实时地生成逼真、自然的动画效果.     

GPU加速的三维人脸真实表情合成

为了对输入的某用户中性表情的三维人脸合成出尽量接近该用户的、带所指定表情类型的三维人脸,提出一种三维人脸表情并行合成算法.使用基于主测地分析(PGA)和径向基函数(RBF)的学习方法建立人脸真实表情模型,并借助泊松方程变形实现表情的合成;由于采用GPU并行执行,因此能够有效地对三维人脸模型进行表情实时合成,且具有高度可并行计算的特性.在Bu-3DFED数据库上的实验结果表明,使用GPU加速后,文中算法的执行速度是使用普通双核CPU执行速度的13倍,并达到近实时合成的性能.     

非线性联合学习的三维人脸表情合成方法

针对人脸表情数据的非线性分布特性,提出一种基于非线性联合学习的三维人脸表情合成方法.首先提出非线性联合学习理论,通过无监督回归将具有相同属性的三维人脸映射到相同的低维表达;其次,基于三维人脸的低维表达对低维表达进行重建操作,为给定的三维人脸合成表情,或基于样例表情进行表情的重定向.另外,非线性联合学习方法还能有效地处理带噪声及不完整的人脸数据,获得完整的表情人脸.实验结果表明,文中方法的表情重定向合成结果及合成效率优于已有方法.     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

人工心理模型驱动的人脸表情动画合成

提出了一种人脸表情动画合成方法,该方法以人工心理模型输出概率值作为权重向量,通过因素加权综合法,控制表情动画模型参数。实验结果表明,该方法实现了心理状态对表情的实时驱动,合成的人脸表情动画真实、自然。     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

人机交互中的人脸表情识别研究进展

随着人机交互与情感计算技术的快速发展,人脸表情识别已成为人们研究的热点。为了阐明人机交互中人脸表情识别的研究方向及进展,该文从人脸表情数据库、表情特征提取、表情分类方法、鲁棒的表情识别、精细的表情识别、混合表情识别、非基本表情识别等方面对人脸表情识别的研究现状进行了分析。最后总结了人脸表情识别研究的热点及趋势,同时指出了人脸表情识别研究存在的局限性,并对人脸表情识别的发展进行了展望。     

基于方法的表情生成技术综述

表情生成技术是智能人机接口领域的重要研究内容之一.基于方法的表情生成技术多数以图像为研究对象,不需要3维建模,同时又具有丰富的纹理细节,在表情生成的逼真度和降低复杂性方面具有相当的优势,一些方法也可扩展至3维应用.本文根据各种算法的技术本质将已公开发表的研究总结归纳为渐变技术、表情映射技术、统计学方法、2维网格法、面色表情和表演驱动技术等几类,从概念、理论和技术方法等方面对典型成果进行讨论,分析了不同算法的特点和存在的问题以及今后的发展方向,为开展相关研究提供参考.     

人脸表情识别研究进展

人脸表情识别(Facial Expression Recognition,FER)是计算机视觉、机器学习、人工智能等领域的重要研究方向,目前已经成为国内外学者的研究热点。介绍了FER系统流程,总结了表情特征提取和表情分类的常用方法以及近年来国内外学者对这些方法的改进,并对这些方法的优缺点进行比较。最后,对目前FER研究的难点问题进行了分析,并对FER未来的发展方向进行展望。     

BP4D-Spontaneous: a high-resolution spontaneous 3D dynamic facial expression database

Facial expression is central to human experience. Its efficiency and valid measurement are challenges that automated facial image analysis seeks to address. Most publically available databases are limited to 2D static images or video of posed facial behavior. Because posed and un-posed (aka “spontaneous”) facial expressions differ along several dimensions including complexity and timing, well-annotated video of un-posed facial behavior is needed. Moreover, because the face is a three-dimensional deformable object, 2D video may be insufficient, and therefore 3D video archives are required. We present a newly developed 3D video database of spontaneous facial expressions in a diverse group of young adults. Well-validated emotion inductions were used to elicit expressions of emotion and paralinguistic communication. Frame-level ground-truth for facial actions was obtained using the Facial Action Coding System. Facial features were tracked in both 2D and 3D domains. To the best of our knowledge, this new database is the first of its kind for the public. The work promotes the exploration of 3D spatiotemporal features in subtle facial expression, better understanding of the relation between pose and motion dynamics in facial action units, and deeper understanding of naturally occurring facial action.     

人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。     

基于HMM的面部表情图像序列的分析与识别

1　引言人们在实际生活中 ,依靠脸、手等体势信息的交流是一件最简单便利的事情 ,因而在计算机科学中 ,面部表情的识别对促进计算机视觉系统 ,建模和数据库的发展都有重要作用 ,是计算机情感计算的重要研究内容 ;在基础科学研究方面的语言学中和在行为学方面 ,以及在商业应用方     

数学公式识别系统:MatheReader

数学公式广泛存在于各类文献之中，但是公式的识别远比文字段落的识别困难．义章介绍了一个数学公式图像识别系统MatheReader，重点阐述了其在公式定位及公式分析方面的技术方案．在公式定伉方面，抽取版式特征，采用Parzen分类器区分独立公式和普通文字行，在普通文字行内检测二维结构定位内嵌公式．在公式分析方面，定义十一种基本公式类型，并用产生式规则限定每类公式的唯一分解方法，提出先识别公式类型，然后分解为子表达式的公式分析方法．和已有系统比较，MatheReader的功能更加强大，能够处理的公式更加丰富．     

一种通用表达式解析器的设计

由于表达式的类型繁多,不同表达式所包含的运算符和操作符各不相同。本文提出一种通用表达式解析器的设计方法。该方法扩展性好,能实现不同类型的表达式的解析。文章最后使用该方法实现了汇编语言表达式的解析。