基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

利用双线性分析的三维人脸表情模拟技术

具有真实感的三维人脸表情合成是计算机应用领域的一个热点问题.提出一种基于双线性分析的三维人脸表情生成方法.在对人脸数据进行分区域统计分析的基础上,建立了表情与身份相独立的双线性统计模型.设计了该模型的肌肉驱动方法,通过肌肉参数来驱动相应表情统计参数变化来生成丰富表情.对于输入的特定二维或三维人脸,利用形变模型(Morphable Model), 可自动实现其模型匹配.实验结果表明,该方法能够模拟各种具有较高真实感的人脸表情.     

人脸表情合成算法综述

人脸表情合成技术旨在保留人脸身份信息的情况下,对人脸表情进行重建,从而生成具有新表情的源人脸图像。深度学习的发展为表情合成提供了全新的解决方案,本文从特征提取、生成对抗网络的表情合成和实验评估方面综述了人脸表情合成技术的发展。首先,介绍了人脸特征的提取,这是表情合成任务中的一项关键技术,人脸特征可客观全面地描述人脸表情状态。其次,分析了表情合成领域中主流的基于深度学习的方法,主要针对生成对抗网络（Generative adversarial network,GAN）的发展现状,探讨了基于生成对抗网络的表情合成方法。通过对人脸数据集及实验评估方法的深入研究,总结出广泛使用的人脸表情合成数据集以及多种客观评价方法。最后根据现有方法所存在的问题,提出了未来工作的研究方向。     

基于三维数据的人脸表情识别

为了充分利用三维图像,在前人的二维图像研究的基础上,该文提出了一种新的基于三维数据的人脸表情识别方法。在此方法中,根据三维成像仪的特性,直接利用得到的三维数据进行分析处理,避免了传统的通过二维图像生成三维图像的特点创建了新的模版匹配方法,同时也结合了原始的二维图像进行特征点识别,然后综合分析特征点的性质完成人验表情识别,实验表明,该方法能够对六种人脸表情进行识别,有较高的识别率。     

非线性联合学习的三维人脸表情合成方法

针对人脸表情数据的非线性分布特性,提出一种基于非线性联合学习的三维人脸表情合成方法.首先提出非线性联合学习理论,通过无监督回归将具有相同属性的三维人脸映射到相同的低维表达;其次,基于三维人脸的低维表达对低维表达进行重建操作,为给定的三维人脸合成表情,或基于样例表情进行表情的重定向.另外,非线性联合学习方法还能有效地处理带噪声及不完整的人脸数据,获得完整的表情人脸.实验结果表明,文中方法的表情重定向合成结果及合成效率优于已有方法.     

基于双线性模型的人脸表情识别技术

针对现阶段人脸表情识别过程中所遇到的问题,基于三维数据库BU-3DFE中的三维表情数据,研究三维人脸表情数据的点云对齐及基于对齐数据的双线性模型建立,对基于双线性模型的识别算法加以改进,形成新的识别分类算法,降低原有算法中身份特征参与计算的比重,最大可能地降低身份特征对于整个表情识别过程的影响。旨在提高表情识别的结果,最终实现高鲁棒性的三维表情识别。     

真实感3D人脸表情合成技术研究进展

文中综述了真实感3D人脸表情合成技术的研究进展.根据所采用的技术,将人脸表情合成方法划分为混合样本人脸表情合成、直接表情迁移、基于sketch的人脸表情合成与编辑、基于机器学习的真实感人脸表情合成、高分辨率人脸表情和细节的提取与合成5类,介绍了各类方法的研究现状,并比较了它们的优缺点.最后进行了总结,并对人脸表情合成技术未来的研究方向予以展望.     

GPU加速的三维人脸真实表情合成

为了对输入的某用户中性表情的三维人脸合成出尽量接近该用户的、带所指定表情类型的三维人脸,提出一种三维人脸表情并行合成算法.使用基于主测地分析(PGA)和径向基函数(RBF)的学习方法建立人脸真实表情模型,并借助泊松方程变形实现表情的合成;由于采用GPU并行执行,因此能够有效地对三维人脸模型进行表情实时合成,且具有高度可并行计算的特性.在Bu-3DFED数据库上的实验结果表明,使用GPU加速后,文中算法的执行速度是使用普通双核CPU执行速度的13倍,并达到近实时合成的性能.     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

时空人脸表情动画编辑

为了提高计算机合成人脸表情动画的后期制作效率,提出一种基于时空的人脸表情动画编辑方法.首先使用基于拉普拉斯的网格变形技术将用户的编辑效果在空间域传播到整个人脸模型,很好地保留了中性人脸模型的几何细节特征,从而提高合成表情的真实感;然后使用高斯函数将用户编辑效果在时间域传播到邻近表情序列,保持人脸表情动画的平滑过渡,所合成人脸表情动画与初始给定数据保持一致.该方法为用户提供了人脸表情动画编辑的局部控制,可由用户指定编辑的影响范围,使得编辑效果在指定范围内自然传播.实验结果表明,文中方法所合成人脸表情动画自然、真实,有效地提高了数据驱动人脸表情动画的编辑效率.     

人脸特征约束点的三维表情合成*

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

人脸表情运动跟踪与表情识别算法

对于人脸视频中的每一帧,提出一种静态人脸表情识别算法,人脸表情运动参数被提取出来后,根据表情生理知识来分类表情;为了应对知识的不足,提出一种静态表情识别和动态表情识别相结合的算法,以基于多类表情马尔可夫链和粒子滤波的统计框架结合生理知识来同时提取人脸表情运动和识别表情.实验证明了算法的有效性.     

基于三维不变矩的人脸表情识别系统研究

本文提出了基于三维不变矩的人脸表情识别系统研究框架。在对三维人脸表情模型进行预处理及归一化的基础上建立具有平移比例和旋转不变性的三维人脸表情模型的矩不变量特征表示。针对人脸表情分类应用背景采用基于支持向量机的智能学习技术研究实现利用多维度3D-Zernike描述子特征的人脸分析识别系统的建模,基于D-ABC算法的分析识别模型优化,提高模型可靠性和系统的鲁棒性,进而利用该系统进行三维人脸表情数据的分类识别。     

人脸面部表情自动生成系统

详细介绍开发一个人脸面部表情自动生成系统所用到的相关技术,包括人脸三维建模、面部表情合成、系统用户界面实现等技术。系统开发的目的是建立一个具有真实感和实用性的三维人脸面部表情自动生成系统,其中,三维人脸建模技术包括3DMAX使用关键技术以及人脸特征提取技术,基于人脸建模的表情生成技术主要介绍通过肌肉运动来描述表情的技术,系统界面的设计采用MFC技术。对各技术全面而系统的介绍,将为人脸面部表情自动生成系统的开发与实现提供一个有效途径,为系统的应用者提供便利。     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

人脸表情识别综述

人脸表情识别是人类情感识别的基础,是近年来模式识别与人工智能领域研究的热点问题。本文首先总结了人脸表情识别的发展过程,主要包括传统的表情特征提取、表情分类方法与基于深度学习的表情识别方法,并对各种算法的识别率与性能进行了分析与比较。然后介绍了表情识别常用的数据集及各数据集的优势与存在的问题,并针对这些问题归纳分析了生成对抗网络等用于数据增强的技术与方法。最后,总结了表情识别领域目前存在的问题并展望了未来可能的发展。     

RGB-D动态序列的人脸自然表情识别

区别于以二维静态图像为对象的传统人脸表情识别,提出一种针对RGB-D动态图像序列分析的人脸自然表情自动识别算法.首先针对预处理后的RGB-D表情图像序列提取四维时空纹理特征作为局部动态特征;再利用慢特征分析自动检测表情序列的峰值图像,并提取脸部三维几何模型为全局静态特征;最后结合动、静态特征,经主成分分析降维后输入条件随机场模型完成特征训练和表情识别.经由BU-4DFE人脸表情库验证表明,该算法不但比传统静态表情识别算法和其他动态算法具有优越性,而且能够针对自然展现的表情实现自动识别,为今后算法的实用化提供了可能.     

基于分类稀疏表示的人脸表情识别

为挖掘不同人脸表情图像的统计特性差异,提出一种基于分类稀疏表示的表情识别算法。首先通过对不同类别表情图像的字典学习,构建满足各类表情图像统计特性的基函数子集,进而采用Lasso算法获得表情图像在由基函数集所张成特征子空间中的稀疏表示,最后通过比较表情图像在各基函数子集上的重构误差实现不同表情的分类识别。基于JAFFE人脸表情数据库的实验结果表明,该算法可以有效克服人脸身份对表情识别的影响,具有较高的表情识别率和鲁棒性。     

支持表情细节的语音驱动人脸动画

针对语音驱动人脸动画中如何生成随语音运动自然呈现的眨眼、抬眉等表情细节以增强虚拟环境的沉浸感的问题,提出一种可以合成表情细节的语音驱动人脸动画方法.该方法分为训练与合成2个阶段.在训练阶段,首先对富有表情的三维人脸语音运动捕获数据特征进行重采样处理,降低训练数据量以提升训练效率,然后运用隐马尔可夫模型(HMM)学习表情人脸语音运动和同步语音的关系,同时统计经过训练的HMM在训练数据集上的合成余量;在合成阶段,首先使用经过训练的HMM从新语音特征中推断与之匹配的表情人脸动画,在此基础上,根据训练阶段计算的合成余量增加表情细节.实验结果表明,文中方法比已有方法计算效率高,合成的表情细节通过了用户评价验证.