一种参数化的表情映射方法*

人脸表情细节的合成是生成高度真实感人脸动画的重要环节,传统的表情映射技术仅考虑了人脸特征点的位置变化,无法处理表情细节;最新的研究考虑了表情纹理细节的合成,但仅能根据已有的表情样本一对一地获取纹理细节,应用范围很有限。有效地结合小波金字塔分解和表情比例图像两种技术,提出了一种进行表情合成的新算法。该算法既可以映射表情纹理细节,又可以生成表情动画,且表情夸张程度可参数化地控制,算法简单有效。     

基于流形的表情分解算法

提出了基于流形的表情分解算法。首先,运用保局投影将图像投影到低维的表情流形子空间,再在流形子空间里对它们进行高阶奇异值分解,最后在个人子空间和表情子空间里完成人脸和表情识别。该算法用流形学习解决了高阶奇异值分解中的图像特征值提取问题,用高阶奇异值分解解决了流形表情识别中个人模式影响表情识别的问题。是一种流形学习与高阶奇异值分解优势互补的算法。在CMU-AMP和JAFFE人脸库上的实验表明,该算法对人脸和表情识别都十分有效。     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。     

基于图像重建的表情识别算法

提出了一种基于图像重建的表情识别算法。首先,用LE（lipschitz embedding）算法提取出训练集中各个对象的表情流形,并建立流形向量与图像向量的映射关系。再通过非线性重建,确定待测图像在流形空间中的坐标。最后,用待测图像在各表情路径上的投影,重建各种表情图像,实现表情识别。该算法解决了各表情流形相互重叠的问题,且对表情强度变化具有鲁棒性。在CohnKanade和CMUAMP人脸库上的结果实验表明,该算法具有较好的表情识别率。     

利用主动外观模型合成动态人脸表情

人脸表情发生变化时,面部纹理也相应地改变;为了方便有效地模拟这一动态的表情变化过程,提出一种基于主动外观模型的人脸表情合成方法.首先离线学习人脸表情与人脸形状和外观参数之间的关系,利用该学习结果实现对输入人脸图像的表情合成;针对合成图像中眼睛和牙齿模糊的缺点,利用合成的眼睛图像和牙齿模板来替代模糊纹理.实验结果表明,该方法能合成不同表情强度和类型的表情图像;合成的眼睛图像不仅增强了表情的真实感,同时也便于实现眼睛的动画.     

多表情源的人脸表情合成技术

提出了基于一个局部约束偏移和相对偏移技术的图像变形方法,用于人脸表情合成．该方法可以自动克服目前表情合成方法的非特征区域的形变,并与脸型外观相匹配．在此基础上,提出了基于多表情源的人脸表情合成技术．从人脸图像划分出三个主要表现表情的区域,并对每个区域根据多个表情源的加权平均的相对偏移量进行图像局部变形,最后利用加权平均的表情比图像加强表情．实验结果表明,用该方法得到的人脸表情自然逼真,更为重要的是,通过调节权向量的取值,可以取得不同模式的表情,丰富了表情表现的内涵．     

基于表情子空间多分类器集成的非特定人人脸表情识别

针对非特定人人脸表情平均识别率普遍不高（约65%）的问题,提出了一种基于表情子空间和多分类器集成的人脸表情识别新方法。通过局部二进制模式(LBP)与高阶奇异值分解(HOSVD)方法对训练集1中的人脸图像的全脸、眼睛（包括眉毛）和嘴巴三个区域进行特征提取与分解,建立相应的表情子空间;利用支持向量机(SVM)方法对训练集2中的人脸图像在表情子空间训练,得到模糊系统参数;最后结合表情子空间与多分类器集成,对测试集中的图像进行表情分类识别。在JAFFE人脸表情库中实验,获得了71.43%的平均识别率。实验结果表明,该方法有效地减少了人脸外观特征和表情表现方式所带来的影响,具有更好的识别效果。     

人脸表情的形变线性拟合方法

提出了用于人脸表情合成的形变线性拟合方法. 该方法利用人脸图像形变模型线性组合逼近的基本思想, 确定合成表情图像的形状信息和纹理信息, 其步骤简单, 容易实现. 该方法能有效地从中性表情人脸图像合成出具有表情的图像, 并且得到的人脸表情自然、逼真、具有说服力. 更为重要的是, 该方法能从闭着嘴的中性表情人脸图像合成出具有张开嘴露出牙齿效果的人脸表情图像, 克服了当前大多数人脸表情合成方法不能实现这一效果的不足.     

表演驱动的二维人脸表情合成

为了由视频进行驱动生成人脸表情动画,提出一种表演驱动的二维人脸表情合成方法。利用主动外观模型算法对人脸的关键点进行定位,并从关键点提取出人脸的运动参数;对人脸划分区域,并获取目标人脸的若干样本图像;从人脸的运动参数获取样本图像的插值系数,对样本图像进行线性组合来合成目标人脸的表情图像。该方法具有计算简单有效、真实感强的特点,可以应用于数字娱乐、视频会议等领域。     

人脸表情合成算法综述

人脸表情合成技术旨在保留人脸身份信息的情况下,对人脸表情进行重建,从而生成具有新表情的源人脸图像。深度学习的发展为表情合成提供了全新的解决方案,本文从特征提取、生成对抗网络的表情合成和实验评估方面综述了人脸表情合成技术的发展。首先,介绍了人脸特征的提取,这是表情合成任务中的一项关键技术,人脸特征可客观全面地描述人脸表情状态。其次,分析了表情合成领域中主流的基于深度学习的方法,主要针对生成对抗网络（Generative adversarial network,GAN）的发展现状,探讨了基于生成对抗网络的表情合成方法。通过对人脸数据集及实验评估方法的深入研究,总结出广泛使用的人脸表情合成数据集以及多种客观评价方法。最后根据现有方法所存在的问题,提出了未来工作的研究方向。     

基于信息融合的面部表情识别

文章提出用支持向量机融合四种基于不同特征表示的面部表情识别方法进行面部表情识别,即几何表示、PCA人脸表示、ICA人脸表示和FLD人脸表示。在用FLD和ICA提取表情特征前先进行PCA,把训练样本的人脸图像向量投影到一个较低维的空间,以达到降维和去除相关性的目的。然后对每一种表情特征表示都用最小距离分类器进行初步分类,最后用支持向量机融合这些分类结果来进行面部表情的最终识别,实验证明本文提出的方案是有效的。     

人脸姿态表情的低维表示

人脸姿态表情变化是影响人脸识别的重要因素,传统方法主要从像素角度对人脸姿态表情进行分析。根据姿态表情的拓扑结构分析人脸姿态表情,应用非线性降维方法将高维图像数据嵌入到低维空间。该算法表示了不同姿态表情的非线性结构,具有平移、旋转等不变特性。实验证明,该方法能有效地表征人脸姿念表情的细微变化,不同人脸姿态表情在低维空间的分布是一致的,通过其邻域脸谱图像可以精确重构原来的脸谱图像。     

基于生成对抗网络的人脸表情数据增强方法

基于深度学习的方法已经在人脸表情识别中取得了重大进展,然而人脸表情数据库的规模普遍不大。为了解决数据量不足的问题,提出了一种静态图像数据增强方法。在StarGAN的基础上修改重构误差实现多风格人脸表情图像转换,利用生成器由某一表情下的面部图像生成同一人其他表情的面部图像。在CK+表情库上的实验表明,该方法有利于提高人脸表情识别模型的识别率和泛化能力,同时对解决数据量不平衡的问题也有借鉴作用。     

基于对称双线性模型的光照鲁棒性人脸表情识别

针对传统的光照预处理方法降低原始图像质量、丢失部分有效辨识信息的缺点,提出一种新颖的应用对称双线性模型来对人脸表情图像进行光照预处理的光照鲁棒性人脸表情识别方法.首先通过对称双线性模型将训练集图像分解为相互独立的光照因子和表情因子,并提取其光照因子.接下来提取含有未知光照的测试集表情图像的表情因子,并将其转换到训练集的若干个已知光照上,这样处理能够将任意光照的测试图像转换到相同的光照平台上,令所有测试图像的特征具有归一化特性.实验结果表明, 本文所提光照预处理方 法在识别性能上优于传统的光照预处理方法,应用在光照处理后的JAFFE表情库上识别率达到92.37%, 表明其适用于光照鲁棒性人脸表情识别.     

基于Gabor直方图特征和MVBoost的人脸表情识别

提出采用Gabor变换与分级直方图统计相结合的方法来提取表情特征,以分层次反映局部区域内纹理变化的信息.这比仅用一维的Gabor系数具有更强的特征表示能力.借助直方图特征,还设计了向量输入、多类连续输出的弱分类器,并嵌入到多类连续AdaBoost的算法框架中,得到了向量输入、多类输出的MVBoost方法.该方法直接对特征进行多类的判决以满足多类时分类的需求,而不必训练多个二分类的AdaBoost分类器,从而使训练过程和分类过程都得到简化.     

基于表情相似性的人脸表情流形

在图嵌入(graph embedding)的框架下提出一种根据表情相似度构建邻接权重图的方法来学习人脸表情子空间.数据集中人脸图像的表情以半监督-学习的方式来估计,人脸图像之间的表情相似性由表情模糊隶属度矢量之间的内积来度量,与个体、光照、姿态等人脸差异无关.在得到的子空间内,相似表情的人脸图像位于流形上的邻近位置,表情数据在子空间内按语义的分布很好地揭示了表情模糊、演变的特性.在Cohn-Kanade人脸表情数据库和实验室自行采集的人脸表情数据集上的实验结果说明了该方法的有效性.因此,该方法可以很好地应用于各种基于人脸表情识别的人机交互中.     

基于压缩感知的鲁棒性人脸表情识别

为了有效提高噪声背景下的人脸表情识别性能,提出一种基于压缩感知的鲁棒性人脸表情识别方法.先通过对腐蚀的测试样本表情图像进行稀疏表示,再利用压缩感知理论寻求其最稀疏的解,然后采用求得的最稀疏解信息实现人脸表情的分类.在标准的Cohn-Kanade表情数据库的实验测试结果表明,该方法取得的人脸表情识别性能优于最近邻法、支持向量机以及最近邻子空间法.可见,该方法用于人脸表情识别,识别效果较好,鲁棒性较高.