基于Android的三维面部模型自适应调整算法

本文基于Android平台获取二维人物图像,使用face++提供的人脸特征点提取SDK对输入照片的人脸特征点进行自动定位来提取二维人物图像的人脸特征点,根据所提取的特征点使用自适应算法进行调整,生成与二维人物图像相适应的三维面部模型。与一般的调整算法相比,本文针对存在角度的二维人物图像提出生成其对应三维面部模型的自适应调整算法。     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

基于改进ASM的三维人脸自动对齐算法

针对传统三维人脸对齐算法需要大量人工操作和数据冗余的不足,提出一种基于改进主动形状模型的三维人脸自动对齐算法。该算法对二维人脸进行快速自动特征定位,根据三维人脸柱面展开的二维纹理图进行自动特征定位并分片。采用基于平面模板的重采样算法,自动实现三维人脸顶点稠密对齐。实验结果表明,该算法在提高运算速率的同时,得到的归一化结果与原始数据仍能保持99%形状相似度。     

基于法向保持的三维人脸表情跟踪

为减少人脸表情跟踪过程中的人工干预,提高跟踪的效率和自动化程度,提出一种基于法向保持的三维人脸表情跟踪算法.采用以视频频率获取的帧人脸点云作为输入.通过将可变形的参数化网格模型依次对准每一帧点云来跟踪表情的变化;用法向保持条件自动约束跟踪过程中网格顶点在相邻帧间的运动.与已有算法相比,该算法无需在每一帧对准中人工指定特征对应点,也无需进行复杂的光流运算,可实现高效的自动化表情跟踪.另外,当参数化网格与点云所表示的人脸形状相差较大时,采用文中算法也可以得到理想的对准效果.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于自监督深度学习的人脸表征及三维重建

非约束条件下,由于传统神经网络对于单个个体人脸表情变化过于敏感而对不同个体间人脸灵敏度有限,从而导致构建的三维模型几何特征与个体不匹配。针对上述问题,提出一种基于具有较强鲁棒性的自监督深度学习的人脸表征及三维重建算法,有效利用二维人脸的特征点信息自动映射到三维空间中实现三维人脸重建。选用Efficient Net为主体框架获取面部特征向量及三维形变模型参数,并在孪生神经网基础上引入对比损失函数扩大类间间距,减少类内间距,同时提出身份损失函数保留特征空间中同一个体的身份信息增强对形变的鲁棒性。在300W—LP和AFLW2000—3D数据集上,该算法均有不错的表现。     

带虚拟边约束的面部表情基生成方法

针对网格形变迁移算法在生成面部表情基时可能出现的模型表面穿透问题,本文提出一种带虚拟边约束的面部表情基生成算法.该算法基于一组模板表情基,可以为不同的对象目标生成个性化的人脸表情基.首先,算法依据顶点之间的距离信息检测出人脸模型中可能发生模型表面穿透的区域,在这些区域添加新的顶点连接关系,本文称为虚拟边;然后以这些虚拟边约束网格形变迁移算法,在生成表情基的同时防止模型发生表面穿透现象.在不同人脸模型上的实验结果表明,算法添加虚拟边的精度和效率优于手动操作以及之前提出的相关算法,并且虚拟边约束可以有效防止表情迁移过程中的模型穿透问题.最后,本文实验为不同的人脸网格生成了表情基,并应用生成的表情基进行表情迁移,实验结果验证了本文提出的带虚拟边约束的面部表情基生成方法的有效性.     

基于Candide-3算法的图像中面部替换技术

提出了一种基于CANDIDE-3算法的人脸替换算法,该算法使用CLM作为面部特征点定位算法,将2维的面部特征点和CANDIDE中3维的顶点相对应,建立相应的源人脸算法。根据面部特征点估计出头部姿态和表情相关参数,对源人脸进行方向和角度调整,通过颜色转移算法,将源人脸的色彩转换为目标人脸的色彩,然后利用图像融合算法进行融合。实验结果表明,本文的方法能够在图像和视频中进行有效的进行人脸替换。     

智能家居中虚拟人的设计与生成

随着智能家居的快速发展,国内外学者已经对交互界面进行了多方面的研究.立足虚拟人技术,重点探索智能家居中虚拟人的潜在需求.基于设计师的人物设计经验,将各异的人脸五官特征归类为有限个解剖维度,以此作为设计规则,设计人脸五官的卡通风格化模型模板,比对人脸图像特征构建模板库.在此基础上,结合人脸特征识别及基于美学计算的特征——卡通形象模版库映射关系,实现从二维真实人脸图像到三维卡通人脸的自动生成.该生成方法轻量且能够满足用户的个性化需求,并已投入实际应用.     

动态人脸表情合成的模型特征驱动算法综述

分析人脸模型的动态表情合成方法并依据它们内在特点进行分类描述。尽管这个领域已经存在较多文献,但是动态人脸表情合成仍然是非常活跃的研究热点。根据输出类型的不同,分类概览二维图像平面和三维人脸曲面上的合成算法。对于二维图像平面空间合成人脸表情主要有如下几种算法：主动表情轮廓模型驱动的人脸表情合成算法,基于拉普拉斯算子迁移计算的合成方法,使用表情比率图合成框架的表情合成算法,基于面部主特征点offset驱动的人脸表情合成算法,基于通用表情映射函数的表情合成方法和近来基于深度学习的表情合成技术。对于三维空间人脸合成则主要包括：基于物理肌肉模型的合成,基于形变的表情合成,基于三维形状线性回归的表情合成,基于脸部运动图的表情合成和近来基于深度学习的三维人脸表情合成技术。对以上每一种类别讨论它们的方法论以及其主要优缺点。本工作有望帮助未来研究者更好地定位研究方向和技术突破口。     

一种鲁棒的全自动人脸特征点定位方法

人脸特征点定位的目标是能够对人脸进行全自动精确定位. 主动形状模型(Active shape modal, ASM)和主动表象模型(Active appearance modal, AAM)的发表为全自动人脸特征点定位工作提供了很好的思路和解决框架. 之后很多研究工作也都在ASM和AAM的框架下进行了改进. 但是目前的研究工作尚未很好地解决人脸表情、光照以及姿态变化情况下的人脸特征点定位问题, 本文基于ASM框架提出了全自动人脸特征点定位算法. 和传统ASM方法以及ASM的改进方法的不同在于: 1)引进有效的机器学习方法来建立局部纹理模型. 这部分工作改进了传统ASM方法中用灰度图像的梯度分布进行局部纹理建模的方法, 引入了基于随机森林分类器和点对比较特征的局部纹理建模方法. 这种方法基于大量样本的统计学习, 能够有效解决人脸特征点定位中光照和表情变化这些难点; 2)在人脸模型参数优化部分, 本文成功地将分类器输出的结果结合到人脸模型参数优化的目标函数当中, 并且加入形状限制项使得优化的目标函数更为合理. 本文在包含表情、光照以及姿态变化的人脸数据上进行实验, 实验结果证明本文提出的全自动人脸特征点定位方法能够有效地适应人脸的光照和表情变化. 在姿态数据库上的测试结果说明了本算法的有效性.     

基于链码的人脸表情几何特征提取

已有人脸表情特征提取算法的表情识别率较低.为此,提出一种基于链码的人脸表情几何特征提取算法.以主动形状模型特征点定位为基础,对面部目标上定位的特征点位置进行循环链码编码,以提取出人脸表情几何特征.实验结果表明,相比经典的LBP表情特征鉴别方法,该算法的识别率提高约10％.     

Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis

3D face scans have been widely used for face modeling and analysis. Due to the fact that face scans provide variable point clouds across frames, they may not capture complete facial data or miss point-to-point correspondences across various facial scans, thus causing difficulties to use such data for analysis. This paper presents an efficient approach to representing facial shapes from face scans through the reconstruction of face models based on regional information and a generic model. A new approach for 3D feature detection and a hybrid approach using two vertex mapping algorithms, displacement mapping and point-to-surface mapping, and a regional blending algorithm are proposed to reconstruct the facial surface detail. The resulting models can represent individual facial shapes consistently and adaptively, establishing facial point correspondences across individual models. The accuracy of the generated models is evaluated quantitatively. The applicability of the models is validated through the application of 3D facial expression recognition using the static 3DFE and dynamic 4DFE databases. A comparison with the state of the art has also been reported.     

Statistical learning based facial animation

To synthesize real-time and realistic facial animation, we present an effective algorithm which combines image- and geometry-based methods for facial animation simulation. Considering the numerous motion units in the expression coding system, we present a novel simplified motion unit based on the basic facial expression, and construct the corresponding basic action for a head model. As image features are difficult to obtain using the performance driven method, we develop an automatic image feature recognition method based on statistical learning, and an expression image semi-automatic labeling method with rotation invariant face detection, which can improve the accuracy and efficiency of expression feature identification and training. After facial animation redirection, each basic action weight needs to be computed and mapped automatically. We apply the blend shape method to construct and train the corresponding expression database according to each basic action, and adopt the least squares method to compute the corresponding control parameters for facial animation. Moreover, there is a pre-integration of diffuse light distribution and specular light distribution based on the physical method, to improve the plausibility and efficiency of facial rendering. Our work provides a simplification of the facial motion unit, an optimization of the statistical training process and recognition process for facial animation, solves the expression parameters, and simulates the subsurface scattering effect in real time. Experimental results indicate that our method is effective and efficient, and suitable for computer animation and interactive applications.     

一种用于脸部特征检测的分层概率模型研究

脸部特征检测问题是计算机视觉领域的研究热点。因为脸部外观和形态随着条件的变化而变化,因此面部特征检测比较复杂。针对现有脸部特征检测算法的不足,提出一种已知图像测量数据后能够推断出真实脸部特征位置的分层概率模型。针对每个脸部子部位的局部形态变化进行间接建模;通过搜索模型的最优结构和参数设置,在更高层次上学习脸部子部位、脸部表情和姿态间的联合关系。该模型综合利用了脸部子部位自下而上的形态约束以及脸部子部位间自上而下的关系约束来推断出脸部特征的真实位置。利用基准数据库进行了仿真实验。实验结果表明,该方法的检测性能要明显优于目前最新的人脸特征检测算法。     

对表情鲁棒的面部轮廓线3维人脸识别

目的表情变化是3维人脸识别面临的主要问题。为克服表情影响,提出了一种基于面部轮廓线对表情鲁棒的3维人脸识别方法。方法首先,对人脸进行预处理,包括人脸区域切割、平滑处理和姿态归一化,将所有的人脸置于姿态坐标系下;然后,从3维人脸模型的半刚性区域提取人脸多条垂直方向的轮廓线来表征人脸面部曲面;最后,利用弹性曲线匹配算法计算不同3维人脸模型间对应的轮廓线在预形状空间(preshape space)中的测地距离,将其作为相似性度量,并且对所有轮廓线的相似度向量加权融合,得到总相似度用于分类。结果在FRGC v2.0数据库上进行识别实验,获得97.1%的Rank-1识别率。结论基于面部轮廓线的3维人脸识别方法,通过从人脸的半刚性区域提取多条面部轮廓线来表征人脸,在一定程度上削弱了表情的影响,同时还提高了人脸匹配速度。实验结果表明,该方法具有较强的识别性能,并且对表情变化具有较好的鲁棒性。     

基于特征点表情变化的3维人脸识别

目的 为克服表情变化对3维人脸识别的影响,提出一种基于特征点提取局部区域特征的3维人脸识别方法。方法 首先,在深度图上应用2维图像的ASM(active shape model)算法粗略定位出人脸特征点,再根据Shape index特征在人脸点云上精确定位出特征点。其次,提取以鼻中为中心的一系列等测地轮廓线来表征人脸形状;然后,提取具有姿态不变性的Procrustean向量特征(距离和角度)作为识别特征;最后,对各条等测地轮廓线特征的分类结果进行了比较,并对分类结果进行决策级融合。结果 在FRGC V2.0人脸数据库分别进行特征点定位实验和识别实验,平均定位误差小于2.36 mm,Rank-1识别率为98.35%。结论 基于特征点的3维人脸识别方法,通过特征点在人脸近似刚性区域提取特征,有效避免了受表情影响较大的嘴部区域。实验证明该方法具有较高的识别精度,同时对姿态、表情变化具有一定的鲁棒性。     

基于双决策子空间和神经网络的人脸表情识别

提出了一种新的基于双决策子空间和径向基函数（RBF）神经网络的人脸表情识别方法。该方法首先采用KPCA+ FLD算法在双决策子空间（核空间和值域空间）中进行决策分析,提取两类判决特征信息：非常规信息和常规信息,并按一定的规则融合这两类判决信息;再运用RBF神经网络分类器和融合特征信息进行人脸表情的分类识别。基于日本女性表情数据库JAFFE的实验结果表明,它是一种有效的人脸表情识别方法。