深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

基于表情传输的交互式照片编辑

目的 生活中照片拍摄时难以捕捉到所有人脸表情最佳的时刻,多次摆拍不仅费时,而且可能会错过某些场景,传统的后期编辑软件不具备针对性,且操作复杂。针对人物照片中部分人脸表情不佳的情况,提出一种基于表情传输的交互式照片编辑算法。方法 首先将包含源人脸的照片与具有目标表情人脸的照片进行特征点检测,通过交互将指定人脸部分选出并将其姿态归正为眼睛在同一水平线上,如果目标人脸与源人脸身份相同,将目标人脸区域根据源人脸的轮廓以及左右半脸分布以扫描线变形得到替换目标;不相同时根据目标人脸特征点分布的几何特征计算源人脸中特征点的新位置,通过基于特征点变化的网格变形得到替换目标,最后利用二次光照与泊松融合将其无缝拼接到源图中。结果 实验表明算法可以对人脸五官清晰且在宽容度内的人物照片进行表情编辑,处理结果只改变了人物的脸部表情,并且无明显拼接痕迹。结论 提出了一种新型针对目标人脸不同身份信息的交互式表情传输模型,该模型可以适应不同的编辑条件与要求,效果出色。     

基于径向基函数的虚拟人脸合成方法

提出一种基于径向基函数的虚拟人脸合成方法.该方法根据正侧面图像获取人脸特征点的三维数据;利用基于径向基函数的散乱数据插值方法对通用人脸模型进行整体变形得到特定的人脸模型,并对模型进行Bezier磨光;将合成的人脸无缝拼接纹理图映射到特定的人脸模型.实验结果表明,合成的虚拟人脸具有较强的真实感.     

基于特征点的特定人脸三维网格的生成

提出了一种在通用人脸模型的基础上,依据特定人脸正面图象和侧面图象得到特定人脸的三维网格模型的方法。该方法首先从特定人脸正面和侧面图象上提取特征点,然后依据这些特征点信息对相应人脸网格模型进行特征点变换,在此基础上对其余非特征点使用插值变换,从而将特定人的特征信息溶入到通用人脸模型中去,由此得到特定人脸的三维网格模型。通过试验取得了一定的效果。     

一种构造人脸原型的Face-LS算法

将Loop细分原则引入语音驱动的语音动画合成系统中,提出并设计一种基于局部细分模型构造人脸原型的Face-LS算法。算法利用局部细分原则在脸部网格的局部区域上进行迭代插值,经插值细分后在降低整体网格密度的前提下,导致不同脸部区域特征点密度不同,使重要区域具有较高密度,以此降低脸部原型的褶皱度。通过仿真试验验证该算法具有较好的性能。     

一种改进的三维人脸重建方法

以径向基函数散乱数据插值算法为基础,针对该算法在三维人脸建模中的不足,提出一种改进的算法：在三维人脸建模中,根据特征点和非特征点的不同特性对基函数选择不同的参数值,使通用人脸模型的调整变换更加合理;然后应用二元三次多项式插值方法对特征点局部区域进行二次平滑,避免了畸变模型的产生,最终得到完整的三维人脸模型。实验结果表明,使用该算法构建的三维人脸模型生成速度快,且具有较高的精确度。     

三维脸部网格模型的交互式调整

脸部网络模型的建立是基于模型的人脸合成技术的关键步骤。提出了一种结合自动和交互方式，利用正交图象的三维人脸模型调整算法，首先利用区域增长法和矩形模板匹配确定正面图象中人脸及各特征区域的位置，利用变形模板自动提取人脸完整特征；然后交互地修正人脸特点的准确正面位置，并从侧面图象提取特征点的深度；最后算法自动确定脸部姿态和利用反向距离内插调整模型非特征点，获得输和人脸模型。实验结果表明，该算法简便实用，费时较少，具有一定的实用价值。     

变形图驱动的人体与脸部网格模板拟合系统

为了建立统一的人体模型数据库/人脸模型数据库,实现了一个用标准三维人体/人脸网格模型拟合扫描数据的系统.该系统为人体模型构建特征点候选区域,用马尔可夫网络对候选区域进行概率预测得到人体特征点的位置;对于人脸模型,采用基于回归树的算法在多幅不同角度的人脸图像上分别检测其二维特征点,融合得到准确的三维特征点位置;得到特征点后,使用相似变换对标准模板和扫描模型的位置朝向以及尺度进行统一;通过特征点引导的变形图算法对标准模板和扫描模型的形状和姿态进行粗配准;最后使用基于稠密点对应的顶点仿射变换拟合得到变形后的标准模板.对CAESAR数据集中的人体模型以及扫描得到的人体和人脸模型均进行了拟合,实验结果表明,该系统能够精确地捕捉扫描数据的几何形状.     

基于照片的个性化人脸建模系统研究

三维个性化人脸建模一直是计算机图形学中一个具有挑战性的课题。论文建立了一个基于照片的个性化人脸建模通用系统。根据MPEG-4确定出标准模型特征点的位置,从正面和侧面两幅照片出发,进行特征点编辑,获取人脸的关键特征点的位置,然后对标有对应特征点的标准模型进行变形,进行纹理映射,最后获得了真实的个性化人脸模型。该系统操作方便,可以快速地建立个性化人脸模型,为三维人脸动画提供了真实模型。     

表情识别的图像预处理和特征提取方法研究

表情识别是基于视觉信息将脸部的运动或脸部特征的形变进行分类,包括三部分:脸部定位、脸部特征抽取和表情分类.本文首先使用肤色模型进行脸部定位;对提取出来的人脸进行预处理,然后通过Canny鼻子和人脸形状模型相结合的Canny-AAM方法进行特征点定位;最后利用曲线拟合的方法进行特征提取.基于上述算法建立表情识别平台,经过大样本对实时表情识别验证,结果表明对于不同光照下的实时表情识别具有鲁棒性.     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于MPEG-4的人脸变形算法的研究

MPEG－4已经成为新的国际标准，其中定义了如何表示和驱动虚拟的人脸和人体动画，文中根据MPEG－4的脸部定义参数，应用Dirichlet自由变形算法（简称DFFD）对一般人脸进行变形，与其它自由变形算法相比，DFFD的主要优点是对于控制盒的拓扑结构与控制点的位置没有任何限制，在实践的过程中，又对该方法进行一些改进，使其更适合于人脸变形。     

一种基于预测的实时人脸特征点定位跟踪算法

当前的人脸特征点定位跟踪方法因其计算量大,实时特性欠佳。给出了一种基于改进Viola-Jones算法和Kalman滤波器预测机制的定位及跟踪算法。该算法通过使用改进的Viola-Jones算法对本次人脸特征点进行定位,同时使用Kalman滤波算法对特征点下次出现位置进行预测,缩小了下一帧特征点定位过程中特征点的搜索范围,因而缩短了定位搜索时间。实验结果表明该方法在保证定位准确性和鲁棒性的同时明显增强了算法的实时性。     

基于SVM的面部表情分析

以面部表情视频序列为研究对象,基于一种统计学习方法-支持向量机对面部表情进行识别及强度度量。采用一种改进的特征点跟踪方法来提取面部特征形变。通过非线性降维方法-等容特征映射自动产生表情强度范围,从高维特征点轨迹中抽取一维的表情强度。最后,使用SVM建立表情模型和强度模型,进行表情的分类,并对高兴表情进行强度等级的归类。实验证明了该表情分析方法的有效性。     

获得特定人脸模型变形方法的研究与探讨

主要目的是想让人们从枯燥的模型变形工作中解脱出来.主要研究如何利用二维图片信息获得特定三维人脸模型,首先介绍人脸模型变形的基本原理,然后提出特定人脸模型变形的一般步骤,提出人脸对几种常用的基于图片的三维人脸模型变形方法并对这些方法作了详细的阐述,分析和对比,总结这些方法各自的优点和不足,最后得到一种新的模型变形思路和方法.此文通过针对典型方法的对比分析中可以了解目前在人脸变形建模方面所做工作的特点及不足,这将对以后工作具有一定的研究意义.     

基于小波矩的面部特征匹配定位方法

面部特征是实现面部表情分类与刻画面部表情强度的重要信息。提出了结合金字塔分解技术和小波矩的面部特征匹配定位方法。该方法通过小波矩实现图像信息的多尺度表征,而应用金字塔分解在金字塔图像各层之间传递信息并最终实现局部处理与全局处理之间的联系。实验结果表明,提出的方法可以在面部特征发生较大形变时依旧取得较好面部特征匹配定位结果。     

高精密点云数据三维人头模型的变形

提出了一种基于高斯变换的计算机三维头像变形算法，可以全自动产生三维头像变形效果，该算法摒弃了其他人脸变形算法中所必需的标定人脸关键点的繁琐工作，提出一种只需要设置一个中心点以及变形参数就可以将三维头像进行变形的方法, 实验结果表明，该算法所需用户控制少，方便用户对渐变精细度的控制，运算速度快，产生理想的平滑渐变，能够很好地达到预期变形效果。该工作有助于将人脸变形技术运用于三维动画，人脸识别等领域。     

改进的统计模型三维人脸特征点标定算法框架

自动三维人脸特征点标定是计算机视觉领域的研究热点,其广泛应用于人脸识别,人脸模型配准,表情识别,脸部动画等领域。通过对三维人脸样本统计建模,采用遗传算法对待匹配模型的生成数目进行参数优化,利用模型相似性匹配方法及其映射关系对三维人脸特征点进行自动标定。首先,对三维人脸数据预处理,然后对其统计建模并通过模型形变得到有映射关系的基准模型和待匹配模型。利用遗传算法对待匹配模型中的待匹配模型生成数目参数进行优化,生成与之对应的待匹配模型数;接着计算待测模型与待匹配模型的相似度。最后,利用模型相似度和模型映射关系,间接得到待测模型的特征点。实验结果表明,提出的算法是可行的,能够在一定程度上提高原有算法的效率。该算法可以自动标定三维人脸模型的特征点,当距离阈值为10像素时,39个三维人脸特征点定位的准确率都可以达到100%,并有效解决了传统方法中三维人脸模型平滑区域特征点精度不高的问题。     

天基光学传感器姿态实时校正算法

卫星在轨运行过程中,载荷姿态不可避免受到平台抖动、传感器热形变等安装误差因素一定程度的影响,导致图像定位精度下降。针对该问题,通过建立相应的安装误差状态转移模型和基于特征点的观测模型、采用扩展卡尔曼滤波（ EKF）,实现对安装误差的实时估计。采用基于特征点的天基传感器姿态实时校正方法,数学仿真表明：该方法能够实现姿态实时校正,且性能稳定,可有效提高图像定位精度。     

基于模型的面部图像生成方法

在人脸部件几何特征及肌肉运动模型的基础上,本文提出了一种二维面部图像的生成方法。该方法采用特征网络模型精确地描述人脸部件,将网络上轮廓特征点的相对位移作为面部图像变形及表情综合的参数,并通过面部整合模型控制各部件之间相互作用关系及人脸轮廓变化。实验证明该方法产生的面部变形图像比较精确,表情效果也很自然。