姿态和表情变化下的三维人脸标志点定位

三维人脸标志点定位在人脸识别、人脸跟踪、人脸建模、表情分析等方面具有非常重要的作用. 然而, 在姿态和表情变化很大的条件下进行标志点定位, 这仍然是一个很具挑战性的课题. 本文提出一种对姿态和表情不敏感的三维人脸标志点定位方法, 利用HK曲率分析检测出候选标志点, 根据对面部形状的先验知识, 提出一种基于人脸几何结构的分类策略对候选标志点进一步细分, 通过把候选标志点与人脸标志点模型进行匹配, 实现标志点的精确定位. 首先在CASIA数据集对该方法的标志点定位精度进行测试, 然后在UND/FRGC v2.0数据集对该方法与其他方法进行比较. 实验结果表明该方法在姿态和表情变化很大的条件下具有高精度和高鲁棒性.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

基于相关型图像传感器3维人脸成像的3维AAMs人脸识别方法的研究

主动外观模型是基于统计分析建立物体2维模型的有效方法,它融合了目标的形状和纹理信息。在基于相关型图像传感器3维人脸成像的基础上,提出了一种建立3维人脸模型的方法,该方法利用由相关型图像传感器得到的深度信息和与之对应的亮度信息将2维AAMs扩展为3维AAMs,融合人脸的形状,纹理和深度信息来构建3维人脸模型。人脸识别实验结果表明,该方法在不同人脸姿态,表情和光照条件下识别效果要优于Eigenface和2维AAMs。     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

带眼球细节的情感虚拟人面部表情合成*

针对当前三维头部重建中使用的网格模型不能完整表达头部拓扑结构或者模型过于复杂的问题,提出了一种完整头部网格模型合成方法。该方法首先以Candide-3模型为基础加入后脑勺模型,对面部Candide-3模型的眼睑部分进行重新建模,并加入比例合适的眼球模型,得到一个完整头部网格模型。然后结合人脸特征点信息和局部最小二乘法匹配原理对模型进行调整,并对模型进行纹理贴图合成真实感的虚拟人头部模型。最后,在该模型上用分段线性插值的方法,合成带眼球细节的情感虚拟人表情。实验结果表明,基于该模型合成的虚拟人表情不仅逼真而且情感丰富。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

基于支持向量机和Candide-3的单样本人脸确认

目前已有的正面人脸识别方法大多要求有充分数量的训练样本,不能适应单人单个训练样本的情况.提出了一种基于支持向量机SVM的单训练样本人脸确认方法,首先产生人脸Candide-3模型,通过对重建模型的旋转产生姿态不同的数字人脸,将产生的数字人脸和原始样本一起作为训练数据,用SVM进行分类确认,取得了接近于多样本情况下的识别率.在ORL人脸库的实验结果表明,本方法能更好地适应单样本情况下的人脸确认,比同类人脸确认方法具有更高的识别率.     

面向单幅图像的逼真3D人脸重建方法EI北大核心CSCD

针对3DMM参数拟合方法生成的纹理过于粗糙、结果不够逼真的问题,提出一种基于深度学习的单幅图像逼真3D人脸重建方法.首先构建RP-Net回归网络和包含5万幅人脸图像的数据集,从输入图像中学习参数,并拟合人脸模型生成3D人脸几何;然后通过构造多层次的损失函数进行弱监督学习,包括低水平的像素损失、地标损失和高水平的身份损失;最后通过纹理映射的方式生成逼真的人脸纹理.在2个通用人脸数据集和1个人工生成的人脸数据集上与最近的3D人脸重建方法进行对比实验,并对影响重建的光照、表情和转向等因素进行实验,根据SSIM和PSNR对3D重建结果进行量化分析.实验结果表明,所提方法面向单幅图像可以生成准确的3D人脸形状和逼真的人脸纹理;与最近的3D人脸重建方法相比,该方法的训练时间和迭代次数分别降低了6%和13%,SSIM值增加0.005~0.010,PSNR值平均提高0.03~0.08 dB.     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

有限元法在人脸三维建模及表情动画中的应用研究

将机械工程中的有限元方法用于人脸的三维建模,利用人脸上提取的99个特征点和一些辅助点,用光滑的样条曲线模拟人脸表情肌分布位置连结成线,由线生成三角面片和四角面片组合的有限元建立的人脸几何模型.给该模型定义合适的单元类型、实常数等参数,定义能与人脸皮肤等效的材料属性,并在眼睛、嘴等动作敏感位置加一定量载荷求解,模拟人脸表情动作.从求解的应力图中可以看出,该几何模型变形均与人脸表情动作时皮肤弹性变形一致.该方法可以快速、准确的进行三维人脸参数化建模,可方便提取特征点进行人脸识别.这种建模方法为人脸三维建模提供了一种新的思路和可靠的理论依据,同时降低了后期人脸识别的难度.     

一种改进的三维人脸重构方法

提出一种改进的三维人脸重构方法。该方法采用基于单个相机的双目立体视觉系统对人脸进行采样,根据人脸对称性假设,运用补洞与纠错技术进行自动点云优化。继而采用简化的Candide-3模型作为细分初始控制网格,局部加细地进行细分曲面分层次拟合操作,采用测地线映射技术对不同表情进行归一化,并分别建立人脸数据库。实验结果表明,采用单相机立体视觉系统在提高重建精度的同时,很大程度上避免由于双相机拍摄不同步引起的重建鲁棒性降低问题。而采用细分曲面作为存储结构,在节约空间的前提下,为分层次比对筛选提供理论支持。该系统成本较低,适合在许多领域推广应用。     

一种改进的人脸纹理映射方法

识别人脸图像优化问题,由于人脸纹理映射时容易出现的纹理扭曲和畸变现象,影响图像的真实性,提出一种改进的纹理图像映射方法。根据人脸特征点信息,利用特征块匹配法配准正侧面人脸图像,并使用加权平滑算法和金字塔方法对图像进行双重融合实现图像的平滑过渡;然后利用一种特殊的定位方法来计算三维人脸模型上顶点对应的纹理坐标;最后根据纹理坐标将纹理图像映射到三维特定人脸模型表面上,可得到具有真实感的三维人脸模型。实验结果表明,纹理合成方法简捷有效,纹理映射结果生动逼真,有效的避免了纹理图像的扭曲和畸变现象,具有较高的鲁棒性。     

多信息融合的多姿态三维人脸面部五官标志点定位方法

针对三维人脸模型面部五官标志点定位对姿态变化非常敏感的问题,提出了一种基于多信息融合的多姿态三维人脸五官标志点定位方法.首先对二维人脸纹理图像采用仿射不变的Affine- SIFT方法进行特征点检测,再利用映射关系将其投影到三维空间,并采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法对面部五官标志点进行精确定位.在FRGC2.0和自建NPU3D数据库的实验结果表明,文中方法无需对姿态和三维数据的格式进行预先估计和定义,算法复杂度低,同时对人脸模型的姿态有着较强的鲁棒性,与现有五官标志点定位方法相比,有着更高的定位精度.     

基于特征和弹性网格模型的快速人脸建模

为解决特定人脸的建模问题提供了一个简单而行之有效的方法。给定特定人脸的正面侧面照片,以及内嵌具有人脸特征信息的弹性人脸网格模型,采用基于小波分析的方法进行人脸特征识别,基于特定人脸的特征线相对于一般人脸模型上的特征线的位移,根据弹性系数求解所有点的位移变化,适配特定人脸几何。纹理映射之后生成能以任意视线方向观察的高度真实感特定人脸。该方法能在廉价的PC平台上快速而方便地得到实现。     

Pose-invariant face recognition using a 3D deformable model

The paper proposes a novel, pose-invariant face recognition system based on a deformable, generic 3D face model, that is a composite of: (1) an edge model, (2) a color region model and (3) a wireframe model for jointly describing the shape and important features of the face. The first two submodels are used for image analysis and the third mainly for face synthesis. In order to match the model to face images in arbitrary poses, the 3D model can be projected onto different 2D viewplanes based on rotation, translation and scale parameters, thereby generating multiple face-image templates (in different sizes and orientations). Face shape variations among people are taken into account by the deformation parameters of the model. Given an unknown face, its pose is estimated by model matching and the system synthesizes face images of known subjects in the same pose. The face is then classified as the subject whose synthesized image is most similar. The synthesized images are generated using a 3D face representation scheme which encodes the 3D shape and texture characteristics of the faces. This face representation is automatically derived from training face images of the subject. Experimental results show that the method is capable of determining pose and recognizing faces accurately over a wide range of poses and with naturally varying lighting conditions. Recognition rates of 92.3% have been achieved by the method with 10 training face images per person.     

基于支持向量回归机的三维人脸建模方法研究

提出一种新的三维人脸建模方法,该方法首先运用双目立体视觉原理从不同角度获得人脸的两张照片,在一张照片上选定特征点,通过匹配在另一张照片上得到对应的特征点,然后从空间立体几何知识出发,根据两张照片上特征点的坐标以及拍摄时的参数,计算其三维坐标,利用支持向量回归机(SVR)对其进行回归预测建模,最后经纹理贴图,得到具有纹理特征的特定三维人脸模型。仿真实验结果表明,该方法获得的三维人脸模型较为逼真。     

刚性区域特征点的3维人脸识别

目的 针对3维人脸识别中存在表情变化的问题,提出了一种基于刚性区域特征点的3维人脸识别方法。方法 该方法首先在人脸纹理图像上提取人脸图像的特征点,并删除非刚性区域内的特征点,然后根据采样点的序号,在人脸空间几何信息上得到人脸图像特征点的3维几何信息,并建立以特征点为中心的刚性区域内的子区域,最后以子区域为局部特征进行人脸识别测试,得到不同子区域对人脸识别的贡献,并以此作为依据对人脸识别的结果进行加权统计。结果 在FRGC v2.0的3维人脸数据库上进行实验测试,该方法的识别准确率为98.5%,当错误接受率（FAR）为0.001时的验证率为99.2%,结果表明,该方法对非中性表情下的3维人脸识别具有很好的准确性。结论 该方法可以有效克服表情变化对3维人脸识别的影响,同时对3维数据中存在的空洞和尖锐噪声等因素具有较好的鲁棒性,对提高3维人脸识别性能具有重要意义。     

Automatic 3D face recognition from depth and intensity Gabor features

As is well known, traditional 2D face recognition based on optical (intensity or color) images faces many challenges, such as illumination, expression, and pose variation. In fact, the human face generates not only 2D texture information but also 3D shape information. In this paper, we investigate what contributions depth and intensity information makes to face recognition when expression and pose variations are taken into account, and we propose a novel system for combining depth and intensity information to improve face recognition systems. In our system, local features described by Gabor wavelets are extracted from depth and intensity images, which are obtained from 3D data after fine alignment. Then a novel hierarchical selecting scheme embedded in linear discriminant analysis (LDA) and AdaBoost learning is proposed to select the most effective and most robust features and to construct a strong classifier. Experiments are performed on the CASIA 3D face database and the FRGC V2.0 database, two data sets with complex variations, including expressions, poses and long time lapses between two scans. Experimental results demonstrate the promising performance of the proposed method. In our system, all processes are performed automatically, thus providing a prototype of automatic face recognition combining depth and intensity information.     

二维及三维多模人脸数据库构建

基于图像的二维人脸识别技术日趋成熟,但仍受光照、姿态和表情等变化的影响。利用三维人脸模型提高人脸识别性能并将其应用于实际成为近几年学术界的研究趋势。本文提出了SWJTU-MF多模人脸数据库(SWJTU multimodal face database, SWJTU-MF Database),包 含200个中性表情中国人的4种人脸样本数据,包括可见光图像、二维视频序列、三维人脸(高精度)和立体视频序列。本文首先分类介绍现有的三维人脸识别算法,然后概述相关的多模人脸数据库,接着提出SWJTU-MF多模人脸数据库,并说明数据库的采集装置、采集环境、采集过程及数据内容,随后简要展示数据标准化过程。最后讨论本数据库面向的应用研究,并给出SWJTU-MF建议的评测协议。