基于3D人脸识别研究的探索

2D人脸识别技术目前已经成熟,但由于单一的2D图像不能提供识别所需要的完整信息,所以识别精度难以提高。在人脸识别过程中,特征提取是影响识别效果的一个重要环节,该文在传统的主成分分析法和由此改进的2DPCA方法的基础上提出了3D人脸识别方法,该方法将人脸图象分为几个部分分别进行特征提取,充分考虑每个部分所包含的特征信息量的多少,在分类时赋予它们不同的权值。因此将人脸用立体图像来表示进行识别,以提高其精度是目前极富挑战性的前沿课题。     

基于三维数据与MMSV特征的二维人脸识别*

针对二维人脸识别对姿态与光照变化较为敏感的问题,提出了一种基于三维数据与混合多尺度奇异值特征MMSV(mixture of multi-scale singular value,MMSV)的二维人脸识别方法。在训练阶段,利用三维人脸数据与光照模型获取大量具有不同姿态和光照条件的二维虚拟图像,为构造完备的特征模板奠定基础;同时,通过子集划分有效地缓解了人脸特征提取过程中的非线性问题;最后对人脸图像进行MMSV特征提取,从而对人脸的全局与局部特征进行融合。在识别阶段,通过计算MMSV特征子空间距离完成分类识别。实验证明,提取到的MMSV特征包含有更多的鉴别信息,对姿态和光照变化具有理想的鲁棒性。该方法在WHU-3D数据库上取得了约98.4%的识别率。     

保角特征结合改进差分进化算法的三维人脸识别

针对三维人脸识别的高复杂度和二维人脸识别无法提供粒状线索的问题,提出一种全自动3D人脸表情识别算法, 该算法主要是提供比2D人脸识别更多的线索,同时降低计算复杂度。首先通过保角映射将3D人脸转化到2D平面,保留了面部变化的线索;然后,提出了基于优化算法的差分进化(DE)算法用于提高识别效率,同时提取最优人脸特征集和分类器参数,加速鲁棒特征(SURF)池描述了所有预期的人脸特征点。在博斯普鲁斯、FRGC v2及自己搜集的人脸数据集上的实验结果表明,本文算法解决了三维人脸识别的高计算复杂度和二维人脸识别的线索低问题,并在不降低识别性能的前提下大大地节约了成本,相比几种较为先进的三维人脸识别算法,本文算法取得了更好的识别效果,有望应用于一些商业人脸识别系统。     

基于样例学习的任意光照下的人脸3D重建方法

待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学习方式的3D人脸形状重建方法,既可以生成任意光照条件下的数据库中人脸图像,也可以对待识别图像进行重新光照,合成无阴影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息,并用多面体模型在最小二乘意义下恢复其3D信息并更新法向量场以克服阴影误差,从而可以利用计算机图形学的方法合成任意光照条件下和小角度姿态改变时的人脸图像;在识别时采用数据库中3D数据的线性组合形式对输入图像建模,以估计其3D信息,从而可以重新照明。在YaleB人脸数据库上的实验表明,在建立3D人脸数据库后,该方法可以快速恢复输入单幅图像中人脸的3D信息,并生成任意光照条件的该人脸图像。     

基于Candide模型的人脸深度信息生成技术研究

目前通过2D转3D技术转换的3D电影场景中,绝大部分关于人脸的深度信息生成都不令人满意：深度值不准确、立体效果差。文中为解决特定二维人脸图像转换为三维人脸图像提供了一个比较简单有效的方法。首先,应用Candide模型作为通用的3D人脸模型,然后对通用模型调整控制点进行全局变换和局部变换,通过三维模型与人脸最大限度的匹配得到特定人脸三维网格模型。对网格模型采用顶点规则化和NURBS曲面拟合方法获得光滑的模型表面使其逼近人脸,最后生成准确的人脸深度信息。     

基于 Candide 模型的人脸深度信息生成技术研究

目前通过2D 转3D 技术转换的3D 电影场景中,绝大部分关于人脸的深度信息生成都不令人满意:深度值不准确、立体效果差.文中为解决特定二维人脸图像转换为三维人脸图像提供了一个比较简单有效的方法.首先,应用 Candide模型作为通用的3D 人脸模型,然后对通用模型调整控制点进行全局变换和局部变换,通过三维模型与人脸最大限度的匹配得到特定人脸三维网格模型.对网格模型采用顶点规则化和 NURBS 曲面拟合方法获得光滑的模型表面使其逼近人脸,最后生成准确的人脸深度信息     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

联合软阈值去噪和视频数据融合的低质量3维人脸识别

目的 低质量3维人脸识别是近年来模式识别领域的热点问题;区别于传统高质量3维人脸识别,低质量、高噪声是低质量3维人脸识别面对的主要问题。围绕低质量3维人脸数据噪声大、依赖单张有限深度数据提取有效特征困难的问题,提出了一种联合软阈值去噪和视频数据融合的低质量3维人脸识别方法。方法 首先,针对低质量3维人脸中存在的噪声问题,提出了一个即插即用的软阈值去噪模块,在网络提取特征的过程中对特征进行去噪处理。为了使网络提取的特征更具有判别性,结合softmax和Arcface(additive angular margin loss for deep face recognition)提出的联合渐变损失函数使网络提取更具有判别性特征。为了更好地利用多帧低质量视频数据实现人脸数据质量提升,提出了基于门控循环单元的视频数据融合模块,实现了视频帧数据间互补信息的有效融合,进一步提高了低质量3维人脸识别准确率。结果 实验在两个公开数据集上与较新方法进行比较,在Lock3DFace(low-cost kinect 3D faces)开、闭集评估协议上,相比于性能第2的方法,平均识别率分别提高了0.28%和3...     

对表情鲁棒的面部轮廓线3维人脸识别

目的表情变化是3维人脸识别面临的主要问题。为克服表情影响,提出了一种基于面部轮廓线对表情鲁棒的3维人脸识别方法。方法首先,对人脸进行预处理,包括人脸区域切割、平滑处理和姿态归一化,将所有的人脸置于姿态坐标系下;然后,从3维人脸模型的半刚性区域提取人脸多条垂直方向的轮廓线来表征人脸面部曲面;最后,利用弹性曲线匹配算法计算不同3维人脸模型间对应的轮廓线在预形状空间(preshape space)中的测地距离,将其作为相似性度量,并且对所有轮廓线的相似度向量加权融合,得到总相似度用于分类。结果在FRGC v2.0数据库上进行识别实验,获得97.1%的Rank-1识别率。结论基于面部轮廓线的3维人脸识别方法,通过从人脸的半刚性区域提取多条面部轮廓线来表征人脸,在一定程度上削弱了表情的影响,同时还提高了人脸匹配速度。实验结果表明,该方法具有较强的识别性能,并且对表情变化具有较好的鲁棒性。     

基于隐马尔可夫模型的自动人脸识别方法

基于DCT系数的伪二维隐马尔可夫人脸模型(P2D HMM)由于更好的利用了人脸图像 的二维统计特性,所以与基于KLT系数的一维隐马尔可夫人脸模型相比,识别效果更好,但是结构复 杂、运算量大。一维隐马尔可夫模型(1D HMM)表现二维人脸存在不足,但训练识别比较简单。综合 考虑二者的优缺点,结合支持向量机(SVM)对静态数据识别效率明显的长处,建立了SVM和HMM 的混合人脸识别模型。采用独立分量分析(ICA)的方法提取人脸区域的特征,作为SVM的输入。在 ORL人脸库中,测试基于SVM/HMM的人脸识别方法,实验结果表明该方法在获得与P2D HMM相应 的识别率的前提下,结构简单,运算量小。     

BJUT-3D三维人脸数据库及其处理技术

BJUT-3D是目前国际上最大的中国人的三维人脸数据库,其中包括经过顸处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJUT-3D数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.     

Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis

3D face scans have been widely used for face modeling and analysis. Due to the fact that face scans provide variable point clouds across frames, they may not capture complete facial data or miss point-to-point correspondences across various facial scans, thus causing difficulties to use such data for analysis. This paper presents an efficient approach to representing facial shapes from face scans through the reconstruction of face models based on regional information and a generic model. A new approach for 3D feature detection and a hybrid approach using two vertex mapping algorithms, displacement mapping and point-to-surface mapping, and a regional blending algorithm are proposed to reconstruct the facial surface detail. The resulting models can represent individual facial shapes consistently and adaptively, establishing facial point correspondences across individual models. The accuracy of the generated models is evaluated quantitatively. The applicability of the models is validated through the application of 3D facial expression recognition using the static 3DFE and dynamic 4DFE databases. A comparison with the state of the art has also been reported.     

三维人脸建模及在跨姿态人脸匹配中的有效性验证

针对现有三维人脸采集技术对采集场景存在诸多限制,提出了自由场景下基于多张图像的三维人脸建模技术,并对其进行了有效性验证。首先,提出一个姿态及深度值迭代计算模型,实现了特征点深度值的准确估计;然后,进行了基于多张图像的深度值融合及整体形状建模;最后,将深度迭代优化算法（IPDO）与目前最优的非线性最小二乘法（NLS1_SR）在Bosphorus Database数据集上进行了对比,建模精度提高了9%,所重建的三维人脸模型投影图像与二维图像具有较高的相似度。实验结果表明,在大姿态变化条件下,该识别算法借助三维信息相较于未借助的情况下,其识别率可以提高50%以上。     

二维及三维多模人脸数据库构建

基于图像的二维人脸识别技术日趋成熟,但仍受光照、姿态和表情等变化的影响。利用三维人脸模型提高人脸识别性能并将其应用于实际成为近几年学术界的研究趋势。本文提出了SWJTU-MF多模人脸数据库(SWJTU multimodal face database, SWJTU-MF Database),包 含200个中性表情中国人的4种人脸样本数据,包括可见光图像、二维视频序列、三维人脸(高精度)和立体视频序列。本文首先分类介绍现有的三维人脸识别算法,然后概述相关的多模人脸数据库,接着提出SWJTU-MF多模人脸数据库,并说明数据库的采集装置、采集环境、采集过程及数据内容,随后简要展示数据标准化过程。最后讨论本数据库面向的应用研究,并给出SWJTU-MF建议的评测协议。     

3D face recognition with sparse spherical representations

This paper addresses the problem of 3D face recognition using simultaneous sparse approximations on the sphere. The 3D face point clouds are first aligned with a fully automated registration process. They are then represented as signals on the 2-sphere in order to preserve depth and geometry information. Next, we implement a dimensionality reduction process with simultaneous sparse approximations and subspace projection. It permits to represent each 3D face by only a few spherical functions that are able to capture the salient facial characteristics, and hence to preserve the discriminant facial information. We eventually perform recognition by effective matching in the reduced space, where linear discriminant analysis can be further activated for improved recognition performance. The 3D face recognition algorithm is evaluated on the FRGC v.1.0 data set, where it is shown to outperform classical state-of-the-art solutions that work with depth images.     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于SVM和D-S理论的三维人脸识别

针对三维人脸识别算法中的高精度分类器设计问题,采用人脸全局特征和局部特征共四个相互独立的多特征信息分类后进行D-S数据融合技术来实现。通过SVM分类器对三维人脸图像中相互独立的全局特征（面廓）和局部特征（眼睛、鼻子和嘴）共四个特征进行一对一的单特征识别,并将其结果进行数据归一化处理后,作为D-S证据理论的BPA,按照D-S理论融合全局特征和局部特征数据,计算出更加准确的识别结果。经过融合数据结果分析,发现该算法可靠有效,大大提高了三维人脸的识别效率。     

基于MEGI模型的三维人脸识别方法*

三维人脸识别是未来人脸识别的方向,有望解决二维人脸识别的瓶颈问题。基于MEGI模型,扩展了球面相关性系数,将其用于三维人脸识别。实验证明,基于MEGI模型的方法可以用于三维人脸识别。     

2D face recognition based on supervised subspace learning from 3D models

One of the main challenges in face recognition is represented by pose and illumination variations that drastically affect the recognition performance, as confirmed by the results of recent face recognition large-scale evaluations. This paper presents a new technique for face recognition, based on the joint use of 3D models and 2D images, specifically conceived to be robust with respect to pose and illumination changes. A 3D model of each user is exploited in the training stage (i.e. enrollment) to generate a large number of 2D images representing virtual views of the face with varying pose and illumination. Such images are then used to learn in a supervised manner a set of subspaces constituting the user's template. Recognition occurs by matching 2D images with the templates and no 3D information (neither images nor face models) is required. The experiments carried out confirm the efficacy of the proposed technique.