面向单幅图像的逼真3D人脸重建方法EI北大核心CSCD

针对3DMM参数拟合方法生成的纹理过于粗糙、结果不够逼真的问题,提出一种基于深度学习的单幅图像逼真3D人脸重建方法.首先构建RP-Net回归网络和包含5万幅人脸图像的数据集,从输入图像中学习参数,并拟合人脸模型生成3D人脸几何;然后通过构造多层次的损失函数进行弱监督学习,包括低水平的像素损失、地标损失和高水平的身份损失;最后通过纹理映射的方式生成逼真的人脸纹理.在2个通用人脸数据集和1个人工生成的人脸数据集上与最近的3D人脸重建方法进行对比实验,并对影响重建的光照、表情和转向等因素进行实验,根据SSIM和PSNR对3D重建结果进行量化分析.实验结果表明,所提方法面向单幅图像可以生成准确的3D人脸形状和逼真的人脸纹理;与最近的3D人脸重建方法相比,该方法的训练时间和迭代次数分别降低了6%和13%,SSIM值增加0.005~0.010,PSNR值平均提高0.03~0.08 dB.     

基于3D人脸重建的光照、姿态不变人脸识别

待匹配人脸图像与库存原型图像之间姿态和光照的差异是自动人脸识别的两个主要瓶颈问题,已有的解决方法往往只能单独处理二者之-,而不能同时处理光照和姿态问题.提出了一种对人脸图像中的姿态和光照变化同时进行校正处理的方法,即通过光照不变的3D人脸重建过程,将姿态和光照都校正到预先定义的标准条件下.首先,利用先验的统计变形模型,结合人脸图像上的一些关键点来恢复较为精细的人脸3D形状.基于此重建的3D形状,进而通过球面谐波商图像的方法估计输入图像的光照属性并提取输入图像的光照无关的纹理信息,从而将光照无关的3D人脸完全重构出来,生成输入人脸图像在标准姿态和光照条件下的虚拟视图,用于最终的分类识别,实现了对光照和姿态问题的同时处理.在CMU PIE数据库上的实验结果表明,此方法可以在很大程度上提高现有人脸识别方法对于原型集合(gallery)和测试集合中图像在姿态和光照不一致情况下识别结果的正确性     

UV空间中的人脸颜色纹理和几何细节协同补全

当图像中的人脸存在较大角度的偏转时,由于自身遮挡,单幅图像3D人脸重建方法较难获取整张人脸的纹理和几何细节.考虑人脸纹理特征分布和几何细节的特征分布的双向关联特性,提出一种统一框架下的协同补全模型TDGAN.首先,将颜色纹理和几何细节映射到同一UV空间;然后,通过统一的生成对抗网络协同补全纹理与几何,并对这2部分信息分别设计全局与局部判别器,以实现纹理和几何的全局与局部一致性;最后,为了充分利用颜色纹理和几何细节共有特征,增加了一个纹理-几何一致性约束网络,从而得到高完整度和高一致性的颜色纹理与几何细节UV图.在当前最大3D人脸数据集FaceScape的实验表明,TDGAN比独立的UV空间补全方法能得到更高质量的补全结果.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

基于样例学习的任意光照下的人脸3D重建方法

待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学习方式的3D人脸形状重建方法,既可以生成任意光照条件下的数据库中人脸图像,也可以对待识别图像进行重新光照,合成无阴影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息,并用多面体模型在最小二乘意义下恢复其3D信息并更新法向量场以克服阴影误差,从而可以利用计算机图形学的方法合成任意光照条件下和小角度姿态改变时的人脸图像;在识别时采用数据库中3D数据的线性组合形式对输入图像建模,以估计其3D信息,从而可以重新照明。在YaleB人脸数据库上的实验表明,在建立3D人脸数据库后,该方法可以快速恢复输入单幅图像中人脸的3D信息,并生成任意光照条件的该人脸图像。     

一种人脸标准光照图像的线性重构方法

基于相同光照下不同人脸图像与其标准光照图像之间的稳定关系,文中提出一种人脸标准光照图像重构方法。首先,为消除人脸结构影响,引入人脸三维变形,实现图像像素级对齐。其次,根据图像明暗变化,给出一种基于图像分块的光照分类方法。最后,对于形状对齐后的不同光照类别样本,训练出基于子空间的线性重构模型。该方法有效避免传统预处理方法带来的重构图像纹理丢失和子空间方法引起的图像失真。Extended Yale B数据库上实验表明,该方法对图像真实度与人脸识别率的提升,也验证文中人脸对齐和光照分类方法的有效性。     

未知光源参数的人脸光照恢复方法

数字人像技术在实际应用中有广泛的应用前景．在未知光源位置的非均匀光照射下的人脸光照归一化问题是人脸识别技术的一大难题．对在未知光源位置的非均匀光照射下的正面人脸图像提出了一种基于参考人脸模型的方法．它使用参考人脸模型估计人脸的光照阴影区域,把人脸的纹理表示为训练图像模型的线性组合,根据人脸光照明亮区域的纹理信息,使用最小二乘法估计出最优的线性组合系数,从而重建原图像人脸纹理实现人脸光照恢复．实验表明这种方法对于阴影处的人脸信息恢复不仅是有效的而且是快速的．     

基于相关型图像传感器3维人脸成像的3维AAMs人脸识别方法的研究

主动外观模型是基于统计分析建立物体2维模型的有效方法,它融合了目标的形状和纹理信息。在基于相关型图像传感器3维人脸成像的基础上,提出了一种建立3维人脸模型的方法,该方法利用由相关型图像传感器得到的深度信息和与之对应的亮度信息将2维AAMs扩展为3维AAMs,融合人脸的形状,纹理和深度信息来构建3维人脸模型。人脸识别实验结果表明,该方法在不同人脸姿态,表情和光照条件下识别效果要优于Eigenface和2维AAMs。     

面向应用的个性化3D人脸模型快速生成技术

真实感3D人脸模型生成技术是计算机图形领域研究的热点问题之一,但已有的相关方法存在真实感差、算法复杂度高、局限性多、实用性弱等问题．在分析3D人脸模型姿态矫正和模型变换方法基础上,研究基于一张人脸正面图像和普通3D人脸模型、采用关键特征点匹配和真实感纹理映射方法构建个性化3D人脸模型的方法,最后利用基于C＋＋和OpenGL实现的原型系统进行实验分析．实验结果表明该方法计算简单、建模效率高,且适用于影视特效制作、3D网络游戏、医学美容等领域．     

基于 Candide 模型的人脸深度信息生成技术研究

目前通过2D 转3D 技术转换的3D 电影场景中,绝大部分关于人脸的深度信息生成都不令人满意:深度值不准确、立体效果差.文中为解决特定二维人脸图像转换为三维人脸图像提供了一个比较简单有效的方法.首先,应用 Candide模型作为通用的3D 人脸模型,然后对通用模型调整控制点进行全局变换和局部变换,通过三维模型与人脸最大限度的匹配得到特定人脸三维网格模型.对网格模型采用顶点规则化和 NURBS 曲面拟合方法获得光滑的模型表面使其逼近人脸,最后生成准确的人脸深度信息     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

基于三维建模的眼镜遮挡下人脸识别

眼镜作为人脸特征的不稳定性是眼镜遮挡人脸识别的主要问题。为避免现有方法消除不稳定眼镜特征时带来的人脸特征丢失,将眼镜视为人脸固有部分,提出一种基于三维建模生成人脸虚拟样本补偿眼镜不稳定性的方法。三维建模方便眼镜模型参数的调节。通过调节眼镜参数,具体分析眼镜不同部分对人脸识别的影响,同时,针对影响严重的镜片模糊和反光,均做相应处理。CAL-PEAL的实验表明本文方法对识别性能的大幅度改善,并验证镜片处理的有效性。     

三维人脸识别研究综述

近二十多年来,虽然基于图像的人脸识别已取得很大进展,并可在约束环境下获得很好的识别性能,但仍受光照、姿态、表情等变化的影响很大,其本质原因在于图像是三维物体在二维空间的简约投影.因此,利用脸部曲面的显式三维表达进行人脸识别正成为近几年学术界的研究热点.文中分析了三维人脸识别的产生动机、概念与基本过程;根据特征形式,将三维人脸识别算法分为基于空域直接匹配、基于局部特征匹配、基于整体特征匹配三大类进行综述;对二维和三维的双模态融合方法进行分类阐述;列出了部分代表性的三维人脸数据库;对部分方法进行实验比较,并分析了方法有效性的原因;总结了目前三维人脸识别技术的优势与困难,并探讨了未来的研究趋势.     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

单幅人脸图像的全景纹理图生成方法

目的针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果实验与当前最新方法进行了比较,在Celeb A-HQ和LFW(labled faces in the wild)数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比(peak signal to noise ratio,PSNR)和全局结构相似性(structural similarity index,SSIM)分别提高了7.9 d B和0.088,局部PSNR和局部SSIM分别提高了2.8 d B和0...     

二维Gabor特征与三维NP-3DHOG特征融合的人脸识别算法

基于二维图像的人脸识别算法提取人脸纹理特征进行识别,但是光照、表情、人脸姿态等会对其产生不利影响。三维人脸特征能更精确地描述人脸的几何结构,并且不易受化妆和光照的影响,但只采用三维人脸数据进行人脸识别又缺少人脸纹理信息,因此文中将二维人脸特征与三维人脸特征相融合进行人脸识别。采用基于Gabor变换的二维特征与基于新的分块策略的三维梯度直方图特征相融合的算法进行人脸识别。首先,提取二维人脸的Gabor特征;然后,提取三维人脸基于新的分块策略的三维梯度直方图特征,旨在提取人脸的可辨别性特征;接下来,对二维人脸特征与三维人脸特征分别使用线性判别分析子空间算法进行训练,并使用加法原则融合两种特征的相似度矩阵;最后,输出识别结果。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于HMM的单样本可变光照、姿态人脸识别

提出了一种基于HMM的单样本可变光照、姿态人脸识别算法.该算法首先利用人工配准的训练集对单张正面人脸输入图像与Candide3模型进行自动配准,在配准的基础上重建特定人脸三维模型.对重建模型进行各种角度的旋转可得到姿态不同的数字人脸,然后利用球面谐波基图像调整数字人脸的光照系数可产生光照不同的数字人脸.将产生的光照、姿态不同的数字人脸同原始样本图像一起作为训练数据,为每个用户建立其独立的人脸隐马尔可夫模型.将所提算法对现有人脸库进行识别,并与基于光照补偿和姿态校正的识别方法进行比较.结果显示,该算法能有效避免光照补偿、姿态校正方法因对某些光照、姿态校正不理想而造成的识别率低的情况,能更好地适应光照、姿态不同条件下的人脸识别.     

Efficient 3D reconstruction for face recognition

Face recognition with variant pose, illumination and expression (PIE) is a challenging problem. In this paper, we propose an analysis-by-synthesis framework for face recognition with variant PIE. First, an efficient two-dimensional (2D)-to-three-dimensional (3D) integrated face reconstruction approach is introduced to reconstruct a personalized 3D face model from a single frontal face image with neutral expression and normal illumination. Then, realistic virtual faces with different PIE are synthesized based on the personalized 3D face to characterize the face subspace. Finally, face recognition is conducted based on these representative virtual faces. Compared with other related work, this framework has following advantages: (1) only one single frontal face is required for face recognition, which avoids the burdensome enrollment work; (2) the synthesized face samples provide the capability to conduct recognition under difficult conditions like complex PIE; and (3) compared with other 3D reconstruction approaches, our proposed 2D-to-3D integrated face reconstruction approach is fully automatic and more efficient. The extensive experimental results show that the synthesized virtual faces significantly improve the accuracy of face recognition with changing PIE.