基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

从视频中恢复三维人脸的实时方法

三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而且可有效跟踪人脸各种姿态的变化.     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于形变模型的三维人脸重建方法及其改进

形变模型（morphable model）是近几年出现的三维人脸建模新方法．该方法使用原型人脸的组合表示新的人脸,对于特定人脸图像,通过模型匹配实现了三维人脸的自动重建．虽然形变模型具有自动化、真实感好等优点,但现有形变模型的建立依赖于不稳定的人脸图像对应光流算法,模型匹配只考虑了一般光照环境下的人脸重建问题,且建模计算量大．针对以上问题,文章对形变模型进行了改进：提出了网格重采样的方法,实现了模型人脸数据的精确对应;建立了多分辨率的三维人脸模型;在模型匹配过程中采用了多光源光照模型,使模型可适用于复杂光照环境下的人脸重建．实验结果表明,上述改进可以有效提高模型匹配的效率和准确性以及模型对光照的适应性．     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

基于特征点的三维人脸形变模型

针对传统三维人脸形变模型效率低的不足,提出了一个基于特征点的线性人脸形变模型.首先,提出一种基于平面模板的对应方法,自动地实现了三维人脸的稠密点对应,建立了人脸线性模型.然后,提出一个基于动态成分的线性形变模型,选择与目标人脸最相关的主成分作为形变模型的基空间.最后,采用一个全局与局部双重形变框架来完成人脸形状建模.实验结果表明,该方法能够获得较好的建模精度,可以通过真实照片上的少量特征点生成逼真的三维人脸模型.     

形状约束的三维人脸组件形变模型

传统的三维人脸形变模型是通过对大量的三维人脸数据进行学习,构建描述人脸三维形状和纹理的参数模型,通过模型优化完成对二维人脸图像的三维重构。但是,实际中大量的训练样本是很难获得的,这导致形变模型描述能力的不完善,制约了它的应用。如将整个人脸看成由若干个组件组合而成,则在样本数不变的情况下降低了描述空间的维数,提高了模型的描述能力。但是在重构人脸图像时必须解决组件间三维空间的重叠合并,并且随着组件数目的增加,模型参数也随之增加,所以对优化算法也提出了更高的要求。为了解决形变模型的这些困难,提出了一种全局模型和组件模型的折中算法,即在形状上保持全局约束而纹理上进行组件匹配,从而在算法性能和算法复杂度之间获得了一个有效的平衡。     

基于形变模型的多视图三维人脸重建

本文提出了基于形变模型的多视图三维人脸重建方法,将人脸形变模型与同一人脸在不同视点下的多幅图像进行匹配,从而重建出具有较强真实感的三维人脸模型。本文将对基于形变模型的多视图三维人脸重建方法进行详细的阐述,并把实验结果与单视图重建出的三维人脸模型进行了对比,从而体现出多视图重建的优势所在。     

基于平面曲面化的三维人脸建模方法

通过一幅正面人脸照片或者两副正交人脸照片得到人脸的参数,采用基于照片的特征点及轮廓参数提取的方法建立与原型三维人脸模型之间的匹配对齐,应用MPEG-4中定义的三维人脸参数,驱动三维模型生成真实感人脸,提出了一种平面曲面化人脸形变模型.结果证实该方法计算量大大减少,该方法不仅可以进行有效的真实感三维人脸建模,而且变形简单流畅,具有广阔的应用前景.     

基于实拍图像的人脸真实感重建

给出了基于实拍人脸图像的三维逼真人脸模型的重建算法,该算法首先在两幅人脸图像上交互标识特征点对和输入摄像机的广角参数来实现摄像机定标,进而匹配出两幅人脸图像上的其它对应点,实现模型的三维重建,作者用半自动垭达到匹配目的。用手工编辑建立的二维对应网格,得到初始人脸外开和鲁棒的最大拟然立体虎法自动匹配出稠密的对应点,重建出表示人脸的散乱三维数据点团;最后利用这些稠密的三维数据点去迭代矫正和自适应细分手     

基于单张人脸图像三维形状模型重建

在人脸图像识别优化的研究中,针对由单张人脸图像重建三维模型时对人脸图像姿态存在要求的问题,为了提高识别精度,提出基于单张人脸图像姿态预估计和主成分分析(PCA)的形状模型重建算法.首先由三维姿态估计方法得到人脸姿态,并建立人脸形状模型样本库,然后通过选取的特征点,利用主成分分析进行三维人脸形状模型的重构,最后利用径向基函数(RBF)变换和特征点坐标精确调整三维人脸形状模型,并进行仿真.仿真结果表明,重构的三维人脸形状模型效果良好,提高了精度,对有旋转姿态的人脸图像和特征点定位误差也有很好的鲁棒性.     

基于散斑结构光编码的三维人脸重建方法研究

三维人脸信息获取通过三维相机和三维人脸重建算法进行三维人脸建模。真实环境中三维重建方法往往存在匹配误差较高、表面粗糙等问题。针对三维人脸重建中的问题设计一套三维人脸重建算法用以提高三维重建效果,通过向人脸投射散斑图案增强人脸纹理,改进ZNCC算法生成平滑的三维人脸模型。通过仿真实验验证了该算法可以得到较高精度的平滑三维人脸模型。     

基于正面照的自适应三维头部网格模型研究

研究三维头部建模问题.针对以软件导出的三维头部模型作为标准模型受到数据量多、结构复杂的影响,对不同人脸进行匹配时需要进行数据简化操作,造成工作量大、可控性差且应用受限等问题,提出一个简单的能适应于不同人脸的三维头部模型.根据Candide-3模型提供的人脸三维信息,通过增加耳朵特征和后脑曲面模型,使用127个控制点建立了标准三维头部模型,然后配合人脸特征点信息和局部调整原理建立了与输人人脸图像相仿的三维头部模型.实验结果表明,建立的三维头部模型顶点少且具有较强真实感,可根据输入人脸图像的不同相应地产生与图像人脸相仿的形变模型,具有较好的适应性和广泛的应用价值.     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

真实感3D人脸快速建模研究*

现有的三维人脸建模方法存在三点不足：建模条件苛刻、建模精度不高和建模时间长。针对以上不足,提出明暗恢复形状（SFS）和局部形变模型融合的3D人脸建模方法。该方法利用SFS快速恢复3D人脸粗糙数据,得到3D轮廓脸;然后分别对人脸不同局部应用形变模型恢复其局部3D精确数据,并使用其对轮廓脸进行内插平滑处理重建出高精度3D人脸模型。实验结果表明：该方法能够获得较好的建模精度,在短时间内可以通过单幅真实图像重建出个性化的三维人脸模型。     

利用双线性分析的三维人脸表情模拟技术

具有真实感的三维人脸表情合成是计算机应用领域的一个热点问题.提出一种基于双线性分析的三维人脸表情生成方法.在对人脸数据进行分区域统计分析的基础上,建立了表情与身份相独立的双线性统计模型.设计了该模型的肌肉驱动方法,通过肌肉参数来驱动相应表情统计参数变化来生成丰富表情.对于输入的特定二维或三维人脸,利用形变模型(Morphable Model), 可自动实现其模型匹配.实验结果表明,该方法能够模拟各种具有较高真实感的人脸表情.