基于单张照片的三维人脸重建优化算法

传统人脸三维重建算法难以确定人脸形状,并且计算复杂。针对此问题,提出一种以水平集方法获取人脸轮廓并结合明暗恢复形状(SFS)算法重建三维模型的方法,该方法仅需单张正面人脸照片。首先采用主动形状模型确定人脸轮廓,将其作为水平集的初始演化曲线,分割出完整的人脸形状;然后对人脸区域进行灰度变换,求出灰度图像;最后通过SFS算法重建已知光照条件的人脸图像的三维模型,将该模型作为参考与灰度图像匹配,进而确定其光照条件和三维模型。实验结果表明,与基于网格模型的算法相比,该方法可快速地重建具有完整形状的人脸模型。     

基于人脸部件掩膜的自监督三维人脸重建

三维人脸重建旨在从二维人脸图片中恢复出三维人脸模型。自监督三维人脸重建能够缓解三维人脸数据缺乏的问题,因此成为了近年来的研究热点。现有的自监督方法通常聚焦于使用全局监督信号,对人脸的局部细节关注不足。为了更好地恢复出细节生动的精细化三维人脸,提出了一种基于人脸部件掩膜的精细化三维人脸重建方法,该方法在不需要任何三维人脸标注的情况下,可以重建出精细化三维人脸。其主要思想是在二维图片一致性损失、图片深层感知损失等基本损失函数上,通过人脸部件掩膜,给予人脸区域精细化约束,并对人脸部件掩膜进行自监督约束,从而提高重建的三维人脸局部的准确性。在AFLW2000-3D和MICC Florence数据集上进行了定性以及定量实验,验证了所提方法的有效性和优越性。     

基于特征点的三维人脸形变模型

针对传统三维人脸形变模型效率低的不足,提出了一个基于特征点的线性人脸形变模型.首先,提出一种基于平面模板的对应方法,自动地实现了三维人脸的稠密点对应,建立了人脸线性模型.然后,提出一个基于动态成分的线性形变模型,选择与目标人脸最相关的主成分作为形变模型的基空间.最后,采用一个全局与局部双重形变框架来完成人脸形状建模.实验结果表明,该方法能够获得较好的建模精度,可以通过真实照片上的少量特征点生成逼真的三维人脸模型.     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于单张影像的月面三维仿真

根据阴影恢复形状原理,提出一种基于单张影像的快速月面三维建模和光照模拟方法。利用单张2D影像中残留的3D线索——灰度信息,通过SFS方法对月面三维形貌进行快速重建,采用改进的Hapke光照模型对重建后的三维形貌进行渲染。实验结果证明,在精度允许范围内,该方法能快速地实现对月面三维形貌的提取和仿真。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于形变模型的三维人脸重建方法及其改进

形变模型（morphable model）是近几年出现的三维人脸建模新方法．该方法使用原型人脸的组合表示新的人脸，对于特定人脸图像，通过模型匹配实现了三维人脸的自动重建．虽然形变模型具有自动化、真实感好等优点，但现有形变模型的建立依赖于不稳定的人脸图像对应光流算法，模型匹配只考虑了一般光照环境下的人脸重建问题，且建模计算量大．针对以上问题，文章对形变模型进行了改进：提出了网格重采样的方法，实现了模型人脸数据的精确对应；建立了多分辨率的三维人脸模型；在模型匹配过程中采用了多光源光照模型，使模型可适用于复杂光照环境下的人脸重建．实验结果表明，上述改进可以有效提高模型匹配的效率和准确性以及模型对光照的适应性．     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于压缩感知理论的3维人脸快速重建

形变模型是当前人脸重建研究中的一种主要方法。针对形变模型方法中模型构建的缺陷,提出一种基于压缩感知理论的快速三维人脸重建方法。首先,利用压缩感知理论估计三维原型人脸与目标人脸的形状相似性,根据相似性对原型样本进行筛选并构建相应的形变模型,提高建模精度和效率;然后,利用特征点信息进行稀疏模型匹配,并结合径向基函数插值重建生成特定的三维人脸,提高重建表面的平滑性。在BJUT三维数据库和CAS_PEAL二维数据库上的实验结果表明,与经典方法相比,本文方法能够有效地提高重建精度和速度,重建人脸具有较强真实感。     

基于形变模型的多视图三维人脸重建

本文提出了基于形变模型的多视图三维人脸重建方法,将人脸形变模型与同一人脸在不同视点下的多幅图像进行匹配,从而重建出具有较强真实感的三维人脸模型。本文将对基于形变模型的多视图三维人脸重建方法进行详细的阐述,并把实验结果与单视图重建出的三维人脸模型进行了对比,从而体现出多视图重建的优势所在。     

Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network

3D face reconstruction is an efficient method for pedestrian recognition in non-cooperative environment because of its outstanding performance in robust face recognition for uncontrolled pose and illumination changes. Visual sensor network is widely used in target surveillance as powerful unattended distributed measurement systems. This paper proposes a collaborative multi-view non-cooperative 3D face reconstruction method in visual sensor network. A peer-to-peer paradigm-based visual sensor network is employed for distributed pedestrian tracking and optimal face image acquisition. Gaussian probability distribution-based multi-view data fusion is used for target localization, and kalman filter is applied for target tracking. A lightweight face image quality evaluation method is presented to search optimal face images. A self-adaptive morphable model is designed for multiview 3D face reconstruction. To adjust the self-adaptive morphable model, the optimal face images and their poses estimation are used. Cooperative chaotic particle swarm optimization is employed for parameters optimization of the self-adaptive morphable model. Experimental results on real data show that the proposed method can acquire optimal face images and achieve non-cooperative 3D reconstruction efficiently.     

基于形变模型的多角度三维人脸实时重建

摘 要：采用人脸特征点调整三维形变模型的方法应用于面部三维重建,但模型形变的计 算往往会产生误差,且耗时较长。因此运用人脸二维特征点对通用三维形变模型的拟合方法进 行改进,提出了一种视频流的多角度实时三维人脸重建方法。首先利用带有三层卷积网络的 CLNF 算法识别二维特征点,并跟踪特征点位置;然后由五官特征点位置估计头部姿态,更新 模型的表情系数,其结果再作用于 PCA 形状系数,促使当前三维模型发生形变;最后采用 ISOMAP 算法提取网格纹理信息,进行纹理融合形成特定人脸模型。实验结果表明,该方法在 人脸重建过程中具有更好的实时性能,且精确度有所提高。     

Reconstructing 3D Shape,Albedo and Illumination from a Single Face Image

The morphable model has been employed to efficiently describe 3D face shape and the associated albedo with a reduced set of basis vectors. The spherical harmonics (SH) model provides a compact basis to well approximate the image appearance of a Lambertian object under different illumination conditions. Recently, the SH and morphable models have been integrated for 3D face shape reconstruction. However, the reconstructed 3D shape is either inconsistent with the SH bases or obtained just from landmarks only. In this work, we propose a geometrically consistent algorithm to reconstruct the 3D face shape and the associated albedo from a single face image iteratively by combining the morphable model and the SH model. The reconstructed 3D face geometry can uniquely determine the SH bases, therefore the optimal 3D face model can be obtained by minimizing the error between the input face image and a linear combination of the associated SH bases. In this way, we are able to preserve the consistency between the 3D geometry and the SH model, thus refining the 3D shape reconstruction recursively. Furthermore, we present a novel approach to recover the illumination condition from the estimated weighting vector for the SH bases in a constrained optimization formulation independent of the 3D geometry. Experimental results show the effectiveness and accuracy of the proposed face reconstruction and illumination estimation algorithm under different face poses and multiple‐light‐source illumination conditions.     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

结合特征适配与拉普拉斯形变的3维人脸重建

目的 数字娱乐产业的发展要求3维人脸重建技术能重建高分辨率3维人脸,并具有较高计算效率和重建准确性。针对这一情况,提出一种基于单幅图像的高分辨率3维人脸重建方法。方法 该方法包含特征适配与拉普拉斯形变两部分。预先用1组3维人脸样本上的3维特征构造可变形模型。给定图像时,从其上自动提取2维特征点,并根据获得问题最优解的必要条件进行特征适配以重建个性化3维特征;然后基于拉普拉斯方法,用该3维特征对一般人脸模型进行变形以获得特定高分辨率3维人脸;最后通过纹理合成获得真实感人脸。结果 用本文方法和已有方法分别进行可变形模型适配和模型变形,本文的特征适配方法具有更快的收敛速度和更高的准确性,拉普拉斯方法具有更小的重建误差。纹理映射后的3维人脸具有很好的视觉效果。结论 本文方法将特征适配与拉普拉斯形变结合起来进行高分辨率3维人脸重建。实验结果表明所提出的方法具有较高的计算效率和准确性,能实现较为理想的高分辨率3维人脸重建。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.