结合特征适配与拉普拉斯形变的3维人脸重建

目的 数字娱乐产业的发展要求3维人脸重建技术能重建高分辨率3维人脸,并具有较高计算效率和重建准确性。针对这一情况,提出一种基于单幅图像的高分辨率3维人脸重建方法。方法 该方法包含特征适配与拉普拉斯形变两部分。预先用1组3维人脸样本上的3维特征构造可变形模型。给定图像时,从其上自动提取2维特征点,并根据获得问题最优解的必要条件进行特征适配以重建个性化3维特征;然后基于拉普拉斯方法,用该3维特征对一般人脸模型进行变形以获得特定高分辨率3维人脸;最后通过纹理合成获得真实感人脸。结果 用本文方法和已有方法分别进行可变形模型适配和模型变形,本文的特征适配方法具有更快的收敛速度和更高的准确性,拉普拉斯方法具有更小的重建误差。纹理映射后的3维人脸具有很好的视觉效果。结论 本文方法将特征适配与拉普拉斯形变结合起来进行高分辨率3维人脸重建。实验结果表明所提出的方法具有较高的计算效率和准确性,能实现较为理想的高分辨率3维人脸重建。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于编解码网络的人脸对齐和重建算法

针对现有的三维人脸重建模型复杂度较高和对多种人脸姿态重建效果不佳的问题, 本文提出了一种可以在不同人脸姿态条件下, 有效地实现人脸对齐并从单张二维人脸图片重建出三维人脸的卷积神经网络. 首先设计了由密集卷积网络模块和转置卷积模块构成的编解码网络, 并在损失函数中引入图像结构相似度评价, 构造新的损失函数, 通过训练神经网络得出模型, 模型实现了人脸对齐和三维人脸重建任务. 在AFLW2000-3D数据集上验证性能,实验表明该网络有效提升了人脸对齐和人脸重建的效果.     

基于压缩感知理论的3维人脸快速重建

形变模型是当前人脸重建研究中的一种主要方法。针对形变模型方法中模型构建的缺陷,提出一种基于压缩感知理论的快速三维人脸重建方法。首先,利用压缩感知理论估计三维原型人脸与目标人脸的形状相似性,根据相似性对原型样本进行筛选并构建相应的形变模型,提高建模精度和效率;然后,利用特征点信息进行稀疏模型匹配,并结合径向基函数插值重建生成特定的三维人脸,提高重建表面的平滑性。在BJUT三维数据库和CAS_PEAL二维数据库上的实验结果表明,与经典方法相比,本文方法能够有效地提高重建精度和速度,重建人脸具有较强真实感。     

基于单幅正面照片的三维人脸重建方法

三维人脸重建算法需要多张照片实现重建且重建效率低下。针对上述问题,提出一种利用单幅正面照片重建三维人脸的方法。采用薄板样条函数对数据库中的三维人脸确立点对点的对应关系,建立平均三维人脸模型,利用LMA算法优化形状系数以恢复其三维形状,人脸颜色纹理信息可通过垂直投影得到。实验结果表明,利用该方法重建得到的三维人脸逼真且时间效率高。     

基于三维人脸建模的多姿态人脸识别

待匹配人脸图像与原始图像存在姿态和光照的差异,是自动人脸识别的两个主要瓶颈问题.给出了采用三维人脸模型来解决人脸姿态的变化对人脸识别的影响问题.通过正侧面图像,利用B样条曲线与径向基函数相结合的方法进行三维人脸重建,生成三维人脸模型库.分别计算待匹配人脸图像的3个自由度,快速估计出人脸的姿态;结合待匹配人脸图像的姿态参数及三维人脸模型库,获得与待匹配图像相同姿态的三维人脸模型库中的二维人脸图像.最后完成了相同人脸姿态的二维人脸识别.实验结果证明,该方法无需复杂的设备、简单易行、识别时间短,是一种非常实用的解决人脸姿态问题的识别方法.     

基于Candide-3模型的姿态表情人脸识别研究

针对姿态表情严重影响人脸识别准确率的问题,基于Candide-3模型的简化,提出了形状表情关键点拟合的人脸几何结构重建和基于三角网格模型的纹理映射的方法,该方法确定关键特征点,根据人脸的几何结构信息确定姿态角,提取Candide-3模型形状表情对应点,调整模型参数,进行几何结构重建;对几何结构中每个三角网格模型进行纹理影射,得到逼真的特定人脸模型.实验结果表明,该方法提高了人脸重建速度,达到减弱姿态表情对人脸识别影响的目的.     

联合局部约束的邻域嵌入人脸超分辨率重建

目的 现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构,而忽略了原始高分辨率图像的流形几何结构,不能很好的反映高低分辨率图像流形几何结构的关系。此外,其对同一幅图像中的不同图像块选取固定数目的最近邻域图像块,从而导致重建质量的下降。为了充分利用原始高分辨率图像空间的几何结构信息,提出基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法。方法 该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束,形成约束低分辨率图像块的重构权重,并利用该重构权重估计出高分辨率的人脸图像,同时引入自适应邻域选择的方法。结果 在CAS-PEAL-R1人脸库上的实验结果表明,相较于传统的基于邻域嵌入的人脸超分辨率重建方法,本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法,在PSNR和SSIM上分别提升了0.63 dB和0.01;相较于LcR重建方法,在PSNR和SSIM上分别提升了0.36 dB和0.003 2;相较于TRNR重建方法,在PSNR和SSIM上分别提升了0.33 dB和0.001 1。结论 本文所提的重建方法在现有人脸数据库上进行实验,在主观视觉和客观评价指标上均取得了较好的结果,可进一步适用于现实监控视频中人脸图像的高分辨率重建。     

基于人脸部件掩膜的自监督三维人脸重建

三维人脸重建旨在从二维人脸图片中恢复出三维人脸模型。自监督三维人脸重建能够缓解三维人脸数据缺乏的问题,因此成为了近年来的研究热点。现有的自监督方法通常聚焦于使用全局监督信号,对人脸的局部细节关注不足。为了更好地恢复出细节生动的精细化三维人脸,提出了一种基于人脸部件掩膜的精细化三维人脸重建方法,该方法在不需要任何三维人脸标注的情况下,可以重建出精细化三维人脸。其主要思想是在二维图片一致性损失、图片深层感知损失等基本损失函数上,通过人脸部件掩膜,给予人脸区域精细化约束,并对人脸部件掩膜进行自监督约束,从而提高重建的三维人脸局部的准确性。在AFLW2000-3D和MICC Florence数据集上进行了定性以及定量实验,验证了所提方法的有效性和优越性。     

面向单幅图像的逼真3D人脸重建方法EI北大核心CSCD

针对3DMM参数拟合方法生成的纹理过于粗糙、结果不够逼真的问题,提出一种基于深度学习的单幅图像逼真3D人脸重建方法.首先构建RP-Net回归网络和包含5万幅人脸图像的数据集,从输入图像中学习参数,并拟合人脸模型生成3D人脸几何;然后通过构造多层次的损失函数进行弱监督学习,包括低水平的像素损失、地标损失和高水平的身份损失;最后通过纹理映射的方式生成逼真的人脸纹理.在2个通用人脸数据集和1个人工生成的人脸数据集上与最近的3D人脸重建方法进行对比实验,并对影响重建的光照、表情和转向等因素进行实验,根据SSIM和PSNR对3D重建结果进行量化分析.实验结果表明,所提方法面向单幅图像可以生成准确的3D人脸形状和逼真的人脸纹理;与最近的3D人脸重建方法相比,该方法的训练时间和迭代次数分别降低了6%和13%,SSIM值增加0.005~0.010,PSNR值平均提高0.03~0.08 dB.     

基于多视角的高精度三维人脸重建

提出了一种多阶段优化的方法来解决基于多视角图片在未知姿态、表情以及光照条件下的高精度三维人脸重建问题.首先,通过重新渲染合成的方法将参数化模型拟合到输入的多视角图片,然后在纹理域上求解一个光流问题来获取不同视角之间的对应关系.通过对应关系可以恢复出人脸的点云,并利用基于明暗恢复几何的方法来恢复人脸细节.在真实数据以及合成数据下的实验结果表明,文中方法能够恢复出带有几何细节的高精度的三维人脸模型,并且提高了现有方法的重建精度.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

Constructing Facial Identity Surfaces for Recognition

We present a novel approach to face recognition by constructing facial identity structures across views and over time, referred to as identity surfaces, in a Kernel Discriminant Analysis (KDA) feature space. This approach is aimed at addressing three challenging problems in face recognition: modelling faces across multiple views, extracting non-linear discriminatory features, and recognising faces over time. First, a multi-view face model is designed which can be automatically fitted to face images and sequences to extract the normalised facial texture patterns. This model is capable of dealing with faces with large pose variation. Second, KDA is developed to compute the most significant non-linear basis vectors with the intention of maximising the between-class variance and minimising the within-class variance. We applied KDA to the problem of multi-view face recognition, and a significant improvement has been achieved in reliability and accuracy. Third, identity surfaces are constructed in a pose-parameterised discriminatory feature space. Dynamic face recognition is then performed by matching the object trajectory computed from a video input and model trajectories constructed on the identity surfaces. These two types of trajectories encode the spatio-temporal dynamics of moving faces.     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

多视角级联回归模型人脸特征点定位

针对人脸姿态偏转较大导致人脸特征点定位精度低的问题，提出了多视角人脸特征点定位算法，采用随机森林局部学习与全局线性回归相结合的级联姿态回归（Cascaded Pose Regression，CPR）人脸特征点定位模型，在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。首先采用CPR模型对不同视角下的人脸建立不同的模型；然后采用多视角生成模型（Multi-View Generative Model，MVGM）来评估输入人脸图片的姿态；最后根据评估的姿态选择相对应的模型，进而实现特征点的精确定位。仿真实验结果表明，相比于现有的几种人脸特征点定位算法，所提算法实现了更精确的定位效果。     

Multi-view face recognition based on tensor subspace analysis and view manifold modeling

This paper aims to address the face recognition problem with a wide variety of views. We proposed a tensor subspace analysis and view manifold modeling based multi-view face recognition algorithm by improving the TensorFace based one. Tensor subspace analysis is applied to separate the identity and view information of multi-view face images. To model the nonlinearity in view subspace, a novel view manifold is introduced to TensorFace. Thus, a uniform multi-view face model is achieved to deal with the linearity in identity subspace as well as the nonlinearity in view subspace. Meanwhile, a parameter estimation algorithm is developed to solve the view and identity factors automatically. The new face model yields improved facial recognition rates against the traditional TensorFace based method.     

New algorithm for 3D facial model reconstruction and its application in virtual reality

3D human face model reconstruction is essential to the generation of facial animations that is widely used in the field of virtual reality (VR). The main issues of 3D facial model reconstruction based on images by vision technologies are in twofold: one is to select and match the corresponding features of face from two images with minimal interaction and the other is to generate the realistic-looking human face model. In this paper, a new algorithm for realistic-looking face reconstruction is presented based on stereo vision. Firstly, a pattern is printed and attached to a planar surface for camera calibration, and corners generation and corners matching between two images are performed by integrating modified image pyramid Lucas-Kanade (PLK) algorithm and local adjustment algorithm, and then 3D coordinates of corners are obtained by 3D reconstruction. Individual face model is generated by the deformation of general 3D model and interpolation of the features. Finally, realistic-looking human face model     

Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network

3D face reconstruction is an efficient method for pedestrian recognition in non-cooperative environment because of its outstanding performance in robust face recognition for uncontrolled pose and illumination changes. Visual sensor network is widely used in target surveillance as powerful unattended distributed measurement systems. This paper proposes a collaborative multi-view non-cooperative 3D face reconstruction method in visual sensor network. A peer-to-peer paradigm-based visual sensor network is employed for distributed pedestrian tracking and optimal face image acquisition. Gaussian probability distribution-based multi-view data fusion is used for target localization, and kalman filter is applied for target tracking. A lightweight face image quality evaluation method is presented to search optimal face images. A self-adaptive morphable model is designed for multiview 3D face reconstruction. To adjust the self-adaptive morphable model, the optimal face images and their poses estimation are used. Cooperative chaotic particle swarm optimization is employed for parameters optimization of the self-adaptive morphable model. Experimental results on real data show that the proposed method can acquire optimal face images and achieve non-cooperative 3D reconstruction efficiently.     

Multi‐View Stereo on Consistent Face Topology

We present a multi‐view stereo reconstruction technique that directly produces a complete high‐fidelity head model with consistent facial mesh topology. While existing techniques decouple shape estimation and facial tracking, our framework jointly optimizes for stereo constraints and consistent mesh parameterization. Our method is therefore free from drift and fully parallelizable for dynamic facial performance capture. We produce highly detailed facial geometries with artist‐quality UV parameterization, including secondary elements such as eyeballs, mouth pockets, nostrils, and the back of the head. Our approach consists of deforming a common template model to match multi‐view input images of the subject, while satisfying cross‐view, cross‐subject, and cross‐pose consistencies using a combination of 2D landmark detection, optical flow, and surface and volumetric Laplacian regularization. Since the flow is never computed between frames, our method is trivially parallelized by processing each frame independently. Accurate rigid head pose is extracted using a PCA‐based dimension reduction and denoising scheme. We demonstrate high‐fidelity performance capture results with challenging head motion and complex facial expressions around eye and mouth regions. While the quality of our results is on par with the current state‐of‐the‐art, our approach can be fully parallelized, does not suffer from drift, and produces face models with production‐quality mesh topologies.     

面向非受控场景的人脸图像正面化重建

目的 人脸正面化重建是当前视觉领域的热点问题。现有方法对于模型的训练数据具有较高的需求,如精确的输入输出图像配准、完备的人脸先验信息等。但该类数据采集成本较高,可应用的数据集规模较小,直接将现有方法应用于真实的非受控场景中往往难以取得理想表现。针对上述问题,提出了一种无图像配准和先验信息依赖的任意视角人脸图像正面化重建方法。方法 首先提出了一种具有双输入路径的人脸编码网络,分别用于学习输入人脸的视觉表征信息以及人脸的语义表征信息,两者联合构造出更加完备的人脸表征模型。随后建立了一种多类别表征融合的解码网络,通过以视觉表征为基础、以语义表征为引导的方式对两种表征信息进行融合,融合后的信息经过图像解码即可得到最终的正面化人脸图像重建结果。结果 首先在Multi-PIE(multi-pose, illumination and expression)数据集上与8种较先进方法进行了性能评估。定量和定性的实验结果表明,所提方法在客观指标以及视觉质量方面均优于对比方法。此外,相较于当前性能先进的基于光流的特征翘曲模型(flow-based feature warping model,FFWM)方法,本文方法能够节省79%的参数量和42%的计算操作数。进一步基于CASIA-WebFace(Institute of Automation, Chinese Academy of Sciences—WebFace)数据集对所提出方法在真实非受控场景中的表现进行了评估,识别精度超过现有方法10%以上。结论 本文提出的双层级表征集成推理网络,能够挖掘并联合人脸图像的底层视觉特征以及高层语义特征,充分利用图像自身信息,不仅以更低的计算复杂度取得了更优的视觉质量和身份识别精度,而且在非受控的场景下同样展现出了出色的泛化性能。