基于正面照的自适应三维头部网格模型研究

研究三维头部建模问题.针对以软件导出的三维头部模型作为标准模型受到数据量多、结构复杂的影响,对不同人脸进行匹配时需要进行数据简化操作,造成工作量大、可控性差且应用受限等问题,提出一个简单的能适应于不同人脸的三维头部模型.根据Candide-3模型提供的人脸三维信息,通过增加耳朵特征和后脑曲面模型,使用127个控制点建立了标准三维头部模型,然后配合人脸特征点信息和局部调整原理建立了与输人人脸图像相仿的三维头部模型.实验结果表明,建立的三维头部模型顶点少且具有较强真实感,可根据输入人脸图像的不同相应地产生与图像人脸相仿的形变模型,具有较好的适应性和广泛的应用价值.     

基于 Candide 模型的人脸深度信息生成技术研究

目前通过2D 转3D 技术转换的3D 电影场景中,绝大部分关于人脸的深度信息生成都不令人满意:深度值不准确、立体效果差.文中为解决特定二维人脸图像转换为三维人脸图像提供了一个比较简单有效的方法.首先,应用 Candide模型作为通用的3D 人脸模型,然后对通用模型调整控制点进行全局变换和局部变换,通过三维模型与人脸最大限度的匹配得到特定人脸三维网格模型.对网格模型采用顶点规则化和 NURBS 曲面拟合方法获得光滑的模型表面使其逼近人脸,最后生成准确的人脸深度信息     

基于Candide模型的人脸深度信息生成技术研究

目前通过2D转3D技术转换的3D电影场景中,绝大部分关于人脸的深度信息生成都不令人满意：深度值不准确、立体效果差。文中为解决特定二维人脸图像转换为三维人脸图像提供了一个比较简单有效的方法。首先,应用Candide模型作为通用的3D人脸模型,然后对通用模型调整控制点进行全局变换和局部变换,通过三维模型与人脸最大限度的匹配得到特定人脸三维网格模型。对网格模型采用顶点规则化和NURBS曲面拟合方法获得光滑的模型表面使其逼近人脸,最后生成准确的人脸深度信息。     

真实感人脸模型的细分曲面重建

提出一种利用2张正交照片和细分曲面进行真实感三维人脸建模的方法,并实现了不同模型间的三维变形.为了构造个性化的人脸几何模型,将网格简化、自由曲面变形和细分结合起来,得到多个层次细节下的人脸模型;再经过纹理融合和映射,完成个性化的真实感三维人脸建模;同时利用线性插值实现了同拓扑真实感模型间的光滑变形.实验结果表明：该方法不仅可以进行有效的真实感三维人脸建模,而且变形简单流畅,具有广阔的应用前景.     

基于SFM算法的三维人脸模型重建

提出了一种根据两幅正面人脸图像和一幅侧面图像重建人脸三维模型的算法，该算法主要包括4个步骤：寻找匹配点；采用SFM算法计算出特征点的三维坐标，并组成稀疏的三维网格结构；采用分步紧支撑径向基函数进行三维插值，得到三维模型；最后根据多分辨图像拼接算法生成纹理图像并将其映射到三维模型上，从而增强真实感，与其它算法相比，该算法最大的不同之处在于匹配点的寻找，匹配点的准确与否直接影响SFM算法结果的正确性，许多寻找匹配点的算法如角点匹配算法，在处理人脸图像时得到的结果并不稳定，这是因为人脸图像上包含了许多低纹理和重复纹理区域，大多数算法将代表人脸结构基本特征的基准模型运用在重建过程的最后一步，通过三维逼近运算，得到最终的重建模型，而该算法将反映人脸共性特征的几何对称性和规律性运用到匹配点的寻找中，能够快速准确地找出SFM算法需要的匹配点，用户使用普通照相机拍摄到的图像经本算法的处理后就可以得到相应的三维人脸结构。     

基于径向基函数与B样条曲线的三维人脸重建方法

用二维人脸照片构造三维特定人脸模型是三维人脸建模研究的热点问题.采用立体视觉重建三维特征点,通过人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人脸模型,得到部位轮廓特征明显的三维特定人脸模型,利用B样条曲线进行三维人脸曲面重构;然后运用拉普拉斯金字塔法得到近似的人脸全视角纹理图;再将近似人脸全视角纹理图映射到三维特定人脸模型,从而得到三维特定真实感的人脸模型.实验结果表明,该方法计算简单,生成特定人脸模型效果逼真,可用于特定人脸动画制作的逼真人脸建模.     

一种改进的人脸纹理映射方法

识别人脸图像优化问题,由于人脸纹理映射时容易出现的纹理扭曲和畸变现象,影响图像的真实性,提出一种改进的纹理图像映射方法。根据人脸特征点信息,利用特征块匹配法配准正侧面人脸图像,并使用加权平滑算法和金字塔方法对图像进行双重融合实现图像的平滑过渡;然后利用一种特殊的定位方法来计算三维人脸模型上顶点对应的纹理坐标;最后根据纹理坐标将纹理图像映射到三维特定人脸模型表面上,可得到具有真实感的三维人脸模型。实验结果表明,纹理合成方法简捷有效,纹理映射结果生动逼真,有效的避免了纹理图像的扭曲和畸变现象,具有较高的鲁棒性。     

变形图驱动的人体与脸部网格模板拟合系统

为了建立统一的人体模型数据库/人脸模型数据库,实现了一个用标准三维人体/人脸网格模型拟合扫描数据的系统.该系统为人体模型构建特征点候选区域,用马尔可夫网络对候选区域进行概率预测得到人体特征点的位置;对于人脸模型,采用基于回归树的算法在多幅不同角度的人脸图像上分别检测其二维特征点,融合得到准确的三维特征点位置;得到特征点后,使用相似变换对标准模板和扫描模型的位置朝向以及尺度进行统一;通过特征点引导的变形图算法对标准模板和扫描模型的形状和姿态进行粗配准;最后使用基于稠密点对应的顶点仿射变换拟合得到变形后的标准模板.对CAESAR数据集中的人体模型以及扫描得到的人体和人脸模型均进行了拟合,实验结果表明,该系统能够精确地捕捉扫描数据的几何形状.     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

基于形变模型的三维人脸重建方法及其改进

形变模型（morphable model）是近几年出现的三维人脸建模新方法．该方法使用原型人脸的组合表示新的人脸,对于特定人脸图像,通过模型匹配实现了三维人脸的自动重建．虽然形变模型具有自动化、真实感好等优点,但现有形变模型的建立依赖于不稳定的人脸图像对应光流算法,模型匹配只考虑了一般光照环境下的人脸重建问题,且建模计算量大．针对以上问题,文章对形变模型进行了改进：提出了网格重采样的方法,实现了模型人脸数据的精确对应;建立了多分辨率的三维人脸模型;在模型匹配过程中采用了多光源光照模型,使模型可适用于复杂光照环境下的人脸重建．实验结果表明,上述改进可以有效提高模型匹配的效率和准确性以及模型对光照的适应性．     

基于Kinect与网格几何变形的人脸表情动画

面部表情重建的实时性与重建效果的真实性是人脸表情动画的关键问题,提出一种基于Kinect人脸追踪和几何变形技术的面部表情快速重建新方法。使用微软的Kinect设备识别出表演者面部并记录其特征点数据,并利用捕捉到的特征点建立覆盖人脸的网格模型,从中选取变形使用的控制点数据,由于Kinect可以实时地自动追踪表演者面部,由此实现了利用三种不同变形算法对目标模型实时快速重建。实验结果表明,该方法简单易实施,不用在表演者面部做任何标定,可以自动地将人脸表情动作迁移到目标模型上,实现人脸表情快速重建,并且保证目标模型表情真实自然。     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

Observation-oriented silhouette-aware fast full body tracking with Kinect

We present a novel approach to track full human body mesh with a single depth camera, e.g. Microsoft Kinect, using a template body model. The proposed observation-oriented tracking mainly targets at fitting the body mesh silhouette to the 2D user boundary in video stream by deforming the body. It is fast to be integrated into real-time or interactive applications, which is impossible with traditional iterative optimization based approaches. Our method is a composite of two main stages: user-specific body shape estimation and on-line body tracking. We first develop a novel method to fit a 3D morphable human model to the actual body shape of the user in front of the depth camera. A strategy, making use of two constrains, i.e. point clouds from depth images and correspondence between foreground user mask contour and the boundary of projected body model, is designed. On-line tracking is made possible in successive steps. At each frame, the joint angles of template skeleton are optimized towards the captured Kinect skeleton. Then, the aforementioned contour correspondence is adopted to adjust the projected body model vertices towards the contour points of foreground user mask, using a Laplacian deformation technique. Experimental results show that our method achieves fast and high quality tracking. We also show that the proposed method is benefit to three applications: virtual try-on, full human body scanning and applications in manufacturing systems.     

基于单张人脸图片和一般模型的三维重建方法

提出一种使用单幅人脸照片进行特征提取、标准模型变形的全自动三维人脸重建方法。使用改进ASM方法自动精确提取人脸特征点,通过使稀疏形变模型匹配平面特征点来获取照片人脸的深度信息,再将一般人脸模型变形到特定人脸。基于肤色模型优化的ASM提取人脸特征,使得一定角度的侧面照片也可以有很好的重建效果。同时,使用基于肤色模型的纹理融合技术使侧面信息缺失的问题得到很好解决。实验证明,该方法快速简便,只用单幅照片全自动化完成重建,无须用户交互,生成的三维模型有较好的真实感。     

从正面侧照片合成三维人脸

实现了一具交互式人脸建模和动画的工具,用户可以从一个人正面和侧面的照片构造了出头部的三维模型,并基于这个模型实现特定表情和简单的动画。详细阐述在系统实现过程中应用到的人脸几何表示,一般人脸变化到特定人脸、弹性网格、肌肉模型、全视角巾图、表情提取等技术。     

结合特征适配与拉普拉斯形变的3维人脸重建

目的 数字娱乐产业的发展要求3维人脸重建技术能重建高分辨率3维人脸,并具有较高计算效率和重建准确性。针对这一情况,提出一种基于单幅图像的高分辨率3维人脸重建方法。方法 该方法包含特征适配与拉普拉斯形变两部分。预先用1组3维人脸样本上的3维特征构造可变形模型。给定图像时,从其上自动提取2维特征点,并根据获得问题最优解的必要条件进行特征适配以重建个性化3维特征;然后基于拉普拉斯方法,用该3维特征对一般人脸模型进行变形以获得特定高分辨率3维人脸;最后通过纹理合成获得真实感人脸。结果 用本文方法和已有方法分别进行可变形模型适配和模型变形,本文的特征适配方法具有更快的收敛速度和更高的准确性,拉普拉斯方法具有更小的重建误差。纹理映射后的3维人脸具有很好的视觉效果。结论 本文方法将特征适配与拉普拉斯形变结合起来进行高分辨率3维人脸重建。实验结果表明所提出的方法具有较高的计算效率和准确性,能实现较为理想的高分辨率3维人脸重建。     

Robust mesh editing using Laplacian coordinates

Shape deformation and editing are important for animation and game design. Laplacian surface based methods have been widely investigated and used in many works. In this paper we propose a robust mesh editing framework which improves traditional Laplacian surface editing. It consists of two procedures: skeleton based as-rigid-as-possible (ARAP) shape modeling and detail-preserving mesh optimization. Traditional ARAP shape modeling relies on the mesh quality. Degenerated mesh may adversely affect the deformation performance. A preprocessing step of mesh optimization can alleviate this problem. However, skinny triangles can still be generated during deformation, which adversely affect the editing performance. Thus our method performs Laplacian mesh deformation and optimization alternately in each iteration, which ensures mesh quality without noticeably increasing computational complexity or changing the shape details. This approach is more robust than those solely using Laplacian mesh deformation. An additional benefit is that the skeleton-based ARAP modeling can approximately preserve the volume of an object with large-scale deformations. The volume is roughly kept by leveraging the skeleton information and employing a carefully designed energy function to preserve the edge length. This method does not break the manifoldness of traditional ARAP methods or sacrifice speed. In our experiments, we show that (1) our method is robust even for degenerated meshes, (2) the deformation is natural in terms of recovering rotations, and (3) volumes are roughly kept even under large-scale deformations. The system achieves real time performance for surface meshes with 7k vertices.