基于实拍图像的人脸真实感重建

给出了基于实拍人脸图像的三维逼真人脸模型的重建算法,该算法首先在两幅人脸图像上交互标识特征点对和输入摄像机的广角参数来实现摄像机定标,进而匹配出两幅人脸图像上的其它对应点,实现模型的三维重建,作者用半自动垭达到匹配目的。用手工编辑建立的二维对应网格,得到初始人脸外开和鲁棒的最大拟然立体虎法自动匹配出稠密的对应点,重建出表示人脸的散乱三维数据点团;最后利用这些稠密的三维数据点去迭代矫正和自适应细分手     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

一种改进的人脸纹理映射方法

识别人脸图像优化问题,由于人脸纹理映射时容易出现的纹理扭曲和畸变现象,影响图像的真实性,提出一种改进的纹理图像映射方法。根据人脸特征点信息,利用特征块匹配法配准正侧面人脸图像,并使用加权平滑算法和金字塔方法对图像进行双重融合实现图像的平滑过渡;然后利用一种特殊的定位方法来计算三维人脸模型上顶点对应的纹理坐标;最后根据纹理坐标将纹理图像映射到三维特定人脸模型表面上,可得到具有真实感的三维人脸模型。实验结果表明,纹理合成方法简捷有效,纹理映射结果生动逼真,有效的避免了纹理图像的扭曲和畸变现象,具有较高的鲁棒性。     

双目视觉下基于区域生长的三维人脸重建算法

为解决传统立体匹配算法匹配低纹理人脸图像时极易产生误匹配的问题,提出一种基于区域生长的人脸立体匹配算法。该算法利用级联回归树算法提取的人脸特征点将人脸划分为不同区域以分别限制各区域的视差搜索范围,从而避免在全局范围上查找匹配点;同时利用人脸的局部形状特性,采用局部曲面拟合的方式筛除误匹配种子点并生成大量可靠种子点用于区域生长;最后,分别在实验室环境采集的人脸图像和FRGC v2.0人脸数据库上进行定性和定量实验。实验结果表明,与传统算法相比,所提算法能够重建出更加准确的三维人脸模型。经点云配准后与人脸点云真实值的均方根误差在2 mm以内,且不同光照、姿态、表情下人脸图像的重建表明所改进的立体匹配算法具有较好的鲁棒性。     

基于三角剖分的人脸纹理映射

采用通用的三维人脸模型和任意的人脸纹理图像,基于Delaunay三角剖分,提出了一种灵活的3D人脸的纹理映射方法。该方法对人脸特征点集做三角剖分,在纹理图像和三维网格之间建立了一个准确的拓扑同构映射关系,从而得到高真实度的纹理映射。该算法不受网格调整精度的影响,同时适用于不同的纹理映射到同一三维人脸模型上。     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

一个三维人脸真实感模型重建算法

从多幅照片恢复三维人脸模型的难点在于如何自动求取脸部的特征点以及获得逼真的模型.本文提出了从人的头部运动来求取脸部结构的方法,首先使用改进的图像金字塔LK算法匹配对应照片的特征,再由局部向量调整,得到了精确的匹配结果,然后通过相机定标、运动分析、通用模型匹配、纹理映射算法重构出真实感的人脸模型.实验结果及算法分析表明,本文提出的特征匹配算法的精确度较高,实现特定人脸重建方法切实可行,生成的模型可视效果较好.     

结合三维几何形状信息和二维纹理的3D目标匹配

为了实现场景中三维目标与模型之间的匹配,提出了一种结合三维几何形状信息和二维纹理的三维目标匹配方法。首先提取场景中深度图像的尺度不变特征变换(SIFT)特征,用SIFT算法与三维模型重建时所用到的一系列2.5维深度图像进行一一匹配,找到与场景中目标姿态最为相似的深度图像,提取此深度图像的三维几何形状特征与模型进行匹配,实现模型的初始化,即将模型重置到与场景目标相接近的姿态。最后用融合二维纹理信息的迭代就近点（ICP）算法实现场景中目标与模型之间的匹配,从而得到场景中三维目标的准确姿态。实验结果验证了方法的可行性与精确性。     

基于径向基函数与B样条曲线的三维人脸重建方法

用二维人脸照片构造三维特定人脸模型是三维人脸建模研究的热点问题.采用立体视觉重建三维特征点,通过人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人脸模型,得到部位轮廓特征明显的三维特定人脸模型,利用B样条曲线进行三维人脸曲面重构;然后运用拉普拉斯金字塔法得到近似的人脸全视角纹理图;再将近似人脸全视角纹理图映射到三维特定人脸模型,从而得到三维特定真实感的人脸模型.实验结果表明,该方法计算简单,生成特定人脸模型效果逼真,可用于特定人脸动画制作的逼真人脸建模.     

Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis

3D face scans have been widely used for face modeling and analysis. Due to the fact that face scans provide variable point clouds across frames, they may not capture complete facial data or miss point-to-point correspondences across various facial scans, thus causing difficulties to use such data for analysis. This paper presents an efficient approach to representing facial shapes from face scans through the reconstruction of face models based on regional information and a generic model. A new approach for 3D feature detection and a hybrid approach using two vertex mapping algorithms, displacement mapping and point-to-surface mapping, and a regional blending algorithm are proposed to reconstruct the facial surface detail. The resulting models can represent individual facial shapes consistently and adaptively, establishing facial point correspondences across individual models. The accuracy of the generated models is evaluated quantitatively. The applicability of the models is validated through the application of 3D facial expression recognition using the static 3DFE and dynamic 4DFE databases. A comparison with the state of the art has also been reported.     

一种基于序列图像的交互式快速三维重建方法

针对普通数码相机拍摄的序列图像,提出了一种快速的交互式三维重建方法.首先基于SFM技术得到了相机的内外部参数;然后在图像上交互取点以构建逼近物体轮廓的多边形,结合该多边形,利用轮廓跟踪算法提取出精确的外形轮廓;最后通过匹配轮廓点的方式重建出三维模型.实验结果表明该重建方法是快速而有效的.     

面向影视动画的真实感三维人脸快速建模算法

针对影视动画领域,利用LS_5000型三维激光扫描仪,提出了一套真实感三维人脸快速建模算法。只需输入真实演员人脸的三维扫描点云和未定标的照片,以及极少的人工交互,即可生成虚拟演员真实感的三维人脸模型（包括几何模型、纹理模型和面向动画的可变模型）。实验结果表明,算法输出的模型简洁规范,可直接应用于实际的影视动画制作,提高了人脸模型建模效率。     

基于多目视觉的变形钢板三维测量方法

提出了一种使用4个相机测量变形钢板三维形状的方法;在没有纹理的钢板上画一些点,使用4个相机同时拍摄钢板;利用边缘检测算法找出钢板的边缘,利用特征点提取算法提取出4个图像中钢板上的特征点,并找到4个图像上精确的特征点匹配关系,然后测量出这些特征点的三维点;最后,以这些三维点为种子点向外区域增长,从而得到钢板的三维形状;实验对变形钢板进行三维测量,得到了钢板的精确的三维形状,结果验证了该方法的有效性和可行性。     

基于支持向量回归机的三维人脸建模方法研究

提出一种新的三维人脸建模方法,该方法首先运用双目立体视觉原理从不同角度获得人脸的两张照片,在一张照片上选定特征点,通过匹配在另一张照片上得到对应的特征点,然后从空间立体几何知识出发,根据两张照片上特征点的坐标以及拍摄时的参数,计算其三维坐标,利用支持向量回归机(SVR)对其进行回归预测建模,最后经纹理贴图,得到具有纹理特征的特定三维人脸模型。仿真实验结果表明,该方法获得的三维人脸模型较为逼真。     

New algorithm for 3D facial model reconstruction and its application in virtual reality

3D human face model reconstruction is essential to the generation of facial animations that is widely used in the field of virtual reality (VR). The main issues of 3D facial model reconstruction based on images by vision technologies are in twofold: one is to select and match the corresponding features of face from two images with minimal interaction and the other is to generate the realistic-looking human face model. In this paper, a new algorithm for realistic-looking face reconstruction is presented based on stereo vision. Firstly, a pattern is printed and attached to a planar surface for camera calibration, and corners generation and corners matching between two images are performed by integrating modified image pyramid Lucas-Kanade (PLK) algorithm and local adjustment algorithm, and then 3D coordinates of corners are obtained by 3D reconstruction. Individual face model is generated by the deformation of general 3D model and interpolation of the features. Finally, realistic-looking human face model     

Building Three Dimensional Head Models

This paper proposes a camera-based real-time system for building a three dimensional (3D) human head model. The proposed system is first trained in a semi-automatic way to locate the user's facial area and is then used to build a 3D model based on the front and profile views of the user's face. This is achieved by directing the user to position his or her face and profile in a highlighted area, which is used to train a neural network to distinguish the background from the face. With a blink from the user, the system is then capable of accurately locating a set of characteristic feature points on the front and profile views of the face, which are used for the adaptation of a generic 3D face model. This adaptation procedure is initialized with a rigid transformation of the model aiming to minimize the distances of the 3D model feature nodes from the calculated 3D coordinates of the 2D feature points. Then, a nonrigid transformation ensures that the feature nodes are displaced optimally close to their exact calculated positions, dragging their neighbors in a way that deforms the facial model in a natural looking manner. A male hair model is created using a 3D ellipsoid, which is truncated and merged with the adapted face model. A cylindrical texture map is finally built from the two image views covering the whole area of the head by exploiting the inherent face symmetry. The final result is a complete, textured model of a specific person's head.     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

二维Gabor特征与三维NP-3DHOG特征融合的人脸识别算法

基于二维图像的人脸识别算法提取人脸纹理特征进行识别,但是光照、表情、人脸姿态等会对其产生不利影响。三维人脸特征能更精确地描述人脸的几何结构,并且不易受化妆和光照的影响,但只采用三维人脸数据进行人脸识别又缺少人脸纹理信息,因此文中将二维人脸特征与三维人脸特征相融合进行人脸识别。采用基于Gabor变换的二维特征与基于新的分块策略的三维梯度直方图特征相融合的算法进行人脸识别。首先,提取二维人脸的Gabor特征;然后,提取三维人脸基于新的分块策略的三维梯度直方图特征,旨在提取人脸的可辨别性特征;接下来,对二维人脸特征与三维人脸特征分别使用线性判别分析子空间算法进行训练,并使用加法原则融合两种特征的相似度矩阵;最后,输出识别结果。