图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于形变模型的多视图三维人脸重建

本文提出了基于形变模型的多视图三维人脸重建方法,将人脸形变模型与同一人脸在不同视点下的多幅图像进行匹配,从而重建出具有较强真实感的三维人脸模型。本文将对基于形变模型的多视图三维人脸重建方法进行详细的阐述,并把实验结果与单视图重建出的三维人脸模型进行了对比,从而体现出多视图重建的优势所在。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

改进的基于形变模型的三维人脸建模方法

提出了基于均匀网格重采样算法的原型三维人脸对应算法. 基于人脸特征实现原型三维人脸之间的对应, 克服了传统对应算法对应效果差，算法精度低的缺陷；提出了基于改进遗传算法的形变模型匹配算法. 新的匹配算法不依赖于目标函数的梯度信息和初值，全局搜索能力强. 优化过程中交叉和变异概率的调节机制，有效提高了算法的收敛速度和精度. 实验结果表明，新的对应算法可有效实现原型三维人脸之间的对应，提高形变模型的精度. 新的匹配算法能有效提高模型匹配的效率和精度，缩短模型匹配时间.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

基于特征点的三维人脸形变模型

针对传统三维人脸形变模型效率低的不足,提出了一个基于特征点的线性人脸形变模型.首先,提出一种基于平面模板的对应方法,自动地实现了三维人脸的稠密点对应,建立了人脸线性模型.然后,提出一个基于动态成分的线性形变模型,选择与目标人脸最相关的主成分作为形变模型的基空间.最后,采用一个全局与局部双重形变框架来完成人脸形状建模.实验结果表明,该方法能够获得较好的建模精度,可以通过真实照片上的少量特征点生成逼真的三维人脸模型.     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

基于正面照的自适应三维头部网格模型研究

研究三维头部建模问题.针对以软件导出的三维头部模型作为标准模型受到数据量多、结构复杂的影响,对不同人脸进行匹配时需要进行数据简化操作,造成工作量大、可控性差且应用受限等问题,提出一个简单的能适应于不同人脸的三维头部模型.根据Candide-3模型提供的人脸三维信息,通过增加耳朵特征和后脑曲面模型,使用127个控制点建立了标准三维头部模型,然后配合人脸特征点信息和局部调整原理建立了与输人人脸图像相仿的三维头部模型.实验结果表明,建立的三维头部模型顶点少且具有较强真实感,可根据输入人脸图像的不同相应地产生与图像人脸相仿的形变模型,具有较好的适应性和广泛的应用价值.     

超球流形约束下的3DMM分步全局优化

通过综合运用人脸空间的超球流形约束、基于梯度的启发式全局优化、光照的球面谐波描述以及凸包可见点集的直接消隐方法,提出一种三维可形变模型的图像匹配方法.首先通过形状超球流形约束下的全局优化算法求解摄像机参数和形状参数,然后使用以上参数和凸包点集的直接消隐方法确定物像点对应关系,最后根据物像点对应关系由反射率超球流形约束下的全局优化算法求解光照参数和反射率参数.定量的对比实验结果表明,该方法无需借助分区域拟合、人为估计参数值、层次匹配策略或复杂的特征组合,即可由单幅图像恢复三维可形变模型(3DMM)的全部参数.     

基于压缩感知理论的3维人脸快速重建

形变模型是当前人脸重建研究中的一种主要方法。针对形变模型方法中模型构建的缺陷,提出一种基于压缩感知理论的快速三维人脸重建方法。首先,利用压缩感知理论估计三维原型人脸与目标人脸的形状相似性,根据相似性对原型样本进行筛选并构建相应的形变模型,提高建模精度和效率;然后,利用特征点信息进行稀疏模型匹配,并结合径向基函数插值重建生成特定的三维人脸,提高重建表面的平滑性。在BJUT三维数据库和CAS_PEAL二维数据库上的实验结果表明,与经典方法相比,本文方法能够有效地提高重建精度和速度,重建人脸具有较强真实感。     

3D通用人脸模型的自适应算法及应用

利用3D人脸建模的方法进行人脸识别有效地克服了2D人脸识别系统中识别率易受光照、姿态、表情影响的缺陷。文章采用一种依据人脸图像对3D通用人脸模型进行自适应调整的有效算法,构造出特定的人脸模型并运用于人脸识别中。通过比较从人脸图像中估算出的特征点与通用人脸模型在图像平面上的投影点之间的关系,对3D通用人脸模型进行全局和局部调整,以适应人脸中眼、口、鼻的个性化特征。最后以一个实例说明了此算法的应用。     

Face recognition under varying illumination based on a 2D face shape model

This paper proposes a novel illumination compensation algorithm, which can compensate for the uneven illuminations on human faces and reconstruct face images in normal lighting conditions. A simple yet effective local contrast enhancement method, namely block-based histogram equalization (BHE), is first proposed. The resulting image processed using BHE is then compared with the original face image processed using histogram equalization (HE) to estimate the category of its light source. In our scheme, we divide the light source for a human face into 65 categories. Based on the category identified, a corresponding lighting compensation model is used to reconstruct an image that will visually be under normal illumination. In order to eliminate the influence of uneven illumination while retaining the shape information about a human face, a 2D face shape model is used. Experimental results show that, with the use of principal component analysis for face recognition, the recognition rate can be improved by 53.3% to 62.6% when our proposed algorithm for lighting compensation is used.     

基于深度特征学习的复杂环境下陌生人脸匹配算法研究

复杂环境下的陌生人脸匹配,即在人脸存在光照、姿态干扰时,判断两张在训练集中从未出现过的人脸照片是否代表同一个人。在预处理阶段,采用多尺度视皮层算法,降低光照的影响,提出并采用基于PCA-SIFT特征的图片融合算法无监督地对齐人脸,降低人脸姿态的影响。在识别阶段,提出并采用半随机池化方法优化了局部卷积限制波尔兹曼机网络的稳定性,习得深度特征后采用基于信息熵的度量学习算法计算马氏距离并通过SVM分类识别。实验结果显示,提出的方法在LFW数据集上取得了78%的识别率,相比于采用相同训练模式的经典度量学习方法取得了7%的提高,验证了所提方法的有效性。     

异构人脸在流形空间中的相似模型研究

人脸艺术造型与其原型人脸的相似性是造型成功与否的关键指标之一。传统相似性研究建立在同构数据特征基础之上,对呈异构形态的二维图像人脸和三维网格人脸之间的相似性计算问题的研究还很少见。采用双层拉普拉斯流形对齐方法,通过对相同样本数的二维人脸数据集和三维人脸数据集进行协同降维,发现两者的共享流形嵌入,建立异构的二维人脸图像与三维网格人脸之间的相似模型,实现对异构人脸之间相似性的定量计算。通过实验,证明了该方法的合理性与有效性。     

基于单张照片的三维人脸重建优化算法

传统人脸三维重建算法难以确定人脸形状,并且计算复杂。针对此问题,提出一种以水平集方法获取人脸轮廓并结合明暗恢复形状(SFS)算法重建三维模型的方法,该方法仅需单张正面人脸照片。首先采用主动形状模型确定人脸轮廓,将其作为水平集的初始演化曲线,分割出完整的人脸形状;然后对人脸区域进行灰度变换,求出灰度图像;最后通过SFS算法重建已知光照条件的人脸图像的三维模型,将该模型作为参考与灰度图像匹配,进而确定其光照条件和三维模型。实验结果表明,与基于网格模型的算法相比,该方法可快速地重建具有完整形状的人脸模型。     

基于SFM算法的三维人脸模型重建

提出了一种根据两幅正面人脸图像和一幅侧面图像重建人脸三维模型的算法，该算法主要包括4个步骤：寻找匹配点；采用SFM算法计算出特征点的三维坐标，并组成稀疏的三维网格结构；采用分步紧支撑径向基函数进行三维插值，得到三维模型；最后根据多分辨图像拼接算法生成纹理图像并将其映射到三维模型上，从而增强真实感，与其它算法相比，该算法最大的不同之处在于匹配点的寻找，匹配点的准确与否直接影响SFM算法结果的正确性，许多寻找匹配点的算法如角点匹配算法，在处理人脸图像时得到的结果并不稳定，这是因为人脸图像上包含了许多低纹理和重复纹理区域，大多数算法将代表人脸结构基本特征的基准模型运用在重建过程的最后一步，通过三维逼近运算，得到最终的重建模型，而该算法将反映人脸共性特征的几何对称性和规律性运用到匹配点的寻找中，能够快速准确地找出SFM算法需要的匹配点，用户使用普通照相机拍摄到的图像经本算法的处理后就可以得到相应的三维人脸结构。     

利用立体图对的三维人脸模型重建算法

利用人脸正面立体图对重建三维人脸模型。无需三维激光扫描仪和通用人脸模型．获取立体图对并校正后，利用种子像素扩张算法实现图像匹配．种子像素选取算法能使足够数量的种子像素具有可靠视差；还提出了基于视差置信度的扩张算法，降低了视差图中大面积误匹配区域出现的可能性；最后，利用碟状粒子描述和Delaunay三角剖分重建三维人脸模型．实验结果表明，文中算法能够产生光滑逼真的三维人脸模型．