图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

基于深度学习的单幅图像三维人脸重建研究综述

在计算机视觉领域中,三维人脸重建是一个具有研究价值的方向,高质量地重建出三维人脸在人脸识别、防伪、游戏娱乐、影视动画和美容医疗等领域具有重要的意义.近二十年来,虽然基于单幅图像的三维人脸重建领域已经取得很大的进展,但使用传统算法进行重建的结果仍会受到人脸表情、遮挡、环境光的影响,并且会出现重建效果精度不佳和鲁棒性不足等...     

基于标准肤色的人脸图像纹理合成与三维重建应用

本文提出一种基于单幅人脸图像并结合标准肤色的人脸图像纹理合成和三维重建算法.首先,利用ASM算法提取人脸特征点,并通过基于局部线性嵌入算法的编辑传播实现颜色转换,使图像人脸色调与三维人脸模型标准肤色一致.接着,将人脸图像五官区域与标准肤色图进行泊松融合,并考虑眉毛遮挡情况,利用人脸对称性或眉毛模板还原眉毛.尤其对于半遮挡眉毛,采用Li模型和角点检测相结合的方法重建眉毛轮廓,得到最终人脸纹理图.最后通过纹理映射将人脸纹理图映射到三维人脸模型上,得到较好的个性化三维人脸重建效果.实验表明,本文算法能够适用于不同复杂背景和光照条件下拍摄的人脸图像,具有较快的处理速度,能够应用于人脸实时重建产品中.     

基于压缩感知理论的3维人脸快速重建

形变模型是当前人脸重建研究中的一种主要方法。针对形变模型方法中模型构建的缺陷,提出一种基于压缩感知理论的快速三维人脸重建方法。首先,利用压缩感知理论估计三维原型人脸与目标人脸的形状相似性,根据相似性对原型样本进行筛选并构建相应的形变模型,提高建模精度和效率;然后,利用特征点信息进行稀疏模型匹配,并结合径向基函数插值重建生成特定的三维人脸,提高重建表面的平滑性。在BJUT三维数据库和CAS_PEAL二维数据库上的实验结果表明,与经典方法相比,本文方法能够有效地提高重建精度和速度,重建人脸具有较强真实感。     

基于单张人脸图像三维形状模型重建

在人脸图像识别优化的研究中,针对由单张人脸图像重建三维模型时对人脸图像姿态存在要求的问题,为了提高识别精度,提出基于单张人脸图像姿态预估计和主成分分析(PCA)的形状模型重建算法.首先由三维姿态估计方法得到人脸姿态,并建立人脸形状模型样本库,然后通过选取的特征点,利用主成分分析进行三维人脸形状模型的重构,最后利用径向基函数(RBF)变换和特征点坐标精确调整三维人脸形状模型,并进行仿真.仿真结果表明,重构的三维人脸形状模型效果良好,提高了精度,对有旋转姿态的人脸图像和特征点定位误差也有很好的鲁棒性.     

基于深度学习的多模态融合三维人脸识别

二维人脸识别受光照、遮挡和姿态的影响较大.为了克服二维人脸识别的缺点,本文提出了一种基于深度学习的多模态融合三维人脸识别算法.该方法首先使用卷积自编码器将彩色图像和深度图进行融合,将融合后的图像作为网络的输入进行预训练,并且设计了一种新的损失函数cluster loss,结合Softmax损失,预训练了一个精度非常高的模型.之后使用迁移学习将预训练的模型进行微调,得到了一个轻量级神经网络模型.将原始数据集进行一系列处理,使用处理之后的数据集作为测试集,测试的识别准确率为96.37%.实验证明,该方法弥补了二维人脸识别的一些缺点,受光照和遮挡的影响非常小,并且相对于使用高精度三维人脸图像的三维人脸识别,本文提出的算法速度快,并且鲁棒性高.     

基于人脸部件掩膜的自监督三维人脸重建

三维人脸重建旨在从二维人脸图片中恢复出三维人脸模型。自监督三维人脸重建能够缓解三维人脸数据缺乏的问题,因此成为了近年来的研究热点。现有的自监督方法通常聚焦于使用全局监督信号,对人脸的局部细节关注不足。为了更好地恢复出细节生动的精细化三维人脸,提出了一种基于人脸部件掩膜的精细化三维人脸重建方法,该方法在不需要任何三维人脸标注的情况下,可以重建出精细化三维人脸。其主要思想是在二维图片一致性损失、图片深层感知损失等基本损失函数上,通过人脸部件掩膜,给予人脸区域精细化约束,并对人脸部件掩膜进行自监督约束,从而提高重建的三维人脸局部的准确性。在AFLW2000-3D和MICC Florence数据集上进行了定性以及定量实验,验证了所提方法的有效性和优越性。     

三维人脸建模及在跨姿态人脸匹配中的有效性验证

针对现有三维人脸采集技术对采集场景存在诸多限制,提出了自由场景下基于多张图像的三维人脸建模技术,并对其进行了有效性验证。首先,提出一个姿态及深度值迭代计算模型,实现了特征点深度值的准确估计;然后,进行了基于多张图像的深度值融合及整体形状建模;最后,将深度迭代优化算法（IPDO）与目前最优的非线性最小二乘法（NLS1_SR）在Bosphorus Database数据集上进行了对比,建模精度提高了9%,所重建的三维人脸模型投影图像与二维图像具有较高的相似度。实验结果表明,在大姿态变化条件下,该识别算法借助三维信息相较于未借助的情况下,其识别率可以提高50%以上。     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

基于三维矫正和相似性学习的无约束人脸验证

针对无约束条件下的人脸图像样本少、面部姿态变化大、被遮挡以及背景复杂等问题,提出一种结合三维人脸矫正与相似性学习相结合的人脸验证算法（sub-SL）。首先,通过三维人脸矫正方法对人脸图像进行姿态矫正,将图像中的人脸矫正为标准正面脸;其次,裁剪该正面脸的脸部相关区域,去除复杂的图像背景;最后,利用基于个体子空间的相似性学习方法对图像对之间的相似度进行度量,完成人脸验证。实验采用了几个以LFW（Labeled Faces in the Wild）数据库为基础的经过预处理操作（例如人脸矫正、裁剪等）后建立起来的数据库。在基于局部三值模式（LTP）的特征提取方法并且训练图像对数为625的实验中,sub-SL算法的识别率比利用马氏距离进行度量学习的算法sub-ML以及结合了马氏距离与相似性学习的度量学习算法sub-SML分别高出了15.6%和8.4%。实验结果表明,sub-SL算法能够有效提高无约束条件下人脸识别的准确率。     

深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

面向大姿态人脸识别的正面化形变场学习

目的 人脸识别已经得到了广泛应用,但大姿态人脸识别问题仍未完美解决。已有方法或提取姿态鲁棒特征,或进行人脸姿态的正面化。其中主流的人脸正面化方法包括2D回归生成和3D模型形变建模,前者能够生成相对自然真实的人脸,但会引入额外的噪声导致图像信息的扭曲;后者能够保持原始的人脸结构信息,但生成过程是基于物理模型的,不够自然灵活。为此,结合2D和3D方法的优势,本文提出了基于由粗到细形变场的人脸正面化方法。方法 该形变场由深度网络以2D回归方式学得,反映的是不同视角人脸图像像素之间的语义级对应关系,可以类3D的方式实现非正面人脸图像的正面化,因此该方法兼具了2D正面化方法的灵活性与3D正面化方法的保真性,且借鉴分步渐进的思路,本文提出了由粗到细的形变场学习框架,以获得更加准确鲁棒的形变场。结果 本文采用大姿态人脸识别实验来验证本文方法的有效性,在MultiPIE(multi pose, illumination, expressions)、LFW(labeled faces in the wild)、CFP(celebrities in frontal-profile in the wild)...     

基于多尺度CNN-RNN的单图三维重建网络

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想。为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络。模型网络主要由三部分组成：二维编码器、转换器及三维编码器。模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征。模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取的方法,模型具有更好的鲁棒性。与现有方法进行对比,本模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果。