基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

改进的基于形变模型的三维人脸建模方法

提出了基于均匀网格重采样算法的原型三维人脸对应算法. 基于人脸特征实现原型三维人脸之间的对应, 克服了传统对应算法对应效果差，算法精度低的缺陷；提出了基于改进遗传算法的形变模型匹配算法. 新的匹配算法不依赖于目标函数的梯度信息和初值，全局搜索能力强. 优化过程中交叉和变异概率的调节机制，有效提高了算法的收敛速度和精度. 实验结果表明，新的对应算法可有效实现原型三维人脸之间的对应，提高形变模型的精度. 新的匹配算法能有效提高模型匹配的效率和精度，缩短模型匹配时间.     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

亲缘关系约束下的青少年人脸年龄合成研究

年龄合成生成逼真的人脸图像可以有效地提高跨年龄人脸验证准确率,对寻找走失人口有着重要的意义,但是青少年颅骨复合体未发育完全,使得面向青少年的年龄合成十分困难。因此提出了一种面向青少年的端到端的年龄合成模型。通过StyleGAN保留人脸的语义信息,在人脸编码特征上添加年龄通道实现年龄的转化,引入亲缘特征匹配模块引导青少年的面部老化,将亲缘特征匹配率加入损失函数参与训练。该算法模型可以在保持个体身份信息的同时,实现平滑的年龄合成,生成逼真的人脸图像。该模型不仅提升了视觉效果,并且实验表明该模型跨年龄人脸验证准确率达到95.3%,身份召回率达到92.7%,年龄合成平均年龄误差减少4年,较现有算法有较好的提升。     

基于形变模型的多角度三维人脸实时重建

摘 要：采用人脸特征点调整三维形变模型的方法应用于面部三维重建,但模型形变的计 算往往会产生误差,且耗时较长。因此运用人脸二维特征点对通用三维形变模型的拟合方法进 行改进,提出了一种视频流的多角度实时三维人脸重建方法。首先利用带有三层卷积网络的 CLNF 算法识别二维特征点,并跟踪特征点位置;然后由五官特征点位置估计头部姿态,更新 模型的表情系数,其结果再作用于 PCA 形状系数,促使当前三维模型发生形变;最后采用 ISOMAP 算法提取网格纹理信息,进行纹理融合形成特定人脸模型。实验结果表明,该方法在 人脸重建过程中具有更好的实时性能,且精确度有所提高。     

基于对比学习的多特征融合戴口罩人脸识别

随着计算机视觉技术应用的发展和智能终端的普及,口罩遮挡人脸识别已成为人物身份信息识别的重要部分。口罩的大面积遮挡对人脸特征的学习带来极大挑战。针对戴口罩人脸特征学习困难这一问题,提出了一种基于对比学习的多特征融合口罩遮挡人脸识别算法,该算法改进了传统的基于三元组关系的人脸特征向量学习损失函数,提出了基于多实例关系的损失函数,充分挖掘戴口罩人脸和完整人脸多个正负样本之间的同模态内和跨模态间的关联关系,学习人脸中具有高区分度的能力的特征,同时结合人脸的眉眼等局部特征和轮廓等全局特征,学习口罩遮挡人脸的有效特征向量表示。在真实的戴口罩人脸数据集和生成的戴口罩人脸数据上与基准算法进行了比较,实验结果表明所提算法相比传统的基于三元组损失函数和特征融合算法具有更高的识别准确率。     

改进的三维人脸识别方法

针对目前三维人脸几何特征识别算法中计算量大和设备昂贵,尤其是在特征融合时加权值确定的不精确性问题,提出了根据双目立体视觉原理,通过对普通二维图像确定脸部关键部位特征点的三维几何特征信息,并且依照类内距离越小越好,类间距离越大越好的准则设定适应度函数,使用人脸样本数据根据遗传算法进行训练,得到使适应度函数最小时的最优解,从而获得三维人脸几何特征融合时的最佳加权值。实验结果表明了该算法的可行性和有效性。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于双线性模型的人脸表情识别技术

针对现阶段人脸表情识别过程中所遇到的问题,基于三维数据库BU-3DFE中的三维表情数据,研究三维人脸表情数据的点云对齐及基于对齐数据的双线性模型建立,对基于双线性模型的识别算法加以改进,形成新的识别分类算法,降低原有算法中身份特征参与计算的比重,最大可能地降低身份特征对于整个表情识别过程的影响。旨在提高表情识别的结果,最终实现高鲁棒性的三维表情识别。