一个实用的人脸定制和表情动画编辑系统

介绍了一个简单而行之有效的特定人脸定制和表情动画的编辑系统，首先给定一个内嵌肌肉向量的一般人脸三维多边形网络模型并提供特定人脸的正侧面正交图象，然后采用snake技术自动适配人脸特征线，变分一般模型定制出三维虚拟人脸；接着再用多分辨率样条技术产生无缝的人脸纹理镶嵌图，进而生成高度真实感的虚拟特定人脸，由内嵌肌肉向量的参数化表示，通过编辑参数能赋予三维虚拟人脸各种丰富的表情。由于变分后人脸模型的拓扑不变，因此可用基于三角化的图象metamorphosis实现不同特定人脸间的三维morph，该系统能在廉价的PC平台上实现，其快速、简单而且具有真实感，具有很大的实用价值。     

基于特征和弹性网格模型的快速人脸建模

为解决特定人脸的建模问题提供了一个简单而行之有效的方法。给定特定人脸的正面侧面照片,以及内嵌具有人脸特征信息的弹性人脸网格模型,采用基于小波分析的方法进行人脸特征识别,基于特定人脸的特征线相对于一般人脸模型上的特征线的位移,根据弹性系数求解所有点的位移变化,适配特定人脸几何。纹理映射之后生成能以任意视线方向观察的高度真实感特定人脸。该方法能在廉价的PC平台上快速而方便地得到实现。     

一个基于正交图像重建虚拟人脸的快速方法

文中以较少的交互 ,给出克隆三维虚拟人脸的方法。即首先根据两幅人脸图像 ,对一般人脸模型进行整体变换 ,然后基于特定人脸的特征线相对于一般人脸模型上的特征线的位移 ,用变分插值技术变分一般人脸网格 ,适配特定人脸几何。最后用多分辨率样条技术产生无缝的人脸纹理镶嵌图(Mosaic) ,并对整个人脸模型进行纹理映射 ,从而生成高度真实感的能以任意视线方向观察的特定人脸。     

基于二维图像的三维人脸建模技术

建立三维人脸模型和表情动画是计算机图形学领域的一个研究热点。文章提出了一种基于二维图像的三维人脸建模方法,首先在给定的人脸的正侧面照片上提取事先定义好的反映人脸特征的特征点信息,与一个一般人脸模型上对应点的信息进行比较和修改,得到反映给定人脸特征的特定人脸模型。最后使用纹理映射技术给特定人脸模型添加纹理信息,形成真实感的虚拟三维人脸模型。     

基于径向基函数与B样条曲线的三维人脸重建方法

用二维人脸照片构造三维特定人脸模型是三维人脸建模研究的热点问题.采用立体视觉重建三维特征点,通过人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人脸模型,得到部位轮廓特征明显的三维特定人脸模型,利用B样条曲线进行三维人脸曲面重构;然后运用拉普拉斯金字塔法得到近似的人脸全视角纹理图;再将近似人脸全视角纹理图映射到三维特定人脸模型,从而得到三维特定真实感的人脸模型.实验结果表明,该方法计算简单,生成特定人脸模型效果逼真,可用于特定人脸动画制作的逼真人脸建模.     

基于MPEG-4的真实感人脸技术

人脸建模与动画是计算机图形学中最富有挑战性的课题之一,可以广泛应用于计算机动画行业、游戏行业、远程会议、代理和化身等许多领域。根据MPEG-4关于人脸特征点的定义,利用一般人脸模型以及特定人的正面和侧面两幅照片,采用Dirichlet自由变形实现了从一般人脸模型到特定人脸模型的变形;再利用特定人的正面和侧面照片,采用纹理融合方法生成了真实感人脸。论文提出的真实感人脸技术具有方法简单、计算速度快、真实感强等优点。     

融合SFM和动态纹理映射的视频流三维表情重建

为从未标定的单目视频序列中重建出具有真实感的三维人脸表情序列,提出一种仅需较少约束的自动化方法.首先用ASM算法从视频首帧自动标定人脸特征,并采用仿射矫正光流方法跟踪运动中的人脸特征;然后结合一般人脸模型,采用从运动恢复形状的方法重建出三维个性化人脸模型以及表情运动;最后采用动态纹理映射来代替传统的静态纹理映射,以产生真实感视觉外观.另外,使用基于特征脸的图像压缩方法,在尽量保持图像质量的前提下缩小原始视频占用的存储空间.实验结果表明,该方法能产生具有相当真实感的三维人脸表情序列,且在时间域和空间域上都保持了较高性能.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

采用几何模型切分的人脸纹理图像生成算法

为了克服传统的照片图像拼接方法中利用特征线进行不同照片之间公共交界线定位不准确的缺点,提出一种“几何模型切分”的人脸纹理图像生成算法。通过对人脸几何模型进行切分,以切分后模型图片的轮廓作为边界线裁剪相应的人脸照片,实现不同照片之间交界线的准确对接,并采用柱面纹理映射方法将生成的纹理图像映射到特定人脸几何模型上。实验结果表明,采用提出的“几何模型切分”算法生成的人脸纹理图像进行纹理映射可以得到较好的真实感三维人脸模型,是一种生成人脸纹理图像的有效方法。     

一种改进的人脸纹理映射方法

识别人脸图像优化问题,由于人脸纹理映射时容易出现的纹理扭曲和畸变现象,影响图像的真实性,提出一种改进的纹理图像映射方法。根据人脸特征点信息,利用特征块匹配法配准正侧面人脸图像,并使用加权平滑算法和金字塔方法对图像进行双重融合实现图像的平滑过渡;然后利用一种特殊的定位方法来计算三维人脸模型上顶点对应的纹理坐标;最后根据纹理坐标将纹理图像映射到三维特定人脸模型表面上,可得到具有真实感的三维人脸模型。实验结果表明,纹理合成方法简捷有效,纹理映射结果生动逼真,有效的避免了纹理图像的扭曲和畸变现象,具有较高的鲁棒性。     

基于张量分析的表情特征提取

表情识别的性能依赖于所提取表情特征的有效性,现有方法提取的表情基本上是人脸与表情的融合体,然而不同个体的人脸差异是表情识别的主要干扰因素。在表情识别时,理想情况是将个体相关的人脸特征和与个体无关的表情特征相分离。针对此问题,在三维空间建立人脸张量;然后用张量分析的方法将人脸特征与表情特征进行分离,使获取的表情参数与人脸无关。从而排除不同个体的人脸差异对表情识别的干扰。最后,在JAFFE表情数据库上验证了该方法的有效性。     

3DMM与GAN结合的实时人脸表情迁移方法

快速实时生成表情逼真、姿态自然的虚拟人脸一直是较为有挑战性的研究。提出一种基于3DMM与GAN结合的实时人脸表情迁移方法。通过目标人脸的一段表演视频,将表演人员与目标人脸关键点建立映射关系,使用二维RGB摄像头实时跟踪表演人脸关键点并利用GAN生成目标虚拟人脸特征点,进一步估计人脸姿态。利用3DMM构成二维到三维人脸模型的重建,实时渲染出当前姿态的二维人脸表情,再将表演人脸表情与目标人脸表情进行融合,生成表情逼真的目标人脸。对比实验表明,该方法能得到更为逼真的人脸表情,可以模仿出目标人脸真实的表情,同时也能够达到实时性,在创建逼真的视频方面实现了更大的灵活性。同时,提出一种针对人脸表情迁移仿真效果的验证方法可以客观评价仿真人脸的结果。     

基于单幅图像的人脸三维姿态估计

针对单张人像的三维姿态计算，结合面貌测量和射影几何的理论提出了一种方法：首先在人面部的平面区域内，选取眼角点，口角点，鼻翼点建立人脸模型;然后根据人脸平面上两个相互垂直的特征线投影到照片上的灭点位置，求出人脸平面的旋转方向。该方法特征点易于标定，且无需任何的辅助设备和先验知识，具有一定的实用性。     

基于特征加权的人脸识别

现有的人脸识别方法通常未考虑不同特征或像素对识别结果的影响。实际上,人脸面部不同特征在人脸识别过程中的作用是不同的。研究了各个特征在识别中的作用,分别采用三种加权方法对人脸图像进行了预处理,并应用流行的人脸识别方法（联想记忆、主分量分析和Fisher线性判别分析）进行识别。最后用标准人脸库ORL进行了实验,实验结果表明特征加权方法对人脸识别是有效且通用的。     

改进的统计模型三维人脸特征点标定算法框架

自动三维人脸特征点标定是计算机视觉领域的研究热点,其广泛应用于人脸识别,人脸模型配准,表情识别,脸部动画等领域。通过对三维人脸样本统计建模,采用遗传算法对待匹配模型的生成数目进行参数优化,利用模型相似性匹配方法及其映射关系对三维人脸特征点进行自动标定。首先,对三维人脸数据预处理,然后对其统计建模并通过模型形变得到有映射关系的基准模型和待匹配模型。利用遗传算法对待匹配模型中的待匹配模型生成数目参数进行优化,生成与之对应的待匹配模型数;接着计算待测模型与待匹配模型的相似度。最后,利用模型相似度和模型映射关系,间接得到待测模型的特征点。实验结果表明,提出的算法是可行的,能够在一定程度上提高原有算法的效率。该算法可以自动标定三维人脸模型的特征点,当距离阈值为10像素时,39个三维人脸特征点定位的准确率都可以达到100%,并有效解决了传统方法中三维人脸模型平滑区域特征点精度不高的问题。     

基于改进的自适应主元提取算法的人脸识别

论文提出了一种基于改进的自适应主元提取算法的人脸识别方法。采用改进的自适应主元提取算法将人脸图像由高维观测空间投影到低维特征空间,通过改进前馈网络权值更新方程,降低算法的复杂度和计算量。基于三维人脸形变模型,采用区域填充和曲面消隐算法根据一幅人脸图像生成多个虚拟样本,克服人脸识别中的小样本问题。在ORL和UMIST数据库上的实验结果表明,该文提出的算法在识别性能上明显高于传统的Eigenface和Fisherface方法。     

基于人脸认知模式的相似脸搜索

目的 人类对人脸认知模式的探索由来已久,并且已经成功应用于美容整形等研究领域。然而,目前在计算机视觉和模式识别领域,计算人脸相似度的方法没有考虑人对人脸的认知模式,使得现有方法的计算结果从人的认知习惯角度来讲并非最佳。为克服以上缺陷,提出一种基于人脸认知模式的相似脸搜索算法。方法 依据人脸认知模式,选取特征点,并计算特征量,构造各面部器官（眼睛、鼻子、嘴巴、脸型）分类模型,即面部器官形状相似性度量模型,并采用圆形LBP算子,计算两幅人脸对应器官的纹理相似度,二者综合作为相似脸搜索的依据。结果 分别用本文方法和代表相似脸搜索最高水平的Face++的方法对80幅正面、中性表情、平视角度拍摄的人脸图像进行测试。本文方法的整体准确率高于Face++方法,其中,TOP1、TOP2最相似搜索结果准确率优势明显,均高出Face++方法12%以上。结论 实验结果表明,本文方法的搜索结果更加符合人脸认知模式,可应用于正面、中性表情、平视角度拍摄的人脸图像的相似脸搜索。此外,还可以将此类基于认知模式的图像搜索思路推广应用于商业领域,如基于图像的相似网购商品搜索等。     

用于人像提取及半身像合成的生成对抗网络算法

利用生成对抗网络(generative adversarial network,GAN)进行标准上半身人像的合成,从普通人像照片中截取部分区域得到面部对齐后的标准化上半身合成图像,处理后的标准化人像实现了目标主体与背景的分离,可以有效地优化目标识别和分割算法的结果.图像的合成过程分为2个主要步骤,首先利用图像特征识别人脸并截取头部区域,然后以裁切后的头部区域为中心进行上半身人像的合成,得到人脸特征点及头部区域对齐后的上半身合成图像.该算法可以有效地从背景中分离人像区域,利用合成后的图像进行图像分割和评价,可以避免图像背景对于图像识别主体的干扰.通过自有数据集验证了该算法可以改善分割算法的精确度、召回率和F值,最终合成人脸图像的Facenet平均距离及标准差相比现有的人脸图像正则化算法均有减小,通过在CelebA及LFW等通用数据集上的验证测试,显示出算法具有良好的通用性和适应性,该算法可以广泛适用于人像照片的主体提取和人像合成,作为分割和识别等应用的前置步骤.