利用OpenGL生成人脸视点无关纹理图

在基于计算机的人脸动画领域中,人脸视点无关纹理图对增强人脸的真实感和加快绘制速度起着关键的作用.本文阐述了从多张照片合成人脸纹理图的关键问题和解决方案,介绍了一个用OpenGL快速生成视点无关纹理图的方法,并将其应用到一个MPEG-4兼容的人脸动画系统,满足了实时调整的要求.     

人体面部纹理贴图生成算法

在最近几年里,三维人体建模有了很大的发展,人脸视点无关纹理图对增强人脸的真实感起着关键的作用.本文阐述了常用的合成人体面部纹理贴图的方法,并进行了拓展,介绍了一种更加精确的算法.     

面向纹理特征的真实感三维人脸动画方法

纹理变化是人脸表情的重要组成部分，传统的人脸动画方法通常只是对纹理图像做简单的拉伸变换，没有考虑人脸细微纹理特征的变化，比如皱纹、酒窝等，该文提出了一种面向纹理特征变化的真实感三维人脸动画方法．给出局部表情比率图(Partial Expression Ratio Image，PERI)的概念及其获取方法，在此基础上，进一步给出了面向MPEG-4的PERI参数化与面向三维人脸动画的多方向PERI方法，前者通过有机结合MPEG-4的人脸动画参数(Facial Anlmation Parameter，FAP)，实现人脸动画中细微表情特征的参数化表示；后者通过多方向PERI纹理特征调整方法，使得三维人脸模型在不同角度都具有较好的细微表情特征,该文提出的方法克服了传统人脸动画只考虑人脸曲面形变控制而忽略纹理变化的缺陷，实现面向纹理变化的具有细微表情特征的真实感三维人脸动画，实验表明，该文提出的方法能有效捕捉纹理变化细节，提高人脸动画的真实感。     

从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

全自动的基于MPEG-4的任意拓扑结构人脸动画

构造任意拓扑结构人脸网格的人脸动画定义表是基于MPEG-4的任意拓扑结构人脸动画系统的关键．通过搜索三维模型的二维纹理图像特征，提出一种自动地在任意拓扑结构三维人脸模型上定位特征点的方法．通过利用任意拓扑结构人脸模型上的三维特征点变形标准人脸模型，并根据标准人脸模型的动画定义表，实现了自动、准确地构造任意拓扑结构人脸模型动画定义表的方法．给定一个任意拓扑结构三维人脸模型，通过文中方法可以全自动地驱动所给人脸模型做动画．     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

基于二维图像的三维人脸建模技术

建立三维人脸模型和表情动画是计算机图形学领域的一个研究热点。文章提出了一种基于二维图像的三维人脸建模方法,首先在给定的人脸的正侧面照片上提取事先定义好的反映人脸特征的特征点信息,与一个一般人脸模型上对应点的信息进行比较和修改,得到反映给定人脸特征的特定人脸模型。最后使用纹理映射技术给特定人脸模型添加纹理信息,形成真实感的虚拟三维人脸模型。     

基于径向基函数与B样条曲线的三维人脸重建方法

用二维人脸照片构造三维特定人脸模型是三维人脸建模研究的热点问题.采用立体视觉重建三维特征点,通过人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人脸模型,得到部位轮廓特征明显的三维特定人脸模型,利用B样条曲线进行三维人脸曲面重构;然后运用拉普拉斯金字塔法得到近似的人脸全视角纹理图;再将近似人脸全视角纹理图映射到三维特定人脸模型,从而得到三维特定真实感的人脸模型.实验结果表明,该方法计算简单,生成特定人脸模型效果逼真,可用于特定人脸动画制作的逼真人脸建模.     

基于关键帧的三维人脸皱纹动画

表现人脸的皱纹特征是提高人脸动画真实感的重要因素之一,文章提出了一种基于关键帧的皱纹动画方法,使用高度图、法线图和MPEG-4人脸运动参数描述皱纹动画关键帧,通过对高度图、法线图插值生成皱纹动画中间帧。所提方法对人脸模型网格复杂度要求不高,且合成的皱纹动画具有真实感强和实时性高的特点。     

单幅人脸图像的全景纹理图生成方法

目的 针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法 将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果 实验与当前最新方法进行了比较,在CelebA-HQ和LFW （labled faces in the wild）数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比（peak signal to noise ratio,PSNR）和全局结构相似性（structural similarity index,SSIM）分别提高了7.9 dB和0.088,局部PSNR和局部SSIM分别提高了2.8 dB和0.053;相比于OSTeC,全局PSNR和全局SSIM分别提高了5.45 dB和0.043,局部PSNR和局部SSIM分别提高了0.4 dB和0.044;相比于MVF-Net （multi-view 3D face network）,局部PSNR和局部SSIM分别提高了0.6和0.119。实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节。结论 本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实。     

自适应人脸语音动画技术*

介绍了一个基于特征多边形网格模型和肌肉模型的人脸语音动画系统。首先从3D MAX导出的ASE文件建立人脸多边形网格模型,在四边形网格中定义了眼睛、鼻子、眉毛、额头、面颊、上下颚等特征点。基于特征点把人脸网格模型构造为线性弹性模型,并进行纹理贴图,最后在建立的肌肉模型基础上实现人脸语音动画。     

单张照片输入的人脸动画系统

人脸动画不仅包括表情的变化,同时涉及眼睛和头部的动作.为了方便、逼真地生成这些丰富的动画效果,提出一个基于单张照片的人脸动画系统.首先利用梯度场修改的方法将样本表情映射到输入人脸上,为了避免样本人脸上斑点等非表情信息的映射,采取WLS算子对样本表情进行滤波;然后对输入图像的眼睛部分进行纹理合成处理,利用合成的眼球和眼白纹理来生成眼睛的动作;最后借助一个3D人脸模型来实现输入图像头部姿态的改变.实验结果表明,该系统能够实时地生成逼真、自然的动画效果.     

一种参数化的表情映射方法*

人脸表情细节的合成是生成高度真实感人脸动画的重要环节,传统的表情映射技术仅考虑了人脸特征点的位置变化,无法处理表情细节;最新的研究考虑了表情纹理细节的合成,但仅能根据已有的表情样本一对一地获取纹理细节,应用范围很有限。有效地结合小波金字塔分解和表情比例图像两种技术,提出了一种进行表情合成的新算法。该算法既可以映射表情纹理细节,又可以生成表情动画,且表情夸张程度可参数化地控制,算法简单有效。     

基于球面谐波基图像的任意光照下的人脸识别

提出了一种基于球面谐波基图像的光照补偿算法,用以在任意光照条件下进行人脸识别.算法分两步进行：光照估计和光照补偿.基于人脸形状大致相同和每个人脸的反射率基本相等的假设,首先估计了输入人脸图像光照的9个低频谐波系数.根据光照估计的结果,提出了两种光照补偿方法：纹理图像和差图像.纹理图像为输入图像与其光照辐照图之商,与输入图像的光照条件无关.差图像为输入图像与平均人脸在相同光照下的图像之差,通过减去平均人脸在相同光照下的图像,减弱了光照的影响.在CMU-PIE人脸库和Yale B人脸库上的实验表明,通过光照补偿,不同光照下人脸图像识别率有了很大提高.     

人脸合成中模型的平滑调整和逼真的纹理映射

将薄平面样条函数用于人头模型的调整，使模型调整变得更加平滑、自然，并在纹理映射时，提出了基于模型分块的视角相关纹理映射的方法，该方法将模型分块并用每块对应的最清晰、非冗余的纹理对模型块做映射，使块与块之间形成的规则过渡带非常易于纹理融合，整个模型逐块地一次绘制完成，然后在模型中嵌入了抽象的人脸肌肉，合成出非常逼真的人脸表情动画．实验表明文中算法快速、简捷，合成的人脸图像细节清晰、逼真．     

基于特征识别的3维人脸动画模型自动构造

针对3维人脸动画应用中,需要手工事先标定肌肉模型的控制点、工作区域和设置各种计算参数,造成工作量大、修改困难、移植性差等弊端,提出自动构造各种肌肉模型及确定它们计算参数的方法。研究工作包括:综合运用法向量变化率、高斯曲率、高斯纹理模型等参数研究3维人脸几何及纹理特征的快速检测方法;设计基于邻域生长和候选点聚类分析的识别算法来识别人脸五官部位的特征点;在此基础上,自动确定各种肌肉模型的位置结构、工作区域和计算参数,实现人脸动画所需的肌肉模型构造和装配的自动化。应用工作结果表明,基于特征识别的3维人脸动画肌肉模型自动构造方法移植性好、精度较高,提高了动画建模工作的效率。     

基于MPEG-4的人脸动画技术研究

MPEG-4提出的基于对象的编码格式，将人脸作为一个特殊的对象，为人脸建模和动画研究奠定了基础。本文通过对MPEG-4人脸动画标准的分析，提出基于MPEG-4人脸动画系统的设计思想和需解决的关键问题。     

基于VRML的视点动画的研究

VRML是Web上建立三维虚拟模型的标准语言，在VRML场景中通过连续地自动控制用户视点的改变达到用户观察场景的角度变化，称为视点动画。该文根据控制方式的不同，把视点动画划分为主动视点动画和被动视点动画，然后分别研究了这两类视点动画的机制和相应的设计方法。最后通过一个实例说明了设计方法的有效性。     

综合几何信息的实时线绘制算法

以三维网格模型的微分几何信息为依据,结合视点相关和视点无关的线绘制方法,提出一种基于GPU的实时绘制算法.基于视点曲率在图像空间中计算提取视点相关特征线,同时利用风格化纹理和主曲率信息绘制视点无关特征线.根据三维模型信息与预设计的风格化纹理,在像素着色器中对视点相关和视点无关的2类特征信息进行计算,然后结合两者结果得到令人满意的绘制结果.实验结果表明,由于所有计算在图像空间由GPU并行完成,可以高效地提取特征线;采用风格化纹理的设计增加了图像空间风格化绘制的可控性,弥补了图像空间算法的风格化可控性差的缺点.此外,文中算法不仅可以进行实时的风格化线绘制,以该算法为基础还可以进行进一步的艺术仿真,如国画的模拟等.     

基于OpenGL技术的人脸表情动画合成的研究

阐述了在虚拟现实环境下，应用OpengL技术，如何对人脸建立物理模及其动画合成，并采用纹理粘贴，动画控制的手段．来仿真真实人脸的表情。文章中将人脸表面分戍8个脸部构件．采用NURBS曲面和三角形面片相结合的方式进行建模仿真．当脸部表情变化时，脸部构件也发生相应的位移的弹性形变。由于表情变化是基于本文构建的物理模型，因此，合成效率高。实验结果表明，基于OpenGL技术应用该算法对人脸建模及其动画合成。其仿真效果真实，自然。能够满足实际多媒体系统对友好人机交互的要求。