具有真实感的情绪化虚拟人研究*

针对现有的虚拟说话人面部表情比较单一,表情和动作不能很好的协同问题,提出了一种建立具有真实感的情绪化虚拟人的方法。该方法首先利用三参数产生,保持和消退来对动态面部表情进行仿真,采用融合变形技术合成复杂的表情,然后以人类心理学的统计数据为依据来对眼部和头部动作进行设计,使虚拟人看起来更加逼真,最后分析了外在条件相机位置、光照对增加虚拟人真实感的影响。实验结果表明,该方法建立的虚拟人不仅逼真自然且富有感情,而且语音、动态面部表情、眼动和头动达到了很好的协调同步。     

细节特征保持的三维面部表情迁移方法

在三维面部表情迁移中,针对保持目标模型丰富的细节信息以使生成的新表情真实自然,以及减少表情迁移的学习训练时间这2个热点问题,提出一种细节特征保持的三维面部表情迁移方法.首先提取三维面部模型的细节特征,获得滤掉细节后的基本表情;然后利用改进的有参无监督回归方法将源模型的基本表情传递给目标模型;最后利用提出的细节特征向量调...     

人脸特征约束点的三维表情合成*

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。     

基于合成的通用头部网格模型的表情合成

针对当前通用脸部网格模型的可操控性和逼真性难以同时兼顾的问题,提出了一种新的通用网格模型合成方法,该方法基于Candide-3模型和从建模软件中导出来的模型进行简化得到的模型进行结合来合成通用头部模型.在此模型的基础上合成出六大基本表情,对输入人脸正面照片使用ASM(active shape model)算法自动提取出特征点,利用特征点和径向基函数来调整合成的通用模型得到特定的表情.实验结果显示,该通用网格模型具有良好的操控性,且能完整表示整个头部结构,还能表达六大基本表情和特定表情.     

带纹理的三维模型简化算法

三维物体的几何造型中,物体通常用三角形网格来描述.随着计算机建模、仿真,虚拟现实与可视化技术的发展,经常会遇到带有纹理的三角形网格模型的简化问题.为此,提出一种带纹理的三角形网格模型简化算法.该算法中综合考虑了模型几何信息以及纹理信息的全局误差,并通过记录每步边折叠操作来消除累计误差,最终生成在形状和纹理上与原始模型最相似的简化模型.     

带虚拟边约束的面部表情基生成方法

针对网格形变迁移算法在生成面部表情基时可能出现的模型表面穿透问题,本文提出一种带虚拟边约束的面部表情基生成算法.该算法基于一组模板表情基,可以为不同的对象目标生成个性化的人脸表情基.首先,算法依据顶点之间的距离信息检测出人脸模型中可能发生模型表面穿透的区域,在这些区域添加新的顶点连接关系,本文称为虚拟边;然后以这些虚拟边约束网格形变迁移算法,在生成表情基的同时防止模型发生表面穿透现象.在不同人脸模型上的实验结果表明,算法添加虚拟边的精度和效率优于手动操作以及之前提出的相关算法,并且虚拟边约束可以有效防止表情迁移过程中的模型穿透问题.最后,本文实验为不同的人脸网格生成了表情基,并应用生成的表情基进行表情迁移,实验结果验证了本文提出的带虚拟边约束的面部表情基生成方法的有效性.     

基于小波图像融合的表情细节合成

表情细节是人脸表情变化时带来的皮肤纹理变化,表情细节合成有助于增强合成表情的真实感.提出了基于小波的图像融合方法,挖掘表情细节的纹理特征本质,并应用到表情细节的合成中,使合成的表情更加真实自然.为了满足表情细节个性化的需求,采用传统的小波变换和双树复小波变换,同时使用不同的融合算子,得到了丰富的表情合成.本方法不仅适用于灰度图像,通过颜色空间的转换还适用于彩色图像.最后还提出了基于聚类和图切割的最优替换区域选取方法,使得合成的表情细节区域与目标图像融为一体.     

虚拟特定人脸的表情合成技术

通过对一般人脸网格的变形和纹理映射,使得虚拟人脸与真实人脸达到了形似;通过对人脸面部肌肉分布的研究,运用肌肉驱动技术合成了人脸的表情,使得虚拟人脸与真实人脸达到神似;从而合成了具有真实感的形神兼备的虚拟人脸。     

文本驱动的面部表情合成系统的设计与实现

本文设计并实现了文本驱动的面部表情合成系统。本系统可以应用于聋哑人辅助教学。     

多模态情感识别研究进展*

情感识别研究热点正从单模态转移到多模态。针对多模态情感特征提取与融合的技术难点,本文列举了目前应用较广的多模态情感识别数据库,介绍了面部表情和语音情感这两个模态的特征提取技术,重点阐述了多模态情感融合识别技术,主要对多模态情感特征融合策略和融合方法进行了综述,对不同算法下的识别效果进行了对比。最后,对多模态情感识别研究中存在的问题进行了探讨,并对未来的研究方向进行了展望。     

复用计算的虚拟肝脏体纹理合成与映射方法

虚拟手术中器官纹理能够给用户直观反映,加强临场感和操作感。研究在虚拟肝脏手术中纹理的表现技术,先合成体纹理空间,把二维情况下基于复用计算的纹理合成技术进行改进,扩展至三维空间中进行体纹理块分布并着色;同时计算每个三角面片内部点集并着色,以此增加纹理的真实感;切割肝脏体能看到内部纹理。实验结果表明,该方法能够生成具有高度真实感以及同样本体纹理相似的三维纹理,且合成速度能够满足虚拟手术要求。     

利用主动外观模型合成动态人脸表情

人脸表情发生变化时,面部纹理也相应地改变;为了方便有效地模拟这一动态的表情变化过程,提出一种基于主动外观模型的人脸表情合成方法.首先离线学习人脸表情与人脸形状和外观参数之间的关系,利用该学习结果实现对输入人脸图像的表情合成;针对合成图像中眼睛和牙齿模糊的缺点,利用合成的眼睛图像和牙齿模板来替代模糊纹理.实验结果表明,该方法能合成不同表情强度和类型的表情图像;合成的眼睛图像不仅增强了表情的真实感,同时也便于实现眼睛的动画.     

基于径向基函数的虚拟人脸合成方法

提出一种基于径向基函数的虚拟人脸合成方法.该方法根据正侧面图像获取人脸特征点的三维数据;利用基于径向基函数的散乱数据插值方法对通用人脸模型进行整体变形得到特定的人脸模型,并对模型进行Bezier磨光;将合成的人脸无缝拼接纹理图映射到特定的人脸模型.实验结果表明,合成的虚拟人脸具有较强的真实感.     

Method of direct texture synthesis on arbitrary surfaces

A direct texture synthesis method on arbitrary surfaces is proposed in this paper. The idea is to recursively map triangles on surface to texture space until the surface is completely mapped. First, the surface is simplified and a tangential vector field is created over the simplified mesh. Then, mapping process searches for the most optimal texture coordinates in texture sample for each triangle, and the textures of neighboring triangles are blended on the mesh. All synthesized texture triangles are compressed to an atlas. Finally, the simplified mesh is subdivided to approach the initial surface. The algorithm has several advantages over former methods: it synthesizes texture on surface without local parameterization; it does not need partitioning surface to patches; and it does not need a particular texture sample. The results demonstrate that the new algorithm is applicable to a wide variety of texture samples and any triangulated surfaces.     

Facial expression of emotion and perception of the Uncanny Valley in virtual characters

With technology allowing for increased realism in video games, realistic, human-like characters risk falling into the Uncanny Valley. The Uncanny Valley phenomenon implies that virtual characters approaching full human-likeness will evoke a negative reaction from the viewer, due to aspects of the character’s appearance and behavior differing from the human norm. This study investigates if “uncanniness” is increased for a character with a perceived lack of facial expression in the upper parts of the face. More important, our study also investigates if the magnitude of this increased uncanniness varies depending on which emotion is being communicated. Individual parameters for each facial muscle in a 3D model were controlled for the six emotions: anger, disgust, fear, happiness, sadness and surprise in addition to a neutral expression. The results indicate that even fully and expertly animated characters are rated as more uncanny than humans and that, in virtual characters, a lack of facial expression in the upper parts of the face during speech exaggerates the uncanny by inhibiting effective communication of the perceived emotion, significantly so for fear, sadness, disgust, and surprise but not for anger and happiness. Based on our results, we consider the implications for virtual character design.     

一种基于左右斜侧面照片的三维人脸重建方法*

创建逼真的三维人脸模型一直以来都是计算机图形学领域一个极富有挑战性的课题。利用左右斜侧面照片生成具有纹理信息的三维人脸。分别对两张左右斜侧面人脸照片通过纹理三角剖分和仿射变换映射至标准纹理模板,再利用计算机视觉和facegen生成的人脸数据库上应用中的算法生成一个三维真实几何模型,最后将纹理映射三维模型生成具有纹理信息的三维人脸。结果表明方法的合成结果与真实人脸在模型以及纹理方面具有较好的相似性。     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。