基于机构学和肌肉模型的单视频驱动人脸情感表达仿真

描述一种3维人脸模型的单视频驱动方法。该方法在传统肌肉模型的基础上,根据嘴部运动特性采用机构学原理建立嘴部运动控制模型,通过视频图像序列跟踪得到特征点的运动规律曲线,进而驱动眼部、嘴部及面部其他部分的网格点运动,产生具有真实感的面部表情动作。仿真结果表明,采用此方法可以得到逼真的人脸表情模拟动画。     

一种人眼运动及表情仿真方法

真实感人脸动画是计算机图形学领域的一个研究热点,为了更逼真的仿真虚拟人眼部的表情动作,提出了一种基于机构学原理与肌肉模型的人眼运动及表情仿真方法。可将人眼眼皮的三维网格模型分为边界点和非边界点分别控制,对于边界点的运动采用机构模型实现,对于非边界点及眼部其余部分采用肌肉模型控制,仿真出不同的人眼运动及表情。同时给出了仿真运动的效果实例。采用上述方法可以得到逼真的人眼表情动作仿真动画,效果良好。     

带眼球细节的情感虚拟人面部表情合成*

针对当前三维头部重建中使用的网格模型不能完整表达头部拓扑结构或者模型过于复杂的问题,提出了一种完整头部网格模型合成方法。该方法首先以Candide-3模型为基础加入后脑勺模型,对面部Candide-3模型的眼睑部分进行重新建模,并加入比例合适的眼球模型,得到一个完整头部网格模型。然后结合人脸特征点信息和局部最小二乘法匹配原理对模型进行调整,并对模型进行纹理贴图合成真实感的虚拟人头部模型。最后,在该模型上用分段线性插值的方法,合成带眼球细节的情感虚拟人表情。实验结果表明,基于该模型合成的虚拟人表情不仅逼真而且情感丰富。     

基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

为了生成表情丰富、动作流畅的三维虚拟人动画,提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法。首先,采用传输控制协议（TCP）网络时间戳方法实现双相机时间同步,采用张正友标定法实现双相机空间同步。然后,利用双相机分别采集面部表情和人体姿态。采集面部表情时,提取图像的2D特征点,利用这些2D特征点回归计算得到面部行为编码系统（FACS）面部行为单元,为实现表情动画做准备;以标准头部3D坐标值为基准,根据相机内参,采用高效n点投影（EPnP）算法实现头部姿态估计;之后将面部表情信息和头部姿态估计信息进行匹配。采集人体姿态时,利用遮挡鲁棒姿势图（ORPM）方法计算人体姿态,输出每个骨骼点位置、旋转角度等数据。最后,在虚幻引擎4（UE4）中使用建立的虚拟人体三维模型来展示数据驱动动画的效果。实验结果表明,该方法能够同步捕获面部表情及人体姿态,而且在实验测试中的帧率达到20 fps,能实时生成自然真实的三维动画。     

维修仿真中虚拟人动作数据库的研究与实现

通过在维修仿真中引入虚拟人技术,可以提高场景的逼真性、真实感,还有利于充分考虑人机工效学因素,这就要求实现对虚拟维修人员的动作控制与仿真。该文提出了一种基于过程分段和分层设计思想的虚拟人动作库,该动作库主要由动作层和动素层组成;基于位置／变迁Petri网设计并实现了动素层,基于面向对象的技术设计并实现了动作层,涵盖了绝大多数虚拟人执行维修操作的动作,基本满足了维修仿真的需求。最后,基于人体建模与仿真平台Jack,设计实现了一个电子舱的维修仿真实例,仿真和实验结果表明了所提方法简便易行,能够满足维修仿真的要求。     

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.     

虚拟人面部行为的合成

虚拟人是虚拟现实环境中很重要的一部分，对于虚拟人行为的研究除了应从宏观上考虑虚拟人的群体行为属性之外，以个体行为属性的研究也非常重要。个体行为包括自然行为和意识行为。自然行为主要是和脸部、头部以及四肢运动有关的行为。而意识行为则包括与语言和心理活动相关联的表情、发声以及对应的唇动手势动作等。本文旨在研究与意识行为有关的虚拟人面部图像合成技术，讨论了标准人脸图像的参数合成方法，给出了特定人脸图像与标     

不同个性的情感机器人表情研究

在情感机器人研究中,不同个性的面部表情是情感机器人增强真实感的重要基础。为实现情感机器人更加丰富细腻的表情,将人类的个性特征引入情感机器人,分析个性理论和情感模型理论,得知不同个性机器人的情感强度。结合面部动作编码系统中面部表情与机器人控制点之间的映射关系,得到情感机器人不同个性的基本表情实现方法。利用Solidworks建立情感机器人脸部模型,在ANSYS工程软件中将SHFR-Ⅲ情感机器人脸部模型设置为弹性体,通过有限元仿真计算方法,对表情的有限元仿真方法进行了探究,得到实现SHFR-Ⅲ不同个性基本表情的控制区域载荷大小和仿真结果。最后,根据仿真结果,进行SHFR-Ⅲ情感机器人不同个性的表情动作实验。实验结果表明,有限元表情仿真可以指导SHFR-Ⅲ情感机器人实现近似人类的不同个性的基本面部表情。     

基于Java 3D的虚拟人仿真方法

提出一种将3DS MAX、MS3D与Java 3D编程技术相结合的虚拟人仿真方法,可使虚拟人达到相对逼真且交互性强的效果。该方法首先采用3DS MAX角色动画技术进行人体静态建模和动作建模;然后通过将底层基本动作片段转化为MS3D格式,供Java 3D的骨骼动画模型接口调用;最后利用Java 3D编程来控制虚拟人的高层行为活动。该方法有利于角色建模、运动仿真和行为控制等设计工作的分工协作,适合于网络环境下多角色、复杂动作的虚拟人仿真。     

真实感虚拟人头发动态仿真研究

针对头发的不可伸展性和数量过大造成的头发仿真时性能低效、真实感不高问题,提出一种新的头发动态仿真方法。该方法首先利用弹簧模型对单根头发进行建模,然后采用DFTL(Dynamic Follow The Leader)算法进行变形计算,并基于FTL(Static Follow The Leader)算法对头发进行快速插值,最后运用Deep Opacity Mapping技术对头发进行渲染,增强虚拟人头发的真实感。同时,对头发与头部模型、头发与头发进行碰撞检测与响应。实验结果表明,该方法生成的头发逼真自然,而且在大量渲染时保持了较高的稳定性。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

Humanoid Audio–Visual Avatar With Emotive Text-to-Speech Synthesis

Emotive audio–visual avatars are virtual computer agents which have the potential of improving the quality of human-machine interaction and human-human communication significantly. However, the understanding of human communication has not yet advanced to the point where it is possible to make realistic avatars that demonstrate interactions with natural- sounding emotive speech and realistic-looking emotional facial expressions. In this paper, We propose the various technical approaches of a novel multimodal framework leading to a text-driven emotive audio–visual avatar. Our primary work is focused on emotive speech synthesis, realistic emotional facial expression animation, and the co-articulation between speech gestures (i.e., lip movements) and facial expressions. A general framework of emotive text-to-speech (TTS) synthesis using a diphone synthesizer is designed and integrated into a generic 3-D avatar face model. Under the guidance of this framework, we therefore developed a realistic 3-D avatar prototype. A rule-based emotive TTS synthesis system module based on the Festival-MBROLA architecture has been designed to demonstrate the effectiveness of the framework design. Subjective listening experiments were carried out to evaluate the expressiveness of the synthetic talking avatar.      

Avatar culture: cross-cultural evaluations of avatar facial expressions

Avatars are increasingly used to express our emotions in our online communications. Such avatars are used based on the assumption that avatar expressions are interpreted universally among all cultures. This paper investigated cross-cultural evaluations of avatar expressions designed by Japanese and Western designers. The goals of the study were: (1) to investigate cultural differences in avatar expression evaluation and apply findings from psychological studies of human facial expression recognition, (2) to identify expressions and design features that cause cultural differences in avatar facial expression interpretation. The results of our study confirmed that (1) there are cultural differences in interpreting avatars’ facial expressions, and the psychological theory that suggests physical proximity affects facial expression recognition accuracy is also applicable to avatar facial expressions, (2) positive expressions have wider cultural variance in interpretation than negative ones, (3) use of gestures and gesture marks may sometimes cause counter-effects in recognizing avatar facial expressions.     

Data-driven facial expression synthesis via Laplacian deformation

Realistic talking heads have important use in interactive multimedia applications. This paper presents a novel framework to synthesize realistic facial animations driven by motion capture data using Laplacian deformation. We first capture the facial expression from a performer, then decompose the motion data into two components: the rigid movement of the head and the change of the facial expression. By making use of the local-detail preserving property of the Laplacian coordinate, we clone the captured facial expression onto a neutral 3D facial model using Laplacian deformation. We choose some expression “independent points” in the facial model as the fixed points when solving the Laplacian deformation equations. Experimental results show that our approach can synthesize realistic facial expressions in real time while preserving the facial details. We compare our method with the state-of-the-art facial expression synthesis methods to verify the advantages of our method. Our approach can be applied in real-time multimedia systems.     

Communication Interface with Eye-Gaze and Head Gesture Using Successive DP Matching and Fuzzy Inference

This paper proposes a communication interface with eye-gaze and head gesture. Visual sensorimotor integration with eye-head cooperation is considered, especially head gesture accompanied with vestibulo-ocular reflex is used for selecting object in the screen. Eye-mark recorder and motion tracking system were used to tracking eye movement and head movement, respectively. Nonverbal response animation with eye contact was introduced in the interaction system. In identifying the head gesture, we adopted a modified dynamic programming matching method and fuzzy inference.     

面向虚拟化身的人脸表情模拟技术

为了实现基于增强现实的电子沙盘环境中的异地可视化交互功能,提出了一种面 向虚拟化身的三维表情模拟技术。首先,使用 RGB 摄像头跟踪异地作业人员的表情,基于约 束局部模型(CLM)提取人脸特征点数据后传输到本地;然后,采用基于径向基函数的插值算法 计算虚拟化身面部网格点的坐标,驱动模型模拟出与异地作业人员相同的表情;最后,为了提 高变形算法的精度和效率,提出一种基于贪心算法与人脸肌群分布的插值控制点选取和分区域 插值方法。实验结果表明,该算法能够满足实际应用对实时性和真实感的需求。     

An Eye Gaze Model for Dyadic Interaction in an Immersive Virtual Environment: Practice and Experience

This paper describes a behavioural model used to simulate realistic eye‐gaze behaviour and body animations for avatars representing participants in a shared immersive virtual environment (IVE). The model was used in a study designed to explore the impact of avatar realism on the perceived quality of communication within a negotiation scenario. Our eye‐gaze model was based on data and studies carried out on the behaviour of eye‐gaze during face‐to‐face communication. The technical features of the model are reported here. Information about the motivation behind the study, experimental procedures and a full analysis of the results obtained are given in [ 17 ].     

利用主动外观模型合成动态人脸表情

人脸表情发生变化时,面部纹理也相应地改变;为了方便有效地模拟这一动态的表情变化过程,提出一种基于主动外观模型的人脸表情合成方法.首先离线学习人脸表情与人脸形状和外观参数之间的关系,利用该学习结果实现对输入人脸图像的表情合成;针对合成图像中眼睛和牙齿模糊的缺点,利用合成的眼睛图像和牙齿模板来替代模糊纹理.实验结果表明,该方法能合成不同表情强度和类型的表情图像;合成的眼睛图像不仅增强了表情的真实感,同时也便于实现眼睛的动画.