面向移动数字娱乐的卡通人脸动画系统

给出了一个移动平台下的卡通人脸动画系统,其输入是一张二维真实人脸照片和一段文本,输出为具有娱乐效果的手机卡通人脸动画。首先,根据输入的照片生成人物的卡通肖像,采用了基于特征发现的卡通人脸肖像生成方法。其次,在卡通肖像的基础上结合文本驱动产生卡通人脸动画。最后,将系统移植到移动平台,在手机上播放卡通人脸动画,该系统在局域网和PDA上具有很好的娱乐动画效果。     

面向移动的卡通人脸生成系统

本文给出了一个面向移动数字娱乐的肖像漫画生成系统。该系统的输入是一张真实人脸照片，输出为具有娱乐效果的夸张人脸肖像。主要研究内容包括；第一，人脸照片的肖像插图画的生成。文中采用了Unsharp Mask锐化处理结合色彩缩放运算的方法，本方法不仅考虑到移动设备用户对计算速度的要求，而且能保留人脸的绝大部分特征，从而更为有效地生成人脸的肖像插图画。第二，人脸表情变形以产生人物的幽默漫画。对基于特征的变形方法进行了改进，使其更加自动化。此外，本文改进了传统的ASM方法，用来帮助去除人脸图像背景信息和更为方便地控制人脸上的特征点。整个系统在局域网和PDA上表现出了很好的娱乐效果。     

一种语音和文本联合驱动的卡通人脸动画方法

提出了一种由语音和文本共同驱动的卡通人脸动画方法.建立了卡通人脸音节-视位参数库,并对音节-视位参数进行非监督聚类分析,获得32个人脸视位基本类型,基于文本信息进行音节切分,获得准确的时长参数.结合视位的基本类型和语音时长参数,可以对输入的语音/文本进行连续动画拼接.对从影视作品中收集的100条具有娱乐效果的语音/文本进行的实验表明,本文提出的方法可以克服单独的语音驱动或文本驱动的不足,取得较好的卡通人脸动画效果.     

真实感人脸语音同步动画系统*

提出了一个人脸动画与语音同步的系统,重点解决协同发音、表现人脸细微表情特征的问题。输入带有情绪标志的文本,就能够产生对应表情的、与语音同步的人脸动画;本系统能够生成各种不同性别、年龄、表情特征的高度真实感3D人脸模型,人脸细微表情特征(如额头皱纹)可以随人脸表情的变化而动态改变。基于语言学理论,本系统提出了解决协同发音问题的一套规则。     

基于照片的可编辑光照效果卡通人脸生成算法

提出一种基于照片的可编辑光照效果卡通人脸图像生成算法。算法首先提取输入人脸照片的边缘轮廓,生成线条画;其次对输入照片进行本征分解,分离出光照图像和材质图像;然后对光照图像进行光照编辑,如量化、非线性增强等;对材质图像进行抽象化处理,并融合线条画得到卡通图像;最后将编辑过的光照图像添加到卡通图像上生成含有光照效果的人脸卡通图像。实验结果表明:该算法生成的人脸卡通图像效果逼真,并且可对光照进行编辑。     

快速人脸动画方法

本文介绍了一种简单有效的由单幅人脸照片生成人脸变形动画的方法．首先，根据一张人脸正面的照片，使用特征识别的方法生成人脸模型，然后使用模型关键表情插值法产生人脸变形动画．这种方法的优点在于只需要一张人脸正面照片，在更低的硬件条件下达到或接近其他方法生成的人脸动画效果。     

改进Wav2Lip的文本音频驱动人脸动画生成

为了提高中文唇音同步人脸动画视频的真实性, 本文提出一种基于改进Wav2Lip模型的文本音频驱动人脸动画生成技术. 首先, 构建了一个中文唇音同步数据集, 使用该数据集来预训练唇部判别器, 使其判别中文唇音同步人脸动画更加准确. 然后, 在Wav2Lip模型中, 引入文本特征, 提升唇音时间同步性从而提高人脸动画视频的真实性. 本文模型综合提取到的文本信息、音频信息和说话人面部信息, 在预训练的唇部判别器和视频质量判别器的监督下, 生成高真实感的唇音同步人脸动画视频. 与ATVGnet模型和Wav2Lip模型的对比实验表明, 本文模型生成的唇音同步人脸动画视频提升了唇形和音频之间的同步性, 提高了人脸动画视频整体的真实感. 本文成果为当前人脸动画生成需求提供一种解决方案.     

基于单张图像的三维人脸建模与表情动画

在人机交互、数字娱乐等领域,传统的表情合成技术难以稳定地生成具有真实感的个性化人脸表情动画.为此,提出一种基于单张图像的三维人脸建模和表情动画系统.自动检测人脸在图像中的位置,自动定位人脸上的关键点,基于这些关键点和形变模型重建个性化三维人脸模型,对重建的人脸模型进行扩展得到完整的人脸网格,采用稀疏关键点控制的动画数据映射方法来驱动重建的人脸模型生成动态表情动画.实验结果表明,该方法稳定性强、自动化程度高,人脸模型与表情动画比较逼真.     

漫画风格的人脸肖像生成算法

为模拟艺术家画出的具有夸张效果的肖像漫画,由用户输入正面人脸照片,通过交互获取关键特征点,根据特征点计算面部特征值来判断需要夸张的部分和各自的夸张方式;然后根据特征点自动生成不同层级的网格并分层实施夸张变形;最后进行图像处理以获得不同艺术风格的图像.该算法从研究漫画家的作画风格入手,总结了肖像漫画特定的夸张规律,所生成的漫画风格人脸肖像效果较好,能够应用于非真实感图形学和数字娱乐等领域.     

基于文本驱动的人脸表情动画系统

人脸表情动画是计算机图形学的重要研究领域之一,在影视和游戏中的虚拟人的应用促进了它的发展,它主要研究若干种典型表情的产生以及利用已有表情产生中间过渡表情。本文主要介绍了表情动画的研究现状,并且设计实现了基于文本驱动的人脸表情变化系统。     

全自动的基于MPEG-4的任意拓扑结构人脸动画

构造任意拓扑结构人脸网格的人脸动画定义表是基于MPEG-4的任意拓扑结构人脸动画系统的关键．通过搜索三维模型的二维纹理图像特征，提出一种自动地在任意拓扑结构三维人脸模型上定位特征点的方法．通过利用任意拓扑结构人脸模型上的三维特征点变形标准人脸模型，并根据标准人脸模型的动画定义表，实现了自动、准确地构造任意拓扑结构人脸模型动画定义表的方法．给定一个任意拓扑结构三维人脸模型，通过文中方法可以全自动地驱动所给人脸模型做动画．     

Performance‐driven animation of hand‐drawn cartoon faces

We present a novel performance‐driven approach to animating cartoon faces starting from pure 2D drawings. A 3D approximate facial model automatically built from front and side view master frames of character drawings is introduced to enable the animated cartoon faces to be viewed from angles different from that in the input video. The expressive mappings are built by artificial neural network (ANN) trained from the examples of the real face in the video and the cartoon facial drawings in the facial expression graph for a specific character. The learned mapping model makes the resultant facial animation to properly get the desired expressiveness, instead of a mere reproduction of the facial actions in the input video sequence. Furthermore, the lit sphere, capturing the lighting in the painting artwork of faces, is utilized to color the cartoon faces in terms of the 3D approximate facial model, reinforcing the hand‐drawn appearance of the resulting facial animation. We made a series of comparative experiments to test the effectiveness of our method by recreating the facial expression in the commercial animation. The comparison results clearly demonstrate the superiority of our method not only in generating high quality cartoon‐style facial expressions, but also in speeding up the animation production of cartoon faces. Copyright © 2011 John Wiley & Sons, Ltd.     

Data-Driven Facial Simulation

In Visual Effects, the creation of realistic facial performances is still a challenge that the industry is trying to overcome. Blendshape deformation is used to reproduce the action of different groups of muscles, which produces realistic static results. However, this is not sufficient to generate believable and detailed facial performances of animated digital characters. To increase the realism of facial performances, it is possible to enhance standard facial rigs using physical simulation approaches. However, setting up a simulation rig and controlling material properties according to the performance is not an easy task and could take a lot of time and iterations to get it right. We present a workflow that allows us to generate an activation map for the fibres of a set of superficial patches we call pseudo-muscles. The pseudo-muscles are automatically identified using k-means to cluster the data from the blendshape targets in the animation rig and compute the direction of their contraction (direction of the pseudo-muscle fibres). We use an Extended Position–Based Dynamics solver to add physical simulation to the facial animation, controlling the behaviour of simulation through the activation map. We show the results achieved using the proposed solution on two digital humans and one fantastic cartoon character, demonstrating that the identified pseudo-muscles approximate facial anatomy and the simulation properties are properly controlled, increasing the realism while preserving the work of animators.     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

Facial animation retargeting and control based on a human appearance space

Expressive facial animations are essential to enhance the realism and the credibility of virtual characters. Parameter‐based animation methods offer a precise control over facial configurations while performance‐based animation benefits from the naturalness of captured human motion. In this paper, we propose an animation system that gathers the advantages of both approaches. By analyzing a database of facial motion, we create the human appearance space. The appearance space provides a coherent and continuous parameterization of human facial movements, while encapsulating the coherence of real facial deformations. We present a method to optimally construct an analogous appearance face for a synthetic character. The link between both appearance spaces makes it possible to retarget facial animation on a synthetic face from a video source. Moreover, the topological characteristics of the appearance space allow us to detect the principal variation patterns of a face and automatically reorganize them on a low‐dimensional control space. The control space acts as an interactive user‐interface to manipulate the facial expressions of any synthetic face. This interface makes it simple and intuitive to generate still facial configurations for keyframe animation, as well as complete temporal sequences of facial movements. The resulting animations combine the flexibility of a parameter‐based system and the realism of real human motion. Copyright © 2010 John Wiley & Sons, Ltd.     

人脸表情动画

人脸表情动画是计算机动画研究的一个重要分支．它有着十分广泛的应用前景。本文评述了国内外人脸表情动画方法和技术研究现状，提出了进一步需要解决的问题。并针对真人脸表情点提取难题给出了一个有效的特别的解决方案。     

具有真实感的三维人脸动画

具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的研究课题.如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点.提出一种实时的三维人脸动画方法,该方法将人脸模型划分成若干个运动相对独立的功能区,然后使用提出的基于加权狄里克利自由变形DFFD(Dirichlet free-form deformation)和刚体运动模拟的混合技术模拟功能区的运动.同时,通过交叉的运动控制点模拟功能区之间运动的相互影响.在该方法中,人脸模型的运动通过移动控制点来驱动.为了简化人脸模型的驱动,提出了基于MPEG-4中脸部动画参数FAP(facial animation parameters)流和基于肌肉模型的两种高层驱动方法.这两种方法不但具有较高的真实感,而且具有良好的计算性能,能实时模拟真实人脸的表情和动作.     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

语音驱动人脸唇形动画的实现

提出了一种实现语音直接驱动人脸唇形动画的新方法。结合人脸唇部运动机理，建立了与唇部运动相关肌肉拉伸和下颌转动的唇形物理模型，对输入的语音信号进行分析和提取其与唇部运动相关的特征参数，并直接将其映射到唇形物理模型的控制参数上，驱动唇形动画变形，实现输入语音和唇形动画的实时同步。仿真实验结果表明，该方法有效实现了语音和唇形的实时同步，唇形动画效果更接近自然，真实感更强。且该唇形物理模型独立于人脸几何模型，可广泛应用于各类人脸唇形动画的语音驱动，具有良好的普适性和可扩展性。