表演驱动的矢量化二维表情动画

为了方便快捷生成生动的卡通表情动画,提出将表情数据重定向到卡通形象上的算法.该算法由用户在卡通形象上标记出与表情数据相对应拓扑结构的控制点,以此控制点集合与表情数据首帧控制点集合做比对;使用得到的比例关系将后续表情数据重定向到卡通形象上,从而形成针对卡通形象的表情数据.实验结果表明,运用文中算法可以制作出较为生动形象的卡通表情动画.     

一个用于立体卡通动画的流水模型

提出了一个用于立体卡通动画的流水模型.介绍了如何把手工绘制的卡通流水画面分解成不同的部分,从中提取流水序列的静态信息与动态信息.基于这些信息,建立了一个具有等级结构的模型.通过调整少量的控制参数,模型可以自动生成与手工绘制卡通流水风格一致的动画序列.一个重要的工作是把卡通流水模型扩展到三维,并在CAVE立体投影系统中生成立体卡通流水动画.     

实时三维人体卡通运动的设计与实现

为了实现虚拟角色的三维卡通运动,提出一种结合卡通滤波与骨骼模型自动绑定的实时生成算法.首先运用高斯拉普拉斯算子对捕获的运动数据进行滤波,然后用热量平衡的原理来自动绑定给定的人体模型,最后将滤波后的运动数据加载到绑定好的模型中,生成卡通化的夸张的动画序列.为了避免出现"collapse"和"candy wrapper"等走样现象,采用了SBS算法对网格进行变形.运动捕获数据滤波与蒙皮过程均使用GPU进行了加速.实验结果表明,运用该算法生成的动画效果满足动画法则,网格变形后表面光滑,用户交互简单.     

视频驱动人脸动画合成

描述了一种实时的视频驱动的人脸动画合成系统.通过该系统,用户只要在摄像头前面表演各种脸部动作,就可以控制虚拟人脸的表情.首先,建立一个基于肌肉的三维人脸模型,并使用肌肉激励参数控制人脸形变.为提高人脸动画的真实感,将口轮匝肌分解为外圈和内圈两部分,同时建立脸部形变与下颌转动的关系.然后,使用一种实时的特征点跟踪算法跟踪视频中人脸的特征点.最后,将视频跟踪结果转换为肌肉激励参数以驱动人脸动画.实验结果表明,该系统能实时运行,合成的动画也具有较强真实感.与大部分现有的视频驱动的人脸动画方法相比,该系统不需要使用脸部标志和三维扫描设备,极大地方便了用户使用.     

基于图像的卡通画扫描线渲染方法

为了模拟艺术家的卡通风格绘画,提出了一种基于图像的卡通画扫描线渲染方法,对用户输入的用数码相机拍摄的图像首先提取轮廓,然后进行颜色处理,最后合并得到具有卡通风格的图像。同时,给出了基于直方图的边缘参数的计算和基于扫描线的颜色处理两个算法,自动实时地完成了渲染过程。实验结果表明,该方法的渲染效果更接近于手绘风格,适合于卡通动画和个性化照片等领域的应用。     

基于最大应用模板的服务组合模型

针对面向服务架构中的服务组合问题,提出基于最大应用模板的动态应用定制与服务组合模型,采用最大应用模板描述一类应用的业务逻辑,根据用户输入自动演化生成个性化的应用定制,并以此实现服务组合,采用基于信用的服务质量保证机制和动态重构技术保证组合的服务质量,设计并实现基于该模型的一站式服务平台DACSC,对相关算法进行仿真验证。结果表明该模型可以自动实现应用定制和服务组合,并能降低用户交互次数和服务调度次数,保证组合服务的高可用性。     

融合手绘风格的卡通角色动画生成方法

手绘风格的卡通动画具有灵活、自然、表现力强等特点.为了快速地创作体现手绘风格的卡通角色动画,提出一种基于多视点手绘图的动画生成方法.首先利用手绘图构建角色的三维网格和骨架子空间模型;然后结合姿态重建和微分域网格变形算法,创建一组与多视点手绘图相匹配的视点相关模型,以表达手绘风格;最后通过运动标注和启发式泛化算法将手绘风格融入输入的运动序列,使生成的动画既保留运动序列的原始特征,又体现手绘图的笔画风格.实验结果表明,该方法能够有效地生成体现手绘风格的卡通角色动画.     

基于个性化定制的交互式蒙版擦除动画设计与实现

随着虚拟现实技术和移动互联网技术的飞速发展,众多商家希望通过移动端实现 交互式蒙版擦除动画。然而目前在个性化实时定制、交互性等方面存在问题。为此,设计了一 种基于个性化定制的交互式蒙版擦除动画方法,包括个性化定制模块和交互式蒙版擦除动画可 视化模块,其中个性化定制模块实现了定制数据的初始化处理,交互式蒙版擦除动画可视化模 块实现了移动端甩动—可视化终端蒙版擦除—后台数据查询编辑的交互式蒙版擦除动画。搭建 了原型系统并进行了实验测试,测试结果表明,该系统可以实现移动端约 2 000 次甩动的实时 同步擦除动画可视化。     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

制作会说话的头像

一个人在网络上的头像通常代表自己在别人眼中的直接形象,而一个与众不同的头像总是能够为别人留下深刻的印象,于是一个名为Voki的头像制作网站推出了在头像中添加语音的功能,用户可以把自己制作的卡通头像放在博客、论坛等支持上传动画头像的平台,只要     

基于机器学习的语音驱动人脸动画方法

语音与唇动面部表情的同步是人脸动画的难点之一.综合利用聚类和机器学习的方法学习语音信号和唇动面部表情之间的同步关系,并应用于基于MEPG-4标准的语音驱动人脸动画系统中.在大规模音视频同步数据库的基础上,利用无监督聚类发现了能有效表征人脸运动的基本模式,采用神经网络学习训练,实现了从含韵律的语音特征到人脸运动基本模式的直接映射,不仅回避了语音识别鲁棒性不高的缺陷,同时学习的结果还可以直接驱动人脸网格.最后给出对语音驱动人脸动画系统定量和定性的两种分析评价方法.实验结果表明,基于机器学习的语音驱动人脸动画不仅能有效地解决语音视频同步的难题,增强动画的真实感和逼真性,同时基于MPEG-4的学习结果独立于人脸模型,还可用来驱动各种不同的人脸模型,包括真实视频、2D卡通人物以及3维虚拟人脸.     

Mask guided diverse face image synthesis

Recent studies have shown remarkable success in face image generation task. However, existing approaches have limited diversity, quality and controllability in generating results. To address these issues, we propose a novel end-to-end learning framework to generate diverse, realistic and controllable face images guided by face masks. The face mask provides a good geometric constraint for a face by specifying the size and location of different components of the face, such as eyes, nose and mouse. The framework consists of four components: style encoder, style decoder, generator and discriminator. The style encoder generates a style code which represents the style of the result face; the generator translate the input face mask into a real face based on the style code; the style decoder learns to reconstruct the style code from the generated face image; and the discriminator classifies an input face image as real or fake. With the style code, the proposed model can generate different face images matching the input face mask, and by manipulating the face mask, we can finely control the generated face image. We empirically demonstrate the effectiveness of our approach on mask guided face image synthesis task.     

基于中国写意风格迁移的动漫视频生成模型

目前生成式对抗网络（GAN）已经被用于图像的动漫风格转换。然而,现有基于GAN的动漫生成模型主要以日本动漫和美国动漫为对象,集中在写实风格的提取与生成,很少关注到中国风动漫中写意风格的迁移,因此限制了GAN在国内广大动漫制作市场中的应用。针对这一问题,通过将中国写意风格融入到GAN模型,提出了一种新的中国风动漫生成式对抗网络模型CCGAN,用以自动生成具有中国写意风格的动漫视频。首先,通过在生成器中增加反向残差块,构造了一个轻量级的深度神经网络模型,以降低视频生成的计算代价。其次,为了提取并迁移中国写意风格中图像边缘锐利、内容构造抽象、描边线条具有水墨质感等性质,在生成器中构造了灰度样式损失和颜色重建损失,以约束真实图像和中国风样例图像在风格上的高层语义一致性,并且在判别器中构造了灰度对抗损失和边缘促进对抗损失,以约束重构图像与样例图像保持相同的边缘特性。最终,采用Adam算法最小化上述损失函数,从而实现风格迁移,并将重构图像组合为视频。实验结果表明,与目前最具代表性的风格迁移模型CycleGAN与CartoonGAN相比,所提CCGAN可从以《中国唱诗班》为例的中国风动漫中有效地学习到中国写意风格,同时显著降低了计算代价,适合于大批量动漫视频的快速生成。     

人脸建模与动画的研究

1.引言人脸建模与动画(face modeling and animation)是计算机图形学中最富有挑战性的课题之一。这是因为:首先,人脸的几何形状非常复杂,其表面不但具有无数细小的皱纹,而且呈现颜色和纹理的微妙变化,因此建立精确的人脸模型、生成真实感人脸非常困难;其次,脸部运动是骨骼、肌肉、皮下组织和皮肤共同作用的结果,其运动机理非常复杂,因此生成真实感人脸动画非常困难;另外,我们人类生来就具有一种识别和     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

风格强度可变的人脸风格迁移网络

目的 针对人脸风格迁移算法StarGAN （star generative adversarial network）、MSGAN （mode seeking generative adversarial network）等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点，提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN （multilayer StarGAN）。方法 首先，通过特征金字塔网络（feature pyramid network，FPN）构建前置编码器，生成蕴含有图像细节特征的多层特征向量，增强生成图像在风格传输时能学习到的风格图像的细节风格；其次，使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合，利用组合后的风格向量进行风格传输，使生成图像具有不同的风格迁移强度；最后，采用权重解调算法作为生成器中的风格传输模块，通过对卷积权重的操作代替在特征图上的归一化操作，消除特征图中的特征伪影，减少生成图像中的失真。结果 在Celeba_HQ数据集上进行实验，与MSGAN、StarGAN v2等对比算法相比，在参考引导合成实验中，MStarGAN的FID （Frechét inception distance score）指标分别降低了18.9和3.1，LPIPS （learnedperceptual image patch similarity）指标分别提升了0.094和0.018。在潜在引导合成实验中，MStarGAN的FID指标分别降低了20.2和0.8，LPIPS指标分别提升了0.155和0.92，并能够生成具有不同风格强度的结果图像。结论 提出的算法能够传输图像的细节风格，生成具有不同强度的输出图像，并减少生成图像的失真。     

Animating expressive faces across languages

This paper describes a morphing-based audio driven facial animation system. Based on an incoming audio stream, a face image is animated with full lip synchronization and synthesized expressions. A novel scheme to implement a language independent system for audio-driven facial animation given a speech recognition system for just one language, in our case, English, is presented. The method presented here can also be used for text to audio-visual speech synthesis. Visemes in new expressions are synthesized to be able to generate animations with different facial expressions. An animation sequence using optical flow between visemes is constructed, given an incoming audio stream and still pictures of a face representing different visemes. The presented techniques give improved lip synchronization and naturalness to the animated video.     

试论高校动画本科教育改革

近年来,我国的动漫产业正在迅速成长,对动漫人才的需求猛增,出现了动漫人才紧缺的现象。而作为动漫产业人才培养的主要基地——高校动画本科教育却由于各种原因无法培养合格的动漫人才。针对这一问题,本论文旨在通过研究当前我国动漫产业对人才的需求与高校动画本科教育之间的主要矛盾,寻找一条适合高校动画本科教育的人才培养模式,解决我国动漫人才紧缺的情况。     

Facial Image Attributes Transformation via Conditional Recycle Generative Adversarial Networks

This study introduces a novel conditional recycle generative adversarial network for facial attribute transformation, which can transform high-level semantic face attributes without changing the identity. In our approach, we input a source facial image to the conditional generator with target attribute condition to generate a face with the target attribute. Then we recycle the generated face back to the same conditional generator with source attribute condition. A face which should be similar to that of the source face in personal identity and facial attributes is generated. Hence, we introduce a recycle reconstruction loss to enforce the final generated facial image and the source facial image to be identical. Evaluations on the CelebA dataset demonstrate the effectiveness of our approach. Qualitative results show that our approach can learn and generate high-quality identity-preserving facial images with specified attributes.     

人脸老化/去龄化的高质量图像生成模型

目的 近年来关于人脸老化/去龄化的研究在深度学习的推动下取得了飞速发展,2017年提出的条件对抗自编码器（CAAE）人脸老化/去龄化模型生成的人脸不仅可信度高,而且更贴近目标年龄。然而在人脸老化/去龄化过程中仍存在生成图像分辨率低、人工鬼影噪声严重（生成人脸器官扭曲）等问题。为此,在CAAE的基础上,提出一个人脸老化/去龄化的高质量图像生成模型（HQGM）。方法 用边界平衡对抗生成网络（BEGAN）替换CAAE中的对抗生成网络（GAN）。BEGAN在人脸图像生成上不仅分辨率更高而且具有更好的视觉效果。在此基础上,添加两个提高生成图像质量的损失函数：图像梯度差损失函数和人脸特征损失函数。图像梯度差损失函数通过缩小生成图像和真实图像的图像梯度,使生成图像具有更多轮廓等高频信息;人脸特征损失函数将生成图像和真实图像分别输入到配置预训练参数的VGG-FACE网络模型中,输出各自的特征图。通过缩小两幅特征图的对应点差值,使生成图像具有更多真实图像的人脸特征信息。结果 实验使用UTKface、FGnet和Morph数据集,经过训练,每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比,HQGM可以有效去除人工鬼影噪声,峰值信噪比高3.2 dB,结构相似性高0.06,提升显著。结论 HQGM可以生成具有丰富纹理信息和人脸特征信息的人脸老化/去龄化图像。