计算机视觉与机器学习技术在三维人体动画中的应用综述

近年来计算机视觉与机器学习技术广泛应用于三维人体动画领域中.基于图像/视频的人体运动数据获取技术、数字角色和场景建模、交互式角色动画控制与运动生成等方面都大量应用了计算机视觉技术;同时,机器学习理论在三维人体运动数据重用以及后期智能角色动画创作中扮演了越来越重要的角色,并得到一些很好的研究成果.文中以三维人体动画创作流程为主线对这些方法的基本思想和关键技术进行了归纳与分析,并讨论了三维人体动画制作技术的发展趋势.     

基于视频的人体动画

现有的基于运动捕获的动画普遍存在投资大，人体的运动受到捕获设备限制等缺陷。提出了新的基于视频的人体动画技术，首先从视频中捕获人体运动，然后将编辑处理后的运动重定向到动画角色，产生满足动画师要求的动画片段。对其中的运动捕获、运动编辑和运动重定向等关键技术进行了深入研究，并基于这些关键技术开发了一个基于双像机的视频动画系统（VBHA），系统运行结果表明了从来源广、成本低的视频中捕获运动，并经过运动编辑和运动重定向后生成逼真动画的可行性。     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。     

基于运动传播和Isomap分析的三维人脸动画编辑与合成

提出一种三维人脸动画数据编辑与合成的有效方法,使用户可以在三维人脸模型上选定控制点,并在二维平面上指定表情动作的约束条件.根据人脸动画数据训练一个先验概率模型,将较少的用户约束传播到人脸网格的其他部分,从而生成完整生动的人脸表情;通过Isomap学习算法对三维人脸动画知识进行建模,并结合用户指定的关键帧拟合高维曲面上的平滑测地线,以自动合成新的人脸动画序列.实验结果表明,该方法可以直观地对人脸动画的生成进行交互式控制,并能生成较为逼真的表情动画.     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

基于紧身衣的人体动画研究

传统人体动画技术计算量大,缺乏真实感,制作成本昂贵.为此,提出了一种基于紧身衣和相机定标的新的人体动画技术.将身穿紧身衣模特的运动拍摄成视频后,可在图像序列中自动跟踪人体关节信息,并建立透视投影下的三维人体运动骨架序列,最终通过自动生成BVH(biovision hierarchy)文件与当今流行的Poser, 3DMax等人体动画制作软件接口,将模特的运动信息赋予新的角色.该方法具有运动信息来源广泛、高效、制作成本低等特点,而且产生的人体运动非常真实.这不仅将动画师从枯燥的工作中解放出来,而且也可用于家     

融合手绘风格的卡通角色动画生成方法

手绘风格的卡通动画具有灵活、自然、表现力强等特点.为了快速地创作体现手绘风格的卡通角色动画,提出一种基于多视点手绘图的动画生成方法.首先利用手绘图构建角色的三维网格和骨架子空间模型;然后结合姿态重建和微分域网格变形算法,创建一组与多视点手绘图相匹配的视点相关模型,以表达手绘风格;最后通过运动标注和启发式泛化算法将手绘风格融入输入的运动序列,使生成的动画既保留运动序列的原始特征,又体现手绘图的笔画风格.实验结果表明,该方法能够有效地生成体现手绘风格的卡通角色动画.     

实时三维人体卡通运动的设计与实现

为了实现虚拟角色的三维卡通运动,提出一种结合卡通滤波与骨骼模型自动绑定的实时生成算法.首先运用高斯拉普拉斯算子对捕获的运动数据进行滤波,然后用热量平衡的原理来自动绑定给定的人体模型,最后将滤波后的运动数据加载到绑定好的模型中,生成卡通化的夸张的动画序列.为了避免出现"collapse"和"candy wrapper"等走样现象,采用了SBS算法对网格进行变形.运动捕获数据滤波与蒙皮过程均使用GPU进行了加速.实验结果表明,运用该算法生成的动画效果满足动画法则,网格变形后表面光滑,用户交互简单.     

基于视频序列的人体运动分析系统的研究与实现

基于视频的人体运动分析是通过视频序列对人体的运动进行检测、分割和跟踪，获得人体或者某一部位的运动信息，生成人体的运动轨迹以及各运动学和动力学参数，达到分析人体三维运动的目的。人体运动属于连接型非刚体运动的范畴，具有高度的非线性特点，利用视频进行人体运动分析，有着极大的研究价值和现实应用前景。本文以单目视频中人体的跳远运动为研究对象．研究与实现了一个基于视频序列的人体运动分析系统。     

多角色与虚拟场景的运动融合

在基于运动捕获的计算机动画中,已提出的各种运动编辑的方法大都针对单个角色运动进行处理,而且角色的运动多数是事先规划好的,缺乏对外界环境变化的响应能力.为了提高角色对环境的感知、响应能力以及角色间的自主协同能力,提出将多个结构化环境下捕获的单角色运动融合到同一个非结构化虚拟环境下的"运动融合"的新概念和方法,并根据运动决策、运动协调、运动求解和运动执行的体系结构对运动规划、多角色协同、离散运动模式决策和连续运动姿势生成等关键问题进行了深入研究.实验结果表明,提出的方法能够真正有效地实现同一场景下角色与场景协调的运动融合.动画角色的高自主性和运动捕获数据的高重用性使得提出的方法在计算机动画和游戏中具有普遍的应用价值.