计算机视觉与机器学习技术在三维人体动画中的应用综述

近年来计算机视觉与机器学习技术广泛应用于三维人体动画领域中.基于图像/视频的人体运动数据获取技术、数字角色和场景建模、交互式角色动画控制与运动生成等方面都大量应用了计算机视觉技术;同时,机器学习理论在三维人体运动数据重用以及后期智能角色动画创作中扮演了越来越重要的角色,并得到一些很好的研究成果.文中以三维人体动画创作流程为主线对这些方法的基本思想和关键技术进行了归纳与分析,并讨论了三维人体动画制作技术的发展趋势.     

人体运动生成中的深度学习模型综述

人体运动捕捉中复杂的时空结构信息使其在数据驱动角色动画、序列拼接和风格融合等运动生成研究领域极具挑战性.聚焦于深度学习在计算机图形学中所获得的巨大成功,首先从模型结构和理论优化2个方面对运动捕捉数据中人体骨骼动画生成所使用的4类生成式深度学习模型(受限玻尔兹曼机、循环神经网络、卷积神经网络、深度强化学习)及其混合学习方法进行全面概括和总结;接着探讨这些典型深度学习模型对人体骨骼运动数据时空特征提取的能力,并量化对比其在不同生成任务中的实验效果;最后深入分析各种深度模型的优势及亟待解决的难题,并对新型深度学习模型在运动生成中的发展趋势进行了展望.     

基于运动捕获数据的虚拟人动画研究

随着三维游戏等行业对计算机动画制作需求的增加,在三维动画制作软件中人工调整虚拟人动作的工作方式已经不再适合现在的计算机动画制作。运动捕获技术是直接记录物体的运动数据并将其用于生成计算机动画,具有高效率、所生成的动画真实感强等优点,因而获得了广泛应用。提出了一种利用运动捕获数据来生成动画的方法,基于运动捕获得到的数据建立并驱动三维骨架模型,从而产生骨架的运动,形成动画。该方法可以充分利用现有的大量运动捕获数据,因此具有较大的应用前景。     

多角色与虚拟场景的运动融合

在基于运动捕获的计算机动画中,已提出的各种运动编辑的方法大都针对单个角色运动进行处理,而且角色的运动多数是事先规划好的,缺乏对外界环境变化的响应能力.为了提高角色对环境的感知、响应能力以及角色间的自主协同能力,提出将多个结构化环境下捕获的单角色运动融合到同一个非结构化虚拟环境下的"运动融合"的新概念和方法,并根据运动决策、运动协调、运动求解和运动执行的体系结构对运动规划、多角色协同、离散运动模式决策和连续运动姿势生成等关键问题进行了深入研究.实验结果表明,提出的方法能够真正有效地实现同一场景下角色与场景协调的运动融合.动画角色的高自主性和运动捕获数据的高重用性使得提出的方法在计算机动画和游戏中具有普遍的应用价值.     

基于视频的角色动画

现有的计算机动画制作普遍存在投资大、效率不高等缺陷.为此,提出了利用计算机视觉技术中的一种基于特征的跟踪方法-KL(Kanade-Lucas)算法.首先捕获视频中角色的二维运动信息,然后进行三维重建生成满足动画要求的三维角色运动序列,最后将三维角色运动序列重定向到动画模型中去,从而得到逼真的角色动画.实际运行结果表明,从来源广、成本低的视频中完成角色运动提取与合成,从而生成逼真动画的可行性.     

基于人体自然比例特征的参数化骨架建模方法

关节角色动画一般是由角色的骨架模型控制运动,人物角色动画作为关节动画领域热门研究方向之一,广泛应用于计算机动画,人体运动分析,人机工程,运动捕捉以及计算机视觉等领域。人体骨架的各部分长度具有一定的自然比例特点。因此,我们提出了一种基于人物骨架长度比例特点的人物角色建模方法,通过研究人体各部分骨架长度的比例特点,将骨架模型参数化,并最终建立满足运动捕捉数据的层次骨架模型。实验表明,该文提出的方法可以快速的获得标准的人体骨架模型,方便于角色动画的建立,参数化的骨架也使我们能够获得不同人物特征的骨架模型,满足于不同领域的需要。     

基于动作捕捉技术的民族舞蹈三维数字化方法研究

研究民族舞蹈三维动捕数据真实全面的获取方法,并以此方法指导摆手舞的三维数据采集。同时本文以舞蹈动画生成为例介绍民族舞蹈三维数据化的后期应用,建立带有民族特色角色建模并辅以骨骼绑定,而后将角色模型与动捕数据进行运动数据绑定,以实现舞蹈三维动捕数据驱动角色模型生成动画的目标,动画制作的效率得到了提高。表明动作捕捉技术可用于保护我国民族舞蹈艺术文化,基于动捕技术的民族舞蹈三维数字化方法的推广将产生积极的社会效益和经济效益。     

基于BVH驱动的OGRE骨骼动画*

OGRE游戏引擎中的角色动画将模型与骨骼文件进行映射。若想在不借助第三方建模软件重新制作模型和动画的基础上更改现有模型的动作,获取与模型匹配的骨骼数据成为一个难题。提出了一种将标准BVH动作文件解析为XML文件的方法,生成与OGRE模型匹配的骨骼文件,将来源广泛的BVH文件作为动作数据,极大地丰富了OGRE角色动画。实验结果证明,转换后的BVH可以与OGRE中的模型融合起来,从而驱动模型。     

基于特征技术的三维角色动画

为了将动画师从底层繁重的重复性劳动中解放出来,提高动画创作的生产效率,计算机动画的研究开始专注于如何管理、重用已有的运动捕获数据,在此平台上构建高层控制,开发智能化的三维角色动画。本文的工作就是探索运动捕获数据自动处理与重用方法,并在此基础上构建高层的特征技术,实现智能化方便动画师创作．以提高动画创作的生产率。本文提出了运动数据特征化、风格化运动编辑与合成等技术,描绘了一个基于特征的三维动画制作流程。     

一种视频驱动的三维虚拟人动画实现方法

研究实现三维人体动画具有广泛的应用前景和实用意义,提出了一种二维视频驱动的三维人体动画实现方法。基于动态帧的关键帧提取算法从二维视频中构建了二维关键帧集合;基于二维关键帧构建二维人体骨骼模型;利用小孔成像原理和勾股定理计算得到关节特征点的深度坐标,从而得到了反映人体动画的三维数据。实验结果表明,该方法生成的三维人体动画形象逼真、成本低、提高了运动生成的实时性,能够应用于虚拟现实、计算机游戏、三维视频游戏制作等领域。     

基于动画特征的视频 方法*

针对动画视频与新闻视频、体育运动视频的不同特点,提出了一种适合动画视频的 技术。首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构;然后根据动画视频内容的重要度来选取视频中的重要片段;最后通过粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频 。实验表明该方法能有效地获得动画视频 。     

一种面向动画视频的摘要方法

动画视频摘要是目前热门的动画视频处理和检索技术的重要组成部分.针对动画视频与新闻视频、体育运动视频显著不同的特点,提出了一种适合动画视频的摘要方法.首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构,然后分析动画视频内容的重要度选取视频中的重要片段,最后通过缩略粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频摘要.实验证明,该方法比较有效地获得了动画视频摘要,两种形式的摘要对动画视频能够很好的概括和缩略.     

三维实体造型动画系统的设计及实现

造型动画是基于物理模型的计算机动画，遵循真实的运动学和动力学规律，而三维实体造型动画一直是动画开发人员及用户追求的终极目标。论述了三维实体造型动画系统的动画表现原理和动画运动轨迹的确定。应用Ⅵsual C 结合OpenGL实现了旋转、爆炸和解除爆炸的三维实体造型动画，并利用Visual C 的AVICap窗口类实现了动画过程的视频捕获，以及将捕获结果以AVI文件的形式记录下来。     

教学视频的动画视觉设计研究——以微课作品《伤口的愈合》为例

随着信息化时代的到来,我国各大高校加快了在线公开课程(MOOC)、微课堂等信息技术教学的推进,信息可视化在教育领域逐步得到广泛运用,视频处理技术成为其中不可或缺的要素。本文论述了教学视频中动画视觉设计的特点与作用,以微课《伤口的愈合》为例,从动画视觉设计的形象视角、色彩、特效等艺术手段切入分析,梳理了动画视觉设计在教学视频中呈现设计的要点。     

4D video textures for interactive character appearance

4D Video Textures (4DVT) introduce a novel representation for rendering video‐realistic interactive character animation from a database of 4D actor performance captured in a multiple camera studio. 4D performance capture reconstructs dynamic shape and appearance over time but is limited to free‐viewpoint video replay of the same motion. Interactive animation from 4D performance capture has so far been limited to surface shape only. 4DVT is the final piece in the puzzle enabling video‐realistic interactive animation through two contributions: a layered view‐dependent texture map representation which supports efficient storage, transmission and rendering from multiple view video capture; and a rendering approach that combines multiple 4DVT sequences in a parametric motion space, maintaining video quality rendering of dynamic surface appearance whilst allowing high‐level interactive control of character motion and viewpoint. 4DVT is demonstrated for multiple characters and evaluated both quantitatively and through a user‐study which confirms that the visual quality of captured video is maintained. The 4DVT representation achieves >90% reduction in size and halves the rendering cost.     

Performance‐driven animation of hand‐drawn cartoon faces

We present a novel performance‐driven approach to animating cartoon faces starting from pure 2D drawings. A 3D approximate facial model automatically built from front and side view master frames of character drawings is introduced to enable the animated cartoon faces to be viewed from angles different from that in the input video. The expressive mappings are built by artificial neural network (ANN) trained from the examples of the real face in the video and the cartoon facial drawings in the facial expression graph for a specific character. The learned mapping model makes the resultant facial animation to properly get the desired expressiveness, instead of a mere reproduction of the facial actions in the input video sequence. Furthermore, the lit sphere, capturing the lighting in the painting artwork of faces, is utilized to color the cartoon faces in terms of the 3D approximate facial model, reinforcing the hand‐drawn appearance of the resulting facial animation. We made a series of comparative experiments to test the effectiveness of our method by recreating the facial expression in the commercial animation. The comparison results clearly demonstrate the superiority of our method not only in generating high quality cartoon‐style facial expressions, but also in speeding up the animation production of cartoon faces. Copyright © 2011 John Wiley & Sons, Ltd.     

三维动画表演教学研究——浅析动画表演中角色动作与角色情感性格

随着科技的发展,数字动画及影视特技特效越来越被广泛应用,三维动画作为新兴科技、艺术、技术和表演的综合体,被广泛应用在虚拟现实中。动画师作为动画角色的创作者表演有着至关重要作用。在动画创作过程中,要使动画师能够抓住角色的性格,必须亲身体验角色表演的整个过程,抓住角色的肢体语言动作与角色的情态特征,使所创作的角色更加鲜活。     

Flash动画在网页中的应用

多媒体技术是当今Internet持续流行的一个重要动力。早期的网页大多是文字或图像构成,由于多媒体技术的发展,音乐、动画、视频等媒体的应用越来越广泛,极大丰富了网页的内容,主要介绍网页中如何嵌入Flash动画以及如何实现Flash动画与网页相互调用的方法。     

改进Wav2Lip的文本音频驱动人脸动画生成

为了提高中文唇音同步人脸动画视频的真实性, 本文提出一种基于改进Wav2Lip模型的文本音频驱动人脸动画生成技术. 首先, 构建了一个中文唇音同步数据集, 使用该数据集来预训练唇部判别器, 使其判别中文唇音同步人脸动画更加准确. 然后, 在Wav2Lip模型中, 引入文本特征, 提升唇音时间同步性从而提高人脸动画视频的真实性. 本文模型综合提取到的文本信息、音频信息和说话人面部信息, 在预训练的唇部判别器和视频质量判别器的监督下, 生成高真实感的唇音同步人脸动画视频. 与ATVGnet模型和Wav2Lip模型的对比实验表明, 本文模型生成的唇音同步人脸动画视频提升了唇形和音频之间的同步性, 提高了人脸动画视频整体的真实感. 本文成果为当前人脸动画生成需求提供一种解决方案.     

电力时代的媒体艺术

媒体艺术作为新兴艺术形式,不管是交互艺术、录像艺术、动画艺术等,都会在电力时代大的背景下有更多的探索与发展。电力时代是我们当下最广泛被应用的,因此,媒体艺术将会更多的借助于电力媒介,而不仅仅是纸媒介的应用,创作出更多有意思的艺术作品。