汉语语音同步的三维口型动画研究

针对汉语的发音习惯以及语音可视化技术中对口型动画自然、连续的要求,提出了一种基于肌肉模型与协同发音模型的与语音保持同步的口型动画的方法.首先,根据汉语发音时的口型视位特征将声、韵母音素归类,并用数据映射的方式合成与之对应的口型关键帧.通过分析输入的文本信息,合成与语音保持同步的三维人脸口型动画.为了解决汉语发音习惯的问题,设计了一种基于微分几何学描述的协同发音建模的方法,该方法通过分析相邻音子间视素的影响权重,可以产生符合汉语发音习惯的口型动画.最后,通过实验对比和分析,该方法产生的口型动画更为逼真,且符合汉语发音的习惯.     

基于SAPI的语音驱动口型动画方法

语音驱动口型动画是人脸表情动画中非常关键的部分。在研究语音与口型动画同步问题的基础上．提出一种真实、自然的语音口型动画实现方法。该方法首先对输入语音进行大段分割;再通过SAPI识别出具体的汉语序列信息;然后将汉语序列转换为音节序列;最后通过音节序列到口型序列的转换得到舍有口型时间信息的口型序列。在动画模块中利用该口型序列驱动3D人脸模型口型动画。取得了真实、自然的语音动画同步效果。     

双模态驱动的汉语语音与口型匹配控制模型

构建一种基于文本和朗读语音共同驱动的双模态语音与口型匹配控制模型,充分利用文本拼音提供正确的口型视位,利用朗读语音为口型视位提供正确的时序,在此基础上对口型几何参数和时间参数进行离散化,根据汉语语音发音机理,合理控制语音的口型动作过程。     

基于汉语文本驱动的人脸语音同步动画系统

为解决动画流与语音流的同步问题,设计并实现一种人脸语音同步动画系统。将所有中文音素分为16组中文可视音素,并用输入的人脸图像合成对应的关键帧,分析输入文本得到中文可视音素序列和动画的关键帧序列,将该关键帧序列与语音流对齐,在关键帧之间插入过渡帧的同时,播放语音流和动画流,以实现人脸语音同步动画。实验结果表明,该系统能产生符合人们视觉和听觉感受的人脸语音同步动画。     

基于语音驱动的三维人脸动画技术综述

随着三维数字虚拟人的发展,语音驱动三维人脸动画技术已经成为虚拟人交互的重要研究热点之一.其关键技术在于语音-视觉映射模型的建立以及三维人脸动画的合成.首先分析了音-视素匹配法和音-视觉参数映射两类方法的特点;之后阐述了目前三维人脸模型的建立方法,并依据三维人脸模型的表示方法不同,分析了不同运动控制方法的优缺点;然后阐述了语音驱动三维人脸动画的主观评价和客观评价方法;最后总结了语音驱动三维人脸动画技术的未来发展方向.     

基于汉语语音特征的多媒体同步方法

现有一些同步方法在重复使用或丢弃媒体单元时没有选择性，媒体间同步粒度也比较大．汉语语音由声母、韵母和声调组成，且韵母部分发音做适量调整不会改变汉字的语意．本文结合汉语的语音特征提出了一种新的多媒体同步方法——基于汉语语音特征的多媒体同步．该方法通过对汉字语音中韵母部分发音做适量的压缩或拉伸来达到多媒体同步的目的，具有对媒体单元选择性好、同步粒度小等优点．仿真结果证明，该方法比原有的段首同步法有更好的同步效果．     

人脸动画中语音可视化算法研究进展

从人脸动画合成技术的发展、特点及应用出发,介绍了五种主要的人脸动画合成技术,重点对语音驱动的人脸动画中矢量量化、高斯混合模型、神经网络、隐马尔可夫等四种语音可视化算法的特点进行了对比分析,展望了语音可视化算法的发展与应用前景。 [关键词]：人脸动画;语音可视化     

基于汉语语音特点的大词表语音识别系统的研究

本文探讨了汉语语音识别的若干问题,并简单介绍了一个大词表汉语语音识别系统,该系统充分考虑了汉语语音的特点,其中主要是汉语语音具有音节性比较强的特点、音节的简单声韵母结构以及汉语以词/词组为语音交流基础的特点.该系统一个显著的特点是系统可以不进行任何训练地添加新词汇,从而使得系统具有比较好的用户接口. 现在系统具有10,000多个词汇,实时测试的平均识别结果是93.1％.     

语音驱动人脸唇形动画的实现

提出了一种实现语音直接驱动人脸唇形动画的新方法。结合人脸唇部运动机理，建立了与唇部运动相关肌肉拉伸和下颌转动的唇形物理模型，对输入的语音信号进行分析和提取其与唇部运动相关的特征参数，并直接将其映射到唇形物理模型的控制参数上，驱动唇形动画变形，实现输入语音和唇形动画的实时同步。仿真实验结果表明，该方法有效实现了语音和唇形的实时同步，唇形动画效果更接近自然，真实感更强。且该唇形物理模型独立于人脸几何模型，可广泛应用于各类人脸唇形动画的语音驱动，具有良好的普适性和可扩展性。     

虚拟人“双簧”—与语音同步的三维人脸动画的研究

为了有效地合成人脸语音动画,提出一种与语音同步的三维人脸口型与表情动画合成的方法。首先,根据对人脸运动解剖学的研究,构建一个基于肌肉模型与微分几何学模型的三维人脸控制模型,通过数据结构的形式去控制肌肉模型和微分几何学模型实现人脸的运动,从而实现各种口型和表情运动的变化;然后,充分考虑汉语的发音特征,提出一种基于几何描述的并且符合汉语发音习惯的协同发音模型,从而产生逼真的三维人脸语音动画。仿真结果和实验对比表明,采用该方法可以得到符合汉语发音习惯的三维人脸口型动画,且合成的三维人脸表情较为自然,逼真。     

基于数据结构化的三维动画压缩方法研究

在三维动画应用日益广泛的背景下,研究三维动画数据压缩方法对其数据的存储、传播和渲染技术至关重要.基于图像数据的结构化特征,计算机视觉领域提出了一系列高效图像压缩技术.鉴于三维动画数据与图像数据结构的差异,探讨三维动画数据结构化方法,进而探索改进图像算法以实现一种新的三维动画数据压缩方法.具体而言,首先研究对三维模型顶点...     

浅说3D数字技术对动画工艺的影响

20世纪以来,计算机的蓬勃发展促进了数字技术的快速成长和应用范围的快速扩大。进入21世纪后,数字技术已经成为了能够服务影视创作的成熟的手法和方式,它在给传统的传媒插上数字的翅膀的同时,也给创作者提供了完全不同以往的新平台和想像空间。本文着重阐述了3D数字技术给传统动画创作带来的变革,从而将具有中华民族特色的动画工艺提升到一个新的高度。     

“三维动画项目流程控制”要点综述

从实际项目制作角度出发,阐述了"三维动画创作"的要点,力图理清"三维动画创作"流程控制与管理的基本脉络。从功能划分、进度安排、渲染方案、项目分工四个方面进行了细致说明,论述其重点问题,揭示科学合理的流程控制对于三维动画创作的重要性。建议在制作中不断探索、调整,寻找最适合实际情况的创作思路。     

三维动漫制作与虚拟现实结合技术研究

基于为高校三维动漫教学提供良好的教学技术和实验平台,研究了三维动漫制作与虚拟现实技术相结合的方法,采用三维计算机图形技术CG(Computer Graphics)、影像技术和运动捕捉系统,实现高质量高效率的三维动漫制作。介绍了将动漫技术、虚拟现实VR(Virtual Reality)设备和网络技术相整合的交互动漫虚拟环境建设方案。     

基于草绘辅助3D动画综述*

提高3D动画的制作效率是发展3D动画的一个关键问题,随着计算机硬件技术和辅助技术飞速发展,为解决这一问题提供了可能。基于草绘交互方式的辅助技术正受到相关研究者的关注。简要地回顾了基于草绘辅助技术的研究现状和发展历程,总结分析了其在3D动画制作中各环节的辅助技术,并对今后的发展方向进行了展望。     

基于草绘辅助3D动画综述*

提高3D动画的制作效率是发展3D动画的一个关键问题,随着计算机硬件技术和辅助技术飞速发展,为解决这一问题提供了可能。基于草绘交互方式的辅助技术正受到相关研究者的关注。简要地回顾了基于草绘辅助技术的研究现状和发展历程,总结分析了其在3D动画制作中各环节的辅助技术,并对今后的发展方向进行了展望。     

浅析3D动漫造型协同创新设计方法

动漫造型的设计是一项依赖于脑力、创造力以及想象力的活动,能够体现出知识经济的特点,其中需要交互式的图形系统和分析计算为主的计算机辅助设计系统,这样才能为设计人员提供工具,实现人机交互．但是这并不能为设计人员的创造性思维有所帮助,也不能支持协同设计。本文首先对3D动漫造型的发展情况进行简述,之后分析3D动漫造型协同创新设计研究现状,结合现状提出3D动漫造型协同创新设计方法,从而引发动漫产业在国际市场上的发展,保证期发展前景的广阔性。     

Lightweight wrinkle synthesis for 3D facial modeling and animation

We present a lightweight non-parametric method to generate wrinkles for 3D facial modeling and animation. The key lightweight feature of the method is that it can generate plausible wrinkles using a single low-cost Kinect camera and one high quality 3D face model with details as the example. Our method works in two stages: (1) offline personalized wrinkled blendshape construction. User-specific expressions are recorded using the RGB-Depth camera, and the wrinkles are generated through example-based synthesis of geometric details. (2) Online 3D facial performance capturing. These reconstructed expressions are used as blendshapes to capture facial animations in real-time. Experiments on a variety of facial performance videos show that our method can produce plausible results, approximating the wrinkles in an accurate way. Furthermore, our technique is low-cost and convenient for common users.