基于MPEG-4的融合多元素的三维人脸动画合成方法

为了实时合成真实感的可视语音,提出了一种融合口型、表情等多种运动元素的三维人脸动画合成方法.以MPEG-4人脸动画标准为基础,建立了汉语音节口型库和人脸基本表情库,通过在人脸动画参数上对共同影响面部运动的多种元素进行加权融合,合成出最终的动画序列.实验结果表明,该方法有效融合了面部运动的多种元素,同时具有真实感和实时性的优点.     

基于两层隐马尔可夫模型的可视语音合成

为了解决可视语音合成中语音与口型多对多的对应关系,本文提出基于两层隐马尔可夫模型的可视语音合成,该模型有效结合了语音和口型的上下文相关性,解决了语音与口型多对多的对应问题,合成出了准确率高、连贯、自然的口型序列,该方法具有完全自动化的特点.     

基于韵律文本的三维口型动画

基于韵律文本的三维口型动画为了生成韵律感强、真实度高且易于控制的三维口型动画,提出了一种基于韵律文本的三维口型动画合成方法.该方法首先将驱动动画所用的普通文本通过一种韵律标记语言转换成富含韵律信息的文本;分析从视频中提取出来的一般人发音特征曲线,得到曲线函数,然后通过该函数将单帧的静态视位扩展为多帧的动态视位;最后将韵律标记的属性值映射为曲线函数的参数值,在动画中增加了韵律效果.实验结果表明,在不同的韵律信息支持下动画结果明显改变.     

语音同步的可视语音合成技术研究

为了提出一种真实感较强的可视语音合成方案,对目前国内外主流研究方法进行了探讨.在基于对可视语音合成问题分析的基础上,提出了可视语音合成系统研究方法中首先要解决的2个问题:视觉语音特征模型的构建和声视频映射模型的构建.分析了目前国内外研究方法的主要解决方案,提出了在未来研究中本系统将采用的系统框架和重点研究内容.     

基于预训练模型的多示例语音内容分类

语音内容分类主要用于对大批量信号进行自动处理,并基于用户的兴趣选择语音文件。据此提出了一种新的分类方法,在多示例学习框架下,使用无监督语音表示学习对大规模未标记数据进行预训练,得到用于提取语音深层表示的预训练模型,提取的语音表示作为下游分类器的输入。真实语音数据集上的实验结果表明,多示例学习在处理语音分类问题上具有优势,提出的方法能够提高分类的效果,在平均准确率指标上优于3种基线方法。     

一种基于信号稀疏表示的语音去噪新方法

由于小波阈值在语音去噪中阈值的单一性,本文提出了一种基于稀疏表示理论的新的去噪算法.该算法首先用K-SVD字典学习得到信号在字典下的稀疏表示,其次用形态成分分析(Morphological Component Analysis,MCA)将语音信号分为高幅部分和低幅部分,最后用重构方法对各部分语音信号进行重构及合成.通过实验仿真,并与小波阈值去噪方法比较,本文所提方法的去噪效果更好,鲁棒性更强.     

基于语音识别的朝鲜语语音检索方法

针对基于语音识别的语音检索方法对语言模型的强依赖问题,通过改进声学模型学习框架提出了一种新的朝鲜语语音检索方法.该方法首先修改KoSpeech框架的网络模型,通过训练得到了朝鲜语的声学模型; 其次通过语音文档分割方法构建了语音文档索引库; 最后利用编辑距离匹配的方法实现了语音检索.实验结果表明,改进的朝鲜语声学模型学习框架降低了语音检索方法对语言模型的依赖和大规模数据集的要求.当k取9时, top -k评价方法的检索均值平均精度达到86.74%, 召回率达到95.25%, 该结果表明本文提出的方法是有效的,具有一定的实际应用价值.     

噪声环境下智能机器人语音控制特征提取方法

针对机器人的应用场合通常存在各种噪声干扰的问题,提出了一种基于稀疏编码的语音特征提取方法.利用稀疏编码能稀疏表示语音的特性,在梅尔频域对语音增强后提取特征,将稀疏去噪与语音特征提取相融合,实现了混噪语音的有效补偿.在预设场景中的实验结果表明,与现有特征提取方法相比,所提出的语音特征提取方法能有效降低噪声对语音特征的影响,提高机器人语音控制的性能.     

基于区分性特征的音素识别

针对当前主流的基于统计模型的语音识别系统没有使用语音产生知识的问题,通过模拟人类的语音感知理解过程提出了一种“自下而上”的基于区分性特征的音素识别方法.该方法首先根据不同音素的发音特点检测得到音素的边界信息;然后利用分类器完成语音的区分性特征检测,并根据区分性特征与音素的对应关系建立映射表;最后利用音素的边界信息得到语音段的特征序列,通过对语音段的特征序列模糊搜索匹配实现音素识别.实验结果表明,相比于传统的基于隐马尔科夫模型的音素识别方法,该方法在识别速度、鲁棒性及可扩展性等方面具有明显优势.     

基于Bi -LSTM的面部特征与语音特征的映射模型

针对人脸动画技术中的面部特征与语音特征的映射问题,提出了一种基于双向长短时记忆网络(Bi -LSTM)的映射模型学习方法.首先,在训练视频中同步地分别提取语音信号的MFCC参数和视频帧序列中的人脸特征点参数.其次,训练映射模型过程中将MFCC参数作为Bi -LSTM网络的输入,将面部特征参数作为网络的期望输出,并引入参数调优机制对迭代次数、隐层单元数、批处理大小、优化器类型等进行实验调优,以此得到最优的映射模型.对最优映射模型进行实验结果表明,采用双向Bi -LSTM 网络明显优于单向的LSTM网络,而且经过参数调优后映射准确率达到0.895; 因此,本文方法可以为后续的基于语音驱动的人脸视频合成应用提供有效的人脸特征预测参数.     

基于MPEG-4的三维人脸动画

具有真实感的三维人脸动画是计算机图形学研究的一个重要分支,有着广泛的应用领域。如何在三维人脸模型上实时地模拟人脸的运动,产生具有真实感的人脸表情和动作,是其中的一个难点。该文在MPEG-4的三维人脸动画原理的基础上提出一种新的基于MPEG-4的、适宜于任意拓扑结构模型的三维人脸动画实现方法。该方法能够在FAP帧的驱动下实现真实感较强的三维人脸动画。     

双模型语音识别中的听视觉合成和模型同步异步性实验研究

研究了双模型语音识别系统中前合成和后合成两种听觉视觉合成方法；同时在后合成方法中引入了考虑听觉和视觉同步异步特点的复合模型。仿真实验证明了在声学噪音环境下，后合成方法能够带来比较理想的识别效果；考虑听觉和视觉同步异步性的模型可以有效地提高识别率。     

Multimodal Expression—Synthesis of Facial Emotion,Mouth Movement and Voice

ＭｕｌｔｉｍｏｄａｌＥｘｐｒｅｓｉｏｎ—ＳｙｎｔｈｅｓｉｓｏｆＦａｃｉａｌＥｍｏｔｉｏｎ，ＭｏｕｔｈＭｏｖｅｍｅｎｔａｎｄＶｏｉｃｅＺＨＡＮＧＪｉｎｇＧＡＯＷｅｎＣＨＥＮＸｉｌｉｎ（张晶）（高文）（陈熙霖）（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎ...     

影视动画中音效蒙太奇的处理及应用

一部完美的影视动画作品,仅仅依靠纯视觉的画面是不能完成其选材或要表达的主题.许多影视制作人的观念中存在着重视画面而忽视声音的倾向,导致许多影视动画制作只注重画面的编辑组合,而忽视了对声音的应用,尤其是对于音乐和效果声的运用.通过对音效的理解,和对音效蒙太奇的分析归纳,进一步说明了影视动画的本质,是建立在影视动画音乐和影视动画主题理念相契合的基础上.     

Individuation of general human face neutral and expressional models

0INTRDUCTIONDifferentfacessharet\ithcomi11onfacialf相似文献   

基于物理的不可压缩流体动画模拟

在计算机动画领域中,经常需要对流体进行模拟,基于物理的流体模拟已成为目前的一个研究热点.纳维-斯托克斯方程组（Navier-Stokes Equations,NSE）能够完整的描述流体运动,对它的求解直接影响流体模拟的效果.本文利用MAC（Marker And Cell）方法求解NSE,通过粒子来确定流体的运动状态,能够生成具有真实感的流体动画.     

基于无线惯性传感器的人体动作捕获方法

为解决光学式动作捕捉设备成本高昂和操作复杂的问题,提出一种通过佩戴在用户身体上的无线惯性传感器进行人体动作数据捕获的方法.在用户身体的各个运动部位绑定多个由加速度和磁通传感器构成的无线惯性传感器单元,传感器通过无线信号发送运动传感数据到计算机端,应用优化算法计算惯性传感单元的三维朝向信息,最后将四元数与动画角色的骨骼绑定后生成人体动作数据.为了解决运动过程中的行走导致的骨架根节点移动问题,利用地形参数反向计算和调整角色骨架根节点位置,使生成的动作符合地形和环境要求,达到真实自然的运动效果.实验结果表明,使用无线惯性传感器进行人体动作捕获得到的动作数据准确度高,朝向计算方法运行速度快,能够满足实时性应用的要求,同时显著降低动作捕获的成本和使用复杂度.     

探讨镜头语言技巧在动画影片中的应用

随着科技的发展和观众审美情趣的提升,动画影片的制作趋于真实化,镜头语言叙述也随之成熟老练。为了使动画的视觉效果更加理想,动画人必须要掌握更加丰富细致的电影镜头语言技巧,以加强动画的表现力。本文通过对动画中镜头语言技巧的研究,归纳出属于动画专有的镜头语言技法,配合经典案例分析,阐述成熟的镜头语言对动画视觉效果塑造的重要性与必要性。