面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

基于OpenGL实现聋哑人手语关键动作的方法

手语动作的研究是解决聋哑人通过电视、网络进行沟通交流障碍的主要课题之一。首先构造了最小人体三维骨骼模型,基于该骨骼模型给出了聋哑人手语关键动作的所有可能手势和不可能手势,接着基于可能的手势实现了虚拟人连续手势的变换,实现了虚拟人的手语动作。该方法通过可能的关键动作的方法不仅解决了虚拟人手语动作的网络传输的难题,又没有降低实时性,实现了虚拟人的手语动画效果。     

基于OpenGL的三维虚拟人手语动画的研究与实现

研究了一种基于OpenGL实现三维虚拟人手语动画的方法.首先构造了三维虚拟人的最小骨骼模型;其次研究分析了手部的关键动作,提出了手部动厕的关键帧手势;又考虑到手部的运动干涉和运动约束,给出了手语动画中的不可能手势,接着基于关键帧手势以及不可能的手势,利用手部各关节之间的联动关系,给出了手部各节点位置的计算方法;最后基于OpenGL实现了三维虚拟人的手语动画.实验结果表明,基于关键帧手势以及不可能的手势的三维虚拟人的手语动画方法不仅解决了真实人手部动作的复杂性问题,又没有裁剪必要的手部动作,获得了理想的手语动画效果.     

一种新的手势运动数据重定向方法

提出了一种新的重新定向手势运动数据的方法.它把通过运动捕获设备捕获的手势数据重新定向到具有不同大小和比例的虚拟人模型上,从而生成与原运动含义相同且真实自然的动画.首先通过手势特征分析在人体上选择关键敏感点和次关键敏感点,然后利用提出的基于空间相对位置的方法确定重定向后敏感点的位置,最后采用改进的逆运动学方法实现了手势运动的重定向.实验表明,提出的方法使得中国手语合成系统的可懂度提高30%以上.     

手势数据驱动的头部运动合成方法

非手部手势是手语表达中不可缺少的一部分,头部运动的实现并与手势进行协同表达是其重要研究内容。对真人手语表演数据中的手势与头部动作之间的关系进行了深入研究,提取二者的动作特征,利用核典型相关分析方法(kernel canonical correlation analysis,KCCA)建立起手势与头部动作之间的预测关系模型。动画合成结果以及评价实验表明,KCCA方法能更好地刻画手势与头部动作的协调性,实现虚拟人行为动作合成的逼真性。     

邻域保持的虚拟人手语驱动头部运动合成方法

为了使自动合成的手语虚拟人头部运动更具真实感,提出一种邻域保持典型相关分析方法实现头部运动特征的预测.首先从真实手语表演数据中提取同步手势和头部运动特征;然后在利用非线性典型相关分析最大化两者运动特征相关性的同时引入邻域保持约束,以获取更加平滑的头部运动特征.实验结果表明,该方法预测获得的头部运动特征能够合成出更逼真、自然的手语虚拟人头部动画.     

基于手势数据分析的地方手语动画合成方法研究*

为了在现有的手势数据基础上合成新的地方手语手势,采取对这些手势数据进行运动相似性分段和动态聚类自动获取具有时序特征的基本手形类数据以及结合手臂状态数据的方法,最后生成新的地方手语手势动画数据。这不仅节省了重新采集数据需要的昂贵设备和大量工作,而且也能达到手势表达准确性的目的。     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

手语合成中的多模式行为协同韵律模型

利用大量真实多模式行为数据进行学习训练、获取单模式行为的韵律模型以及多模式行为之间的协同关联模型的方法,来实现虚拟人多模式行为之间的协同.重点给出了多模式行为的韵律模型描述,同时给出基于手语韵律参数与语音韵律特征融合的协同控制韵律模型以及韵律参数获取方法,并运用于多模式行为协同控制中,取得了较好的实验结果.与传统的规则法相比,该学习方法更能刻画多模式之间协同关联的复杂性,更好地实现虚拟人多模式行为合成的逼真性.     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

虚拟现实技术在逆变电源监控系统中的应用

虚拟现实建模语言（VRML）是描述虚拟场景的一种标准,获得了广泛的应用.介绍了一个利用虚拟现实技术实现对逆变电源模块进行监控的系统,对VRML与外界的通信方式以及与数据库的连接进行了研究.利用VRML构建了具有良好交互性的三维场景,并利用Java和VRML通信,实现了场景从数据库中实时获取电源状态参数,在此基础上完成了来自逆变电源的动态数据与虚拟三维模型的动态交互,实现了通过虚拟电源控制柜对逆变电源模块的开启和关闭、电源设备运行数据的实时显示.     

基于VRML的手语合成系统中人体模型的运动实现

人体建模技术是实现手语合成系统的前提,采用VRML(V irtualRealityModeling Language)三维人体建模技术可以提高人体建模的性能,为手语合成系统打下良好的基础。在基于VRML三维人体模型的设计中,分析了人体模型的控制变化原理及仿射变换方法;采用线框模型实现了三维人体模型的建立,运用仿射变换方法实现人体模型的手臂控制运动。实验结果证明该方法可行有效。