基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

邻域保持的虚拟人手语驱动头部运动合成方法

为了使自动合成的手语虚拟人头部运动更具真实感,提出一种邻域保持典型相关分析方法实现头部运动特征的预测.首先从真实手语表演数据中提取同步手势和头部运动特征;然后在利用非线性典型相关分析最大化两者运动特征相关性的同时引入邻域保持约束,以获取更加平滑的头部运动特征.实验结果表明,该方法预测获得的头部运动特征能够合成出更逼真、自然的手语虚拟人头部动画.     

基于VRML虚拟人的维文手语库的构建

维吾尔语的手语合成有助于改善维吾尔族聋哑人与听力正常人进行自然交流,也可以应用于计算机辅助维吾尔哑语教学、维文电视节目播放等方面。维文手语库是维吾尔语手语合成的基础。通过分析维吾尔手语的特点,采用关键帧插值技术来控制VRML虚拟人的手势动作,利用Visual C++和OpenGL环境实现了一个维吾尔文的手势编辑系统,通过手势运动数据驱动虚拟人来实时显示当前的手势状态。通过该系统,收集了常用的维吾尔语词汇及32个维吾尔字母的手势运动数据。     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。     

基于OpenGL实现聋哑人手语关键动作的方法

手语动作的研究是解决聋哑人通过电视、网络进行沟通交流障碍的主要课题之一。首先构造了最小人体三维骨骼模型,基于该骨骼模型给出了聋哑人手语关键动作的所有可能手势和不可能手势,接着基于可能的手势实现了虚拟人连续手势的变换,实现了虚拟人的手语动作。该方法通过可能的关键动作的方法不仅解决了虚拟人手语动作的网络传输的难题,又没有降低实时性,实现了虚拟人的手语动画效果。     

基于多模式接口技术的聋人与正常人交流系统

讨论了利用多模式接口技术处理异种语言模式交流的问题。作为连接聋哑人和听力正常人的一个桥梁,我们将手语识别、手语合成、唇读、人脸特征检测以及特定人面部动画相结合,构成了手语转换和口语交流的代理。文中对汉语手语识别和合成中的一些特殊问题进行了讨论。对手语识别采用数据手套作为手语输入的数据采集设备,对于一些同形异意的手语词汇,利用唇读得到的辅助信息可以达到提高识别率的效果。对手语的合成,采用运动跟踪获得的信息来加强原来基于手工建模的三维虚拟人合成,增强了手语合成与显示的自然逼真度。文中的研究验证了利用多模式接口技术可以有效地实现异种语言模式间的交流。     

仿真手语翻译系统开发

为便利听障人士的正常社会生活,提高其社会融入度,设计开发了基于B/S模式的仿真手语翻译系统.此系统包含语音识别模块、文本分词模块和虚拟人控制模块.采集到的语音经过Mel尺度的小波包分解提取语音声学特征,并进行快速语音识别得到对应文本,使用jieba完成对应的文本分词;同时创建仿真虚拟人模型并为其添加关键帧手语动作,使用...     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

手势数据驱动的头部运动合成方法

非手部手势是手语表达中不可缺少的一部分,头部运动的实现并与手势进行协同表达是其重要研究内容。对真人手语表演数据中的手势与头部动作之间的关系进行了深入研究,提取二者的动作特征,利用核典型相关分析方法(kernel canonical correlation analysis,KCCA)建立起手势与头部动作之间的预测关系模型。动画合成结果以及评价实验表明,KCCA方法能更好地刻画手势与头部动作的协调性,实现虚拟人行为动作合成的逼真性。     

Recent advances on virtual human synthesis

Virtual human is a digital representation of the geometric and behavioral property of human beings in the virtual environment generated by computer. The research goal of virtual human synthesis is to generate realistic human bodymodels and natural human motion behavior. This paper introduces the development of the related researches on these two topics, and some progresses on example based human modeling and motion synthesis, and their applications in Chinese sign language teaching, computeraided sports training and public safety problem studying. Finally, some hot research topics in virtual human synthesis are presented. Supported partially by the National High-Tech Research & Development Program of China (Grant Nos. 2006AA01Z336, 2007AA01Z320), and the National Natural Science Foundation of China (Grant No. 60533070)     

基于VRML的手语合成系统中人体模型的运动实现

人体建模技术是实现手语合成系统的前提,采用VRML(V irtualRealityModeling Language)三维人体建模技术可以提高人体建模的性能,为手语合成系统打下良好的基础。在基于VRML三维人体模型的设计中,分析了人体模型的控制变化原理及仿射变换方法;采用线框模型实现了三维人体模型的建立,运用仿射变换方法实现人体模型的手臂控制运动。实验结果证明该方法可行有效。