多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

一种基于传感器的人体上肢运动实时跟踪方法

实时跟踪人体运动是人机交互的重要研究课题,可以广泛应用于虚拟现实、虚拟人运动合成、聋人手语自动生成、计算机3D动画、机器人运动控制、远程人机交互等领域。文中介绍了一种基于传感器的人体上肢运动实时跟踪方法,给出了该方法的虚拟人模型、计算原理与校正方法,最后介绍了整个方法的实现以及在中国聋人手语自动合成中的应用。该方法具有使用传感器少,运动跟踪精度高、计算过程简单而且速度快等特点。     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

Collecting and evaluating the CUNY ASL corpus for research on American Sign Language animation

While there is great potential for sign language animation generation software to improve the accessibility of information for deaf individuals with low written-language literacy, the understandability of current sign language animation systems is limited. Data-driven methodologies using annotated sign language corpora encoding detailed human movement have enabled some researchers to address several key linguistic challenges in ASL generation. This article motivates and describes our current research on collecting a motion-capture corpus of American Sign Language (ASL). As an evaluation of our motion-capture configuration, calibration, and recording protocol, we have conducted several rounds of evaluation studies with native ASL signers, and we have made use of our collected data to synthesize novel animations of ASL, which have also been evaluated in experimental studies with native signers.     

基于AdaBoost的手势识别

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作/视觉交际的语言。手语识别的研究目标是让机器看懂聋人的语言。手语识别和手语合成相结合,构成一个人-机手语翻译系统,便于聋人与周围环境的交流.手语识别问题是动态手势信号即手语信号的识别问题。将 AdaBoost 这一算法引入手势识别中,自行建立了实验用的小型手势图片库。在分类器训练前对训练用图像进行了较有效的预处理,缩短了 AdaBoost 算法的训练识别时间,提高了多层分类器的识别速度,最好测试结果其平均准确率可达到90%。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

基于IMU的手语识别骨骼模型构建

手语识别属于手势识别的研究范畴。传统的基于数据手套的手语识别方法不能完整捕捉手语的所有要素,无法识别手部与肢体配合的手语动作。 惯性测量单元(IMU)由于体积小、成本低而被越来越多地应用到动作捕捉项目中。借鉴机器人运动学相关知识,提出了基于IMU的手语识别骨骼模型,该模型符合人体生物学特征。模型的构建步骤为首先进行骨骼的选取,然后进行尺寸标定。最后提出了标定模型尺寸的实验方法,使用IMU获得的动作集的数据可以进行求解。     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

手语合成动画中基于隐马尔可夫模型的头动合成

手语是一种靠动作、视觉进行交流的特殊语言,在手语表达过程中,头部运动蕴涵语义以及情感信息。本文分析了手语表达中手势动作和头部动作的运动相关性,利用隐马尔可夫模型(HMMs)为每一个离散的头部动作表示建模,基于一阶马尔科夫模型和插值算法生成平滑的头动动画。     

基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

自然手语动作序列生成的研究

文章探讨了如何让在手语新闻播报中的卡通人按照自然手语的语法规则而非正常人的语法规则来打手语。首先整理了现代汉语自然手语的规则并将其形式化,并建立了正常汉语到汉语自然手语转换的形式规则库;从而实现了现代汉语文本到相应的自然手语的手语动作序列的自动生成。最后将其嵌入到通过手语合成技术和卡通动画的手语新闻播报系统中,使其在线输出的是符合聋人习惯的自然手语。     

手语合成动画中基于隐马尔可夫模型的头动合成

手语是一种靠动作、视觉进行交流的特殊语言，在手语表达过程中，头部运动蕴涵语义以及情感信息。本文分析了手语表达中手势动作和头部动作的运动相关性，利用隐马尔可夫模型（HMMs）为每一个离散的头部动作表示建模，基于一阶马尔科夫模型和插值算法生成平滑的头动动画。     

Modeling human hand movements,facial expressions,and articulation to synthesize and visualize gesture information

Information and mathematical models are proposed for the animation of sign language communication based on a virtual human model. A model is developed to fix sign language morphemes and is used to create a technology and software to generate, store, and reproduce gestures. Algorithmic solutions are proposed for the computation of human-like trajectories of hand and body movements in passing from a gesture to another and also facial expressions and articulation.     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

基于OpenGL的三维虚拟人手语动画的研究与实现

研究了一种基于OpenGL实现三维虚拟人手语动画的方法.首先构造了三维虚拟人的最小骨骼模型;其次研究分析了手部的关键动作,提出了手部动厕的关键帧手势;又考虑到手部的运动干涉和运动约束,给出了手语动画中的不可能手势,接着基于关键帧手势以及不可能的手势,利用手部各关节之间的联动关系,给出了手部各节点位置的计算方法;最后基于OpenGL实现了三维虚拟人的手语动画.实验结果表明,基于关键帧手势以及不可能的手势的三维虚拟人的手语动画方法不仅解决了真实人手部动作的复杂性问题,又没有裁剪必要的手部动作,获得了理想的手语动画效果.