基于DGMM的中国手语识别系统

手语是聋人使用的语方,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的语言,手语识别的研究目标是让机器“看懂”聋人的语方,手语识别和手语合成相结合构成一个“人－机手语翻译系统”,便于聋人与周围环境的交流,手语识别问题是动态手势信号即手语信号的识别问题,考虑系统的实时性及识别效率,系统选取Ｃｙｂｅｒｇｌｏｖｅ型号数据手套作为手语输入设备,并采用ＤＧＭＭ（ｄｙｎａｍｉ     

基于AdaBoost的手势识别

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作/视觉交际的语言。手语识别的研究目标是让机器看懂聋人的语言。手语识别和手语合成相结合,构成一个人-机手语翻译系统,便于聋人与周围环境的交流.手语识别问题是动态手势信号即手语信号的识别问题。将 AdaBoost 这一算法引入手势识别中,自行建立了实验用的小型手势图片库。在分类器训练前对训练用图像进行了较有效的预处理,缩短了 AdaBoost 算法的训练识别时间,提高了多层分类器的识别速度,最好测试结果其平均准确率可达到90%。     

具有不同数目状态结点的HMMs在中国手语识别中的应用

中国手语是中国聋人使用的语言,主要通过手势动作来表达一定的含义。因而,手语识别问题是动态连续信号的识别问题。目前大部分手语识别系统采用HMMs(hidden Markov models)作为系统的识别系统。由于各个词包含的基本手势数不同,若所有模型都由同样数目的状态结点构成会影响识别率。而由人为每个词设置状态数又很难达到完全准确,所述系统使用一种基于动态规划的估计状态结点数的办法,并实现了基于具有不同状态数目的HMM的训练及识别过程,实验结果表明,该系统在手语的识别速度和识别精度方面都有所提高。     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

基于ANN／HMM的手语识别方法

1 引言手语是聋哑人使用的语言。它是由手形动作辅之以表情姿势而构成的比较稳定的表达系统,是一种靠动作/视觉进行交际的特殊语言。手语识别系统与手语合成系统,共同构成“人-机手语翻译器”,为聋哑人提供更好的服务。人类交互往往声情并茂,除了采用自然语言(口语、书面语言)外,人体语言(表情、体势、手势)也是人     

基于词根的中国手语识别方法

迄今为止，手语识别面临的最大问题是如何解决词汇集易扩充的连续识别，提出一种大词汇量连续中国手语识别方法，将词根作为识别基元，由于基元的数目是有限的，因此基于HMM的手语信号的训练和识别变得比较容易处理，可以实现更大词汇量的识别。除此之外，所提方法还有利于实现手势语和手指语的混合识别。从中国手语中共整理现2400多个词根，为每个词根建一个并行的HMM模型，对各数据流的HMM模型进行聚集，确定出手识别的基元。根据这些基元对手妫刻苦骊，并建立了树状搜索网络，使用状态垄点上高斯密度函数聚类、语言模型和N－Best方法提高系统的速度和精度。对5119个手语词做了实验，连续语句的识别率可在90％以上。     

基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

基于颜色手套的中国手指语字母的动静态识别

作为一种高度结构化的语言,手语具有与口语和文字语言一样的表达能力。基于视觉的手语识别不仅更加符合人们的习惯而且具有非常广阔的应用空间。该文采用指尖染色和手指染色的颜色手套模型实现了可以识别中国手指字母表30个基本手形的动静态手势识别系统,识别率达到100%。     

基于IMU的手语识别骨骼模型构建

手语识别属于手势识别的研究范畴。传统的基于数据手套的手语识别方法不能完整捕捉手语的所有要素,无法识别手部与肢体配合的手语动作。 惯性测量单元(IMU)由于体积小、成本低而被越来越多地应用到动作捕捉项目中。借鉴机器人运动学相关知识,提出了基于IMU的手语识别骨骼模型,该模型符合人体生物学特征。模型的构建步骤为首先进行骨骼的选取,然后进行尺寸标定。最后提出了标定模型尺寸的实验方法,使用IMU获得的动作集的数据可以进行求解。     

时间序列聚类算法及其在手势识别中的应用

针对中国聋人手势词"语形"是由若干个基本手势组成的特点,本文提出了沿时间轴的贪心聚类算法,并在此基础上给出了一种快速训练算法及快速识别算法.将该算法具体应用到中国手语手势词的识别中,实验结果表明,与HMM相比,该方法不仅在识别速度上有大的改观,而且大大缩短了手势词对应模板的训练时间.     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

Automatic Schaeffer's gestures recognition system

Schaeffer's sign language consists of a reduced set of gestures designed to help children with autism or cognitive learning disabilities to develop adequate communication skills. Our automatic recognition system for Schaeffer's gesture language uses the information provided by an RGB‐D camera to capture body motion and recognize gestures using dynamic time warping combined with k‐nearest neighbors methods. The learning process is reinforced by the interaction with the proposed system that accelerates learning itself thus helping both children and educators. To demonstrate the validity of the system, a set of qualitative experiments with children were carried out. As a result, a system which is able to recognize a subset of 11 gestures of Schaeffer's sign language online was achieved.     

基于手势识别远程同步控制的智能机械臂研究

设计一种基于手势识别远程同步控制的智能机械臂系统,系统由手势识别器和智能机械臂组成;手势识别器穿戴在手中,能够感知和识别手势指令,并通过无线传输方式把手势指令传输给智能机械臂;智能机械臂收到手势指令后其自主决策系统迅速规划最优控制,实现同步控制机械臂伸展和机械手的抓取等动作;实验结果表明,手势识别器的手势指令简单易于操作,手势指令识别准确高效,智能机械臂动作规划协调,系统大大降低了机械臂的操控难度,完全满足作业任务实时控制的需要,具有较好的实用性和广泛的应用前景.     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

Chinese Sign Language animation generation considering context

Sign language (SL) is a kind of natural language for the deaf. Chinese Sign Language (CSL) synthesis aims to translate text into virtual human animation, which makes information and service accessible to the deaf. Generally, sign language animation based on key frames is realized by concatenating sign words captured independently. That means a sign language word has the same pattern in diverse context, which is different from realistic sign language expression. This paper studies the effect of context on manual gesture and non-manual gesture, and presents a method for generating stylized manual gesture and non-manual gesture according to the context. Experimental results show that synthesized sign language animation considering context based on the proposed method is more accurate and intelligible than that irrespective of context.