基于DGMM的中国手语识别系统

手语是聋人使用的语方,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的语言,手语识别的研究目标是让机器“看懂”聋人的语方,手语识别和手语合成相结合构成一个“人－机手语翻译系统”,便于聋人与周围环境的交流,手语识别问题是动态手势信号即手语信号的识别问题,考虑系统的实时性及识别效率,系统选取Ｃｙｂｅｒｇｌｏｖｅ型号数据手套作为手语输入设备,并采用ＤＧＭＭ（ｄｙｎａｍｉ     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

结合HMM和SPSM的手语识别方法

手语识别的研究具有重大的学术价值和广泛的应用前景。在近些年的手语识别工作中,隐马尔可夫模型(Hidden Markov Models,简称HMMs)起到了重要的作用,但是,HMMs假设同一状态内的观察值之间是独立同分布的,这个假设同某些手语信号的帧间相关性相背离。受到多项式片段模型(Polynomial Segment Models,简称PSMs)能够显式描述帧间相关性的启发,提出了一种简化的PSMs,其中应用马氏距离作为距离测度。实验表明,这种简化的PSMs在同传统的HMMs进行后验概率归一化求和的融合之后,手语词的平均相对正确率得到了13.38%的提升,从而证明此方法是一种更加精确的手语识别方法。     

具有不同数目状态结点的HMMs在中国手语识别中的应用

中国手语是中国聋人使用的语言,主要通过手势动作来表达一定的含义。因而,手语识别问题是动态连续信号的识别问题。目前大部分手语识别系统采用HMMs(hidden Markov models)作为系统的识别系统。由于各个词包含的基本手势数不同,若所有模型都由同样数目的状态结点构成会影响识别率。而由人为每个词设置状态数又很难达到完全准确,所述系统使用一种基于动态规划的估计状态结点数的办法,并实现了基于具有不同状态数目的HMM的训练及识别过程,实验结果表明,该系统在手语的识别速度和识别精度方面都有所提高。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

基于多分辨率的多层分类器的手语识别方法

本文提出了一种基于多分辨率的多层分类器的手语识别方法,该方法对来自数据手套的手语输入,先用多分辨率选择特征,然后根据这些特征数据先进行低分辨率识别,再使用全部数据进行高分辨率识别。实验结果表明,该方法比传统HMM(隐马尔可夫模型)识别过程识别速度平均提高了约0.6秒,识别率提高了6.73％。     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

计算机手语的研究与应用

主要介绍国内外计算机手语研究的主要方向及应用，包括手语的识别，手语的合成，手语的网络通信和手的运动约束。文中详细介绍了手语识别的各种方法，手语合成的组成部分，手语网络通信的实现技术以及手的运动约束问题。     

HMM方法在手语识别中的应用

ＨＭＭ在语音识别中已得到广泛应用。近年来,ＨＭＭ方法在手语识别领域越来越受到关注。本文综述了ＨＭＭ方法在该领域应用的情况,并结合中国手语及其具体特点,对ＨＭＭ方法在手语识别领域中的应用前景进行了展望 。     

基于词根的中国手语识别方法

迄今为止，手语识别面临的最大问题是如何解决词汇集易扩充的连续识别，提出一种大词汇量连续中国手语识别方法，将词根作为识别基元，由于基元的数目是有限的，因此基于HMM的手语信号的训练和识别变得比较容易处理，可以实现更大词汇量的识别。除此之外，所提方法还有利于实现手势语和手指语的混合识别。从中国手语中共整理现2400多个词根，为每个词根建一个并行的HMM模型，对各数据流的HMM模型进行聚集，确定出手识别的基元。根据这些基元对手妫刻苦骊，并建立了树状搜索网络，使用状态垄点上高斯密度函数聚类、语言模型和N－Best方法提高系统的速度和精度。对5119个手语词做了实验，连续语句的识别率可在90％以上。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用.随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇.对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述.从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点.详细介绍了图像预处...     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

一种可处理数据缺失的视角无关手语识别方法

基于虚拟立体视假设,借鉴RANSAC技术的思想,文中针对数据缺失(帧对之间匹配特征可能较少)情况下的视角无关手语识别问题,提出一种Sample-Consensus方法.其基本出发点是,同一手语不同视角下的两个样本序列之间所有的对应帧对,可以解释为由某一虚拟立体视觉系统同步捕获,因而满足同一个基础矩阵,而且此基础矩阵能够基于部分对应帧对包含的点对应关系进行估计.实验表明,提出的Sample-Consensus方法能够有效地应用于数据缺失情况下的视角无关手语识别.另外,这种方法也可以扩展到相近的领域,如视角无关的动作识别和刚体运动分析等.     

基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题。该文在分析非特定人手语识别特点－数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切－的基础上，提出了SOFM／HMM模型，将自组织特征映射（SOFM）很强的特征提取功能和隐马可夫模型（HMM）良好的处理时间序列属性结合在一个新颖的框架下，并把该模型应用到非特定人中国手语识别中，实验结果表明，SOFM／HMM模型手语识别率比传统的HMM模型提高近5％。