一种基于SCHMM的手语识别方法

手语识别的研究具有重大的学术价值和广泛的应用前景.在近些年的手语识别工作中,隐马尔科夫模型(HiddenMarkov Models,简称HMMs)起到了重要的作用.基于HMM的统计框架是当前动态识别领域的主流方法,同时也是该文的研究工作的理论基础.提出将半连续隐马尔科夫模型(SCHMM)用于手语识别,在理论上证明了SCHMM优于离散隐马尔科夫模型(DHMM)和连续隐马尔科夫模型(CHMM),可以避开DHMM中因矢量量化造成的信息损失,在保证识别率的前提下降低模型的复杂性和运算量.     

一种基于Petri网的特定手语词汇识别方法

本文尝试使用Petri网进行简单的手语词汇识别。首先采用模板匹配方法检测到一系列简单的手势,如手掌张开直立、握拳、伸出大小拇指。其中,每个简单手势的发生对应于Petri网中的一个变迁。待识别的手语词汇是由一串特定的手势序列构成的,如手掌张开直立一握争伸出大小拇指。通过Petri网记录手势的动态变化,并在每次新变迁发生时检测目标库所的标志增加情况,从而实现特定手语词汇的识别。     

一种基于DTW/ISODATA算法的多层分类器手语识别方法

为提高大词汇量手语识别速度,论文提出了一种将动态时间规整(DTW)和隐马尔可夫模型(HMM)相结合的多层次的大词汇量手语识别方法。该方法思想是先进行全局粗略搜索,将要识别的手势词归入某一组范围较小的词表中,然后通过更加精确的HMM局部搜索将词识别出来。各个词汇表用DTW/ISODATA算法来产生。对4942个孤立手语词作了实验,结果表明,相对于仅用HMM单层识别而言,识别速度从原来每个词的2.364秒提高到0.137秒,提高了94.2%,识别准确率也提高了4.66%。     

基于低分辨率视频图像的手语识别方法

实际环境中常遇到大量低分辨率手语视频图像需要识别,但其只含有相对有限的判别信息,识别效率不高,因此提出一种手语识别方法。该方法在采用实时皮肤颜色特征提取目标区域的基础上,计算目标区域形心、边界链码两种识别特征值,利用动态时间规整算法依次识别手势起始帧与结束帧,结合识别结果还原手语单词。在南佛罗里达大学公共手语数据集进行实验,采用该方法与现有方法比较,识别出正确手语单词增加21个,错误手语单词减少1个,消除了手语单词残缺干扰,证明该方法的有效性。     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

AirG：一种基于信道状态信息的空中手语手势识别方法

目前常用的手势识别方法存在设备部署困难与价格高昂的问题,遂本文提出基于信道状态信息的手语识别方法。该方法利用WiFi设备采集信道状态信息,选用局部离群因子检测算法与离散小波变换相结合的方法降低数据噪声,并通过主成分分析法筛选子载波。经降噪后,提取手势波形特征值,最终通过自适应算法多次训练的隐马尔科夫模型得出识别结果。结果表明,该方法可有效识别多种环境下不同人员手语手势的表达且平均识别率达88.98%,相较其他系统识别精度更优。     

基于条件生成对抗网络的手语样本骨架缺失关节点修复EI北大核心CSCD

计算机视觉技术由于受到遮挡、视角和光照等因素的影响,对手语样本骨架关节点的检测通常存在缺失,导致手语识别准确率降低.为此,提出基于条件生成对抗网络(CGAN)的手语样本骨架缺失关节点修复方法.首先,通过分析手语样本残缺骨架中关节点的缺失分布情况,构建缺失关节点分布概率模型;其次,对完整骨架引入分布概率模型生成的缺失关节点,将这些残缺骨架用于CGAN框架中生成器和判别器的训练,通过CGAN框架训练好的生成器能够以残缺骨架为条件生成没有缺失的骨架;最后,用生成骨架去补全残缺骨架,即完成了修复.在中国手语数据集CSL上开展实验,生成器迭代训练80次后,生成骨架与完整骨架的平均均方根误差从0.019减小到0.001;在修复骨架缺失关节点的手语样本上,搭建手语识别网络迭代训练120次,与未进行修复相比,其识别准确率从90.6%提升为99.6%.实验结果表明,该方法能够有效地修复缺失关节点,极大地提升手语识别准确率.     

基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.     

结合HMM和SPSM的手语识别方法

手语识别的研究具有重大的学术价值和广泛的应用前景。在近些年的手语识别工作中,隐马尔可夫模型(Hidden Markov Models,简称HMMs)起到了重要的作用,但是,HMMs假设同一状态内的观察值之间是独立同分布的,这个假设同某些手语信号的帧间相关性相背离。受到多项式片段模型(Polynomial Segment Models,简称PSMs)能够显式描述帧间相关性的启发,提出了一种简化的PSMs,其中应用马氏距离作为距离测度。实验表明,这种简化的PSMs在同传统的HMMs进行后验概率归一化求和的融合之后,手语词的平均相对正确率得到了13.38%的提升,从而证明此方法是一种更加精确的手语识别方法。     

一种简便的视角无关动作识别方法

针对日常生活中人体执行动作时存在视角变化而导致难以识别的问题,提出一种基于视角空间切分的多视角空间隐马尔可夫模型（ HMM）概率融合的视角无关动作识别算法。该方法首先按照人体相对于摄像机的旋转方向将视角空间分割为多个子空间,然后选取兴趣点视频段词袋特征与分区域的光流特征相融合,形成具有一定视角鲁棒性特征对人体运动信息进行描述,并在每个子视角空间下利用HMM建立各人体动作的模型,最终通过将多视角空间相应的动作模型似然概率加权融合,实现对未知视角动作的识别。利用多视角IXMAS动作识别数据库对该算法进行测试的实验结果表明,该算法实现简单且对未知视角下的动作具有较好识别结果。     

HMM方法在手语识别中的应用

ＨＭＭ在语音识别中已得到广泛应用。近年来,ＨＭＭ方法在手语识别领域越来越受到关注。本文综述了ＨＭＭ方法在该领域应用的情况,并结合中国手语及其具体特点,对ＨＭＭ方法在手语识别领域中的应用前景进行了展望 。     

面向大词汇量的实时连续中国手语识别系统

目前手语识别研究的难点之一在于如何实现大词汇量的连续语句识别，针对这个问题，该文提出了几个有效的方法，包括修正转移矩阵，状态结点的捆绑，快速匹配，在搜索路径中加入词跳转的估计参数等。利用上述技术，该文实现了一个基于数据手套和位置跟踪器的大词汇量的连续的中国手语实时识别系统，对中国手语辞典中收录的5100个词以及一批连续语句作实验，实验结果表明，文中所介绍的技术在提高系统识别速度和准确率方面都很有效。     

手势手语力效分析

在非特定人手语识别研究中,数据差异性带来的矛盾已使其成为一个亟待分析的问题.从人体运动学、语言学等角度对手语理解,是解决差异性矛盾进而推动非特定人手语识别的有效途径.文章以运动观测科学规则,特别是拉班的力效理论为基础,归纳了造成手语数据差异的因素,提出了手势手语力效要素的定义和描述方法;继而给出了非特定人手语数据的归整策略,规整后的数据用于训练与识别.在多种实验环境下进行的评估结果表明,识别的效果得到了明显的提升.     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

面向中等词汇量的中国手语视觉识别系统

手语识别的研究和实现具有重要的学术价值和广泛的应用前景.提出了基于混合元捆绑的隐马尔可夫模型(TMHMM)用于视觉手语识别.TMHMM的模型刻画精度接近于连续隐马尔可夫模型,因此能保证最终的识别率不会明显降低,同时通过混合元捆绑降低计算成本,有效地提高识别速度.在特征提取方面,提出的层次型特征描述方案更加适合于中等或更大词汇量的手语识别.在此基础上,通过集成鲁棒的双手检测、背景去除和瞳孔检测等技术,实现了一个面向中等词汇量的中国手语视觉识别系统.实验结果表明,提出的方法能较好地实现常规背景中的中等词汇量的手语识别.     

基于词根的中国手语识别方法

迄今为止，手语识别面临的最大问题是如何解决词汇集易扩充的连续识别，提出一种大词汇量连续中国手语识别方法，将词根作为识别基元，由于基元的数目是有限的，因此基于HMM的手语信号的训练和识别变得比较容易处理，可以实现更大词汇量的识别。除此之外，所提方法还有利于实现手势语和手指语的混合识别。从中国手语中共整理现2400多个词根，为每个词根建一个并行的HMM模型，对各数据流的HMM模型进行聚集，确定出手识别的基元。根据这些基元对手妫刻苦骊，并建立了树状搜索网络，使用状态垄点上高斯密度函数聚类、语言模型和N－Best方法提高系统的速度和精度。对5119个手语词做了实验，连续语句的识别率可在90％以上。     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。