基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

面向中等词汇量的中国手语视觉识别系统

手语识别的研究和实现具有重要的学术价值和广泛的应用前景.提出了基于混合元捆绑的隐马尔可夫模型(TMHMM)用于视觉手语识别.TMHMM的模型刻画精度接近于连续隐马尔可夫模型,因此能保证最终的识别率不会明显降低,同时通过混合元捆绑降低计算成本,有效地提高识别速度.在特征提取方面,提出的层次型特征描述方案更加适合于中等或更大词汇量的手语识别.在此基础上,通过集成鲁棒的双手检测、背景去除和瞳孔检测等技术,实现了一个面向中等词汇量的中国手语视觉识别系统.实验结果表明,提出的方法能较好地实现常规背景中的中等词汇量的手语识别.     

HMM方法在手语识别中的应用

ＨＭＭ在语音识别中已得到广泛应用。近年来,ＨＭＭ方法在手语识别领域越来越受到关注。本文综述了ＨＭＭ方法在该领域应用的情况,并结合中国手语及其具体特点,对ＨＭＭ方法在手语识别领域中的应用前景进行了展望 。     

基于ANN／HMM的手语识别方法

1 引言手语是聋哑人使用的语言。它是由手形动作辅之以表情姿势而构成的比较稳定的表达系统,是一种靠动作/视觉进行交际的特殊语言。手语识别系统与手语合成系统,共同构成“人-机手语翻译器”,为聋哑人提供更好的服务。人类交互往往声情并茂,除了采用自然语言(口语、书面语言)外,人体语言(表情、体势、手势)也是人     

基于多分辨率的多层分类器的手语识别方法

本文提出了一种基于多分辨率的多层分类器的手语识别方法,该方法对来自数据手套的手语输入,先用多分辨率选择特征,然后根据这些特征数据先进行低分辨率识别,再使用全部数据进行高分辨率识别。实验结果表明,该方法比传统HMM(隐马尔可夫模型)识别过程识别速度平均提高了约0.6秒,识别率提高了6.73％。     

基于DGMM的中国手语识别系统

手语是聋人使用的语方,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的语言,手语识别的研究目标是让机器“看懂”聋人的语方,手语识别和手语合成相结合构成一个“人－机手语翻译系统”,便于聋人与周围环境的交流,手语识别问题是动态手势信号即手语信号的识别问题,考虑系统的实时性及识别效率,系统选取Ｃｙｂｅｒｇｌｏｖｅ型号数据手套作为手语输入设备,并采用ＤＧＭＭ（ｄｙｎａｍｉ     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于CRF和HMM混合模型的手势识别方法

针对训练数据较少的小样本情况下,使用隐马尔可夫模型(HMM)的建模准确性较低的问题,提出一种基于条件随机场(CRF)和HMM混合模型的手势识别方法.用一个区分局部观测值的判别模型来提供与序列中的每个局部观测相关联的局部后验.将CRF用于执行这种判别层.通过区分局部观察值来为HMM层提供局部类后验.在HMM解码阶段将这些局部后验组合在一起提供更多的全局信息.通过实际手势识别实验验证了融合HMM建模能力和CRF判别能力的混合模型方法的有效性与准确性,并对不同的可变性来源具有鲁棒性.     

基于SCHMM的手语识别方法的实验研究

在近些年的手语识别工作中,HMM起到了重要的作用。提出将SCHMM用于手语识别,实验结果表明SCHMM优于离散隐马尔科夫模型（DHMM）和连续隐马尔科夫模型（CHMM）,可以避开DHMM中因矢量量化造成的信息损失,在保证识别率的前提下降低模型的复杂性和运算量。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

手语识别中基于HMM的区分性训练方法

传统的隐马尔科夫模型（HMM）的训练方法基于统计概率的最大似然准则（MLE），在训练样本数目足够大的情况下，这种方法在理论上可以得到最优的结果．在手语识别研究中，采集足够大的训练样本十分困难．区分性训练可以很好地弥补由于训练样本的缺乏以及手语模型之间的近似而造成的识别系统的缺陷．最大交互信息准则（MMIE）作为区分性训练准则的一种已经被广泛的应用于语音识别领域．文中通过合理的构建手语识别中的竞争模型和易混集。提出了MMIE准则的改进形式，并将其应用于特定人与非特定人手语识别．实验证明，使用改进的MMIE准则对识别系统性能有很大的提高．     

A Chinese sign language recognition system based on SOFM/SRN/HMM

In sign language recognition (SLR), the major challenges now are developing methods that solve signer-independent continuous sign problems. In this paper, SOFM/HMM is first presented for modeling signer-independent isolated signs. The proposed method uses the self-organizing feature maps (SOFM) as different signers' feature extractor for continuous hidden Markov models (HMM) so as to transform input signs into significant and low-dimensional representations that can be well modeled by the emission probabilities of HMM. Based on these isolated sign models, a SOFM/SRN/HMM model is then proposed for signer-independent continuous SLR. This model applies the improved simple recurrent network (SRN) to segment continuous sign language in terms of transformed SOFM representations, and the outputs of SRN are taken as the HMM states in which the lattice Viterbi algorithm is employed to search the best matched word sequence. Experimental results demonstrate that the proposed system has better performance compared with conventional HMM system and obtains a word recognition rate of 82.9% over a 5113-sign vocabulary and an accuracy of 86.3% for signer-independent continuous SLR.     

Printed Arabic character recognition using HMM

The Arabic Language has a very rich vocabulary. More than 200 million people speak this language as their native speaking, and over 1 billion people use it in several religion-related activities. In this paper a new technique is presented for recognizing printed Arabic characters. After a word is segmented, each character/word is entirely transformed into a feature vector. The features of printed Arabic characters include strokes and bays in various directions, endpoints, intersection points, loops, dots and zigzags. The word skeleton is decomposed into a number of links in orthographic order, and then it is transferred into a sequence of symbols using vector quantization. Single hidden Markov model has been used for recognizing the printed Arabic characters. Experimental results show that the high recognition rate depends on the number of states in each sample.     

基于关键帧的多级分类手语识别研究*

提出了一种基于关键帧识别的多级分类的手语识别方法,该方法采用HDR(多层判别回归)/DTW（动态时间规正）模板匹配多级分类方法。根据手语表达由多帧构成的特点,采用SIFT(尺度不变特征变换)算法定位获取手语词汇的关键帧,并提取其特征向量;根据手语词汇的关键帧采用HDR方法缩小搜索范围,然后采用DTW比较待识别的手语词特征与该范围内每一个手语词进行匹配比较,计算概率最大的为识别结果。这种方法在相同识别率的情况下比HMM识别方法速度提高近8.2%,解决了模板匹配法在大词汇量面前识别率快速下降的问题。     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

A multi-class classification strategy for Fisher scores: Application to signer independent sign language recognition

Fisher kernels combine the powers of discriminative and generative classifiers by mapping the variable-length sequences to a new fixed length feature space, called the Fisher score space. The mapping is based on a single generative model and the classifier is intrinsically binary. We propose a multi-class classification strategy that applies a multi-class classification on each Fisher score space and combines the decisions of multi-class classifiers. We experimentally show that the Fisher scores of one class provide discriminative information for the other classes as well. We compare several multi-class classification strategies for Fisher scores generated from the hidden Markov models of sign sequences. The proposed multi-class classification strategy increases the classification accuracy in comparison with the state of the art strategies based on combining binary classifiers. To reduce the computational complexity of the Fisher score extraction and the training phases, we also propose a score space selection method and show that, similar or even higher accuracies can be obtained by using only a subset of the score spaces. Based on the proposed score space selection method, a signer adaptation technique is also presented that does not require any re-training.     

连续手语识别中的文本纠正和补全方法

针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题,提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本.第一步,基于自然手语规则以及N元语言模型(N-gram)对连续手语识别的结果进行文本调序;第二步,利用汉语通用量词数据集训练双向长短期记忆(Bi-LSTM)网络模型,以解决手语语法无量...