非特定人手语识别统计模型的改进及应用

目前,非特定人手语识别与特定人系统相比还有较大的差距.手语数据差异性使得非特定人手语识别中提取手语数据有效的共同特征非常困难,因而,手语数据差异性在一定程度上影响了非特定人手语识别的识别效果.本文从手语数据存在差异性这一角度入手,利用流形概念的学习和推理能力并在流形允许变化的范围内进行有效建模.在建模的过程中,从范函求极值的角度出发,给出了一个让人容易理解且直观化的推导过程.进而应用流形概念中的切向量来改进手语识别的统计模型(TV/HMM)并应用于大词汇量非特定人手语识别,以解决手语数据的差异性对大词汇量非特定人手语识别所造成的影响.实验表明,改进后的TV/HMM识别系统在大词汇量非注册的易混词集上识别率高明显.     

Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用

在经典的模式识别理论中,Viterbi算法代表了统计概率的模式匹配算法,而DTW算法代表了模版匹配的模式匹配算法,它们之间是否存在关系至今尚无定论.为了找到这两种算法之间的关系,在类别隶属度是广义概率的假设前提下,应用模糊数学的理论在Viterbi算法与DTW算法之间建立起联系.首先,提出了利用模糊数学的贴近度把DTW算法的距离向Viterbi算法的概率转化的通用贴近度表达式,并对通用贴近度表达式给出了理论上的证明.其次,应用DTW的通用贴近度表达式重估HMM参数,建立DTW算法与Viterbi算法之间的模糊贴近度关系,并为此提出了δ-ε算法,得到基于数据帧的类似于HMM的参数重估形式.然后,为了确保建立DTW算法与Viterbi算法之间的模糊贴近度关系的正确性,以定理的形式给出了相应的证明.再次,通过设定的DTW贴近度表达式对HMM参数重估的过程中,发现了DTW贴近度的重估参数与HMM重估参数之间存在着的模糊关系,以定理的形式对这种模糊关系加以证明.最后,依据上述定理提出了Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法,以定理的形式对Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法的正确性加以证明,并将对Dtw-ViterbiⅠ...     

手语识别中基于HMM的区分性训练方法

传统的隐马尔科夫模型（HMM）的训练方法基于统计概率的最大似然准则（MLE），在训练样本数目足够大的情况下，这种方法在理论上可以得到最优的结果．在手语识别研究中，采集足够大的训练样本十分困难．区分性训练可以很好地弥补由于训练样本的缺乏以及手语模型之间的近似而造成的识别系统的缺陷．最大交互信息准则（MMIE）作为区分性训练准则的一种已经被广泛的应用于语音识别领域．文中通过合理的构建手语识别中的竞争模型和易混集。提出了MMIE准则的改进形式，并将其应用于特定人与非特定人手语识别．实验证明，使用改进的MMIE准则对识别系统性能有很大的提高．     

中国手语音韵标记的建立、实现及其有效性验证

手语是一门语言,手语语言学家从语言学的角度,对手语做了类似"语法"的总结而形成了音韵标注理论.针对目前中国手语无符号标记体系的现况,首先,根据中国手语的特点并结合汉语的语言习惯,文中提出了中国手语音韵标记体系.其次,针对目前音韵标注只给出一些形式化的描述或简单的手工标注的现况,文中借助基于数据手套的中国手语识别系统,提出了以手形数据模板与拉班舞谱相结合的方法,将上述的标记体系在计算机上以自动标注的方式加以实现.最后,针对数据手套的中国手语识别系统缺少先验信息的现况,应用上述音韵标记体系构建具有先验语义信息的易混词集,在构建的过程中说明并分析了音韵标记体系具备语义识别能力.实验表明,在基于统计识别的易混词集与基于先验语义信息的易混词集的识别效果相比较,在不改变统计模型的条件下,可以不同程度地辅助HMM,SOFM/HMM,Effort提高识别率.     

中国手语指动作的标记体系

基于手指动作的解剖模型,提出了中国手语手形动作的新标记体系,按照该体系将手形动作进行系统分类.该体系根据手和腕的生物力学模型,并根据不同的手语语言,提出了统一的手语动作标记符号体系;从改变各个手指指形的动作和变化手指的相互关系的2个方面来考虑手指动作的标记记号,使用该指动作标记体系对手形动作进行系统分类.构建了手指动作的规则,该手指动作标记规则提供了与语言信息无关的研究框架,所提出的中国手语手形动作的新标记体系可为手指运动及其他的相关研究领域提供良好的借鉴.     

非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法. 首先,Mean-Shift 算法有控制生成强度的优点,将改进的Mean-Shift 算法应用于手形数据通道的生成,以保持手势手 语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将 改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出 了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提 出的非特定人手语数据的生成和检测方法是有效的.     

非特定人手语识别参数训练模型的改进及应用

在手语识别研究中,非特定人手语识别参数训练的样本缺乏影响了非特定人手语识别的识别率.区分性训练可以很好的弥补由于训练样本的缺乏对识别系统所造成的影响,能够提高非特定人手语识别的识别率.对区分性训练(DT)所改进的HMM参数训练模型(DT/HMM)做了全新的推导,获得了与HMM相一致齐全的DT/HMM的参数模型.在特定人识别系统上应用可区分性训练的h准则获取了h参数,将该齐全的DT/HMM的参数训练模型和h参数,应用于大词汇量的非特定人手语识别当中,加入主观经验后的非注册易混词集EXP 与MLE和EBW的非注册易混词集相比,平均识别率分别提高了10.65%和9.55%.     

非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法.首先,Mean-Shift算法有控制生成强度的优点,将改进的Mean-Shift算法应用于手形数据通道的生成,以保持手势手语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提出的非特定人手语数据的生成和检测方法是有效的.