非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法. 首先,Mean-Shift 算法有控制生成强度的优点,将改进的Mean-Shift 算法应用于手形数据通道的生成,以保持手势手 语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将 改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出 了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提 出的非特定人手语数据的生成和检测方法是有效的.     

中国手语音韵标记的建立、实现及其有效性验证

手语是一门语言,手语语言学家从语言学的角度,对手语做了类似"语法"的总结而形成了音韵标注理论.针对目前中国手语无符号标记体系的现况,首先,根据中国手语的特点并结合汉语的语言习惯,文中提出了中国手语音韵标记体系.其次,针对目前音韵标注只给出一些形式化的描述或简单的手工标注的现况,文中借助基于数据手套的中国手语识别系统,提出了以手形数据模板与拉班舞谱相结合的方法,将上述的标记体系在计算机上以自动标注的方式加以实现.最后,针对数据手套的中国手语识别系统缺少先验信息的现况,应用上述音韵标记体系构建具有先验语义信息的易混词集,在构建的过程中说明并分析了音韵标记体系具备语义识别能力.实验表明,在基于统计识别的易混词集与基于先验语义信息的易混词集的识别效果相比较,在不改变统计模型的条件下,可以不同程度地辅助HMM,SOFM/HMM,Effort提高识别率.     

非特定人手语识别问题中的合成数据驱动方法

针对手语识别研究中训练样本缺乏,提出了一种衍生数据的方法,有效地解决了动态多数据流手语训练用样本合成问题.利用mean-shift算法可以方便、快捷地得到密度函数梯度的变化方向,从而控制衍生的方向和强度.算法同时考虑到合成样本尽可能包含非特定人的信息及其有效性,对数据所实现的变形不会被识别系统的初始化过程逆转.合成数据驱动的效果受模型的容量、合成的强度与方向影响.在多种实验环境下对驱动效果进行评估,识别率有所提高,在某些例子中提高明显.     

非特定人手语识别进展及关键问题研究思路

非特定人手语识别是推动手语系统实用化所必须解决的问题.在非特定人手语识别研究中,训练数据的缺乏和非特定人手语数据的差异性矛盾给原有研究框架的有效性带来了挑战.提出了非特定人手语识别新的研究框架,并给出了解决问题的策略与思路.这些问题的解决将对中国手语识别及其他相关领域具有非常重要的意义.     

基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题。该文在分析非特定人手语识别特点－数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切－的基础上，提出了SOFM／HMM模型，将自组织特征映射（SOFM）很强的特征提取功能和隐马可夫模型（HMM）良好的处理时间序列属性结合在一个新颖的框架下，并把该模型应用到非特定人中国手语识别中，实验结果表明，SOFM／HMM模型手语识别率比传统的HMM模型提高近5％。     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成.手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频.换言之,手语识别翻译与手语生成可视为互逆过程.文中综述了手语研究的最新进展,介...     

HMM方法在手语识别中的应用

ＨＭＭ在语音识别中已得到广泛应用。近年来,ＨＭＭ方法在手语识别领域越来越受到关注。本文综述了ＨＭＭ方法在该领域应用的情况,并结合中国手语及其具体特点,对ＨＭＭ方法在手语识别领域中的应用前景进行了展望 。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

手势数据驱动的头部运动合成方法

非手部手势是手语表达中不可缺少的一部分,头部运动的实现并与手势进行协同表达是其重要研究内容。对真人手语表演数据中的手势与头部动作之间的关系进行了深入研究,提取二者的动作特征,利用核典型相关分析方法(kernel canonical correlation analysis,KCCA)建立起手势与头部动作之间的预测关系模型。动画合成结果以及评价实验表明,KCCA方法能更好地刻画手势与头部动作的协调性,实现虚拟人行为动作合成的逼真性。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用.随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇.对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述.从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点.详细介绍了图像预处...     

连续复杂手语中关键动作的提取算法

文中提出了一种在手语动作中提取关键动作的算法。在连续复杂的手语动作中,关键动作数量少且状态相对稳定,因此利用关键动作构造手语的数据模型,将会减少不稳定因素,提高准确率。因此文中提出了一种自适应的分类算法,利用关键动作之间时间的先后关系,以及动作上的不相关性,逐步提取关键动作。实验证明, 该算法 不仅可以面向非特定人群,而且无论是对单独的手语词汇,还是连续的手语语句,均可以提取到全部的关键动作。关键动作可以看作是手语的基元,因此关键动作的提取对于构造新的手语数据模型以及识别手语都具有重要意义。