非特定人手语数据生成及其有效性检测

根据手势手语的特点,提出了手语语言学和人体运动学相结合的非特定人手语数据的生成和检测方法. 首先,Mean-Shift 算法有控制生成强度的优点,将改进的Mean-Shift 算法应用于手形数据通道的生成,以保持手势手 语的语言学特性,并应用关键手形的音韵标记进行数据有效性的检测;其次,为了丰富手语手势动作的运动特性,将 改进的遗传算法应用于与运动相关的数据通道进行数据生成,并应用拉班舞谱对其进行数据有效性检测;最后,提出 了基于原始样本的检测实验框架,使得所提出的检测方法适用于语言类的多类别数据检测问题.实验结果表明,所提 出的非特定人手语数据的生成和检测方法是有效的.     

手势手语力效分析

在非特定人手语识别研究中,数据差异性带来的矛盾已使其成为一个亟待分析的问题.从人体运动学、语言学等角度对手语理解,是解决差异性矛盾进而推动非特定人手语识别的有效途径.文章以运动观测科学规则,特别是拉班的力效理论为基础,归纳了造成手语数据差异的因素,提出了手势手语力效要素的定义和描述方法;继而给出了非特定人手语数据的归整策略,规整后的数据用于训练与识别.在多种实验环境下进行的评估结果表明,识别的效果得到了明显的提升.     

非特定人手语识别进展及关键问题研究思路

非特定人手语识别是推动手语系统实用化所必须解决的问题.在非特定人手语识别研究中,训练数据的缺乏和非特定人手语数据的差异性矛盾给原有研究框架的有效性带来了挑战.提出了非特定人手语识别新的研究框架,并给出了解决问题的策略与思路.这些问题的解决将对中国手语识别及其他相关领域具有非常重要的意义.     

面向广电节目的虚拟人手语合成显示平台研究

基于中国手语合成技术的虚拟人手语视频显示平台技术是一个全新的课题.为了满足广电新闻节目对手势运动流畅性要求,实现了一种上下文相关的手势运动平滑算法,该方法能够充分利用前后两帧的差异来实现手势运动的平滑过渡,其视觉感观效果较传统插值算法更加平滑自然;同时提出了一种基于统计和规则相结合的手势运动重定向算法,在统计方法的基础上针对不同骨架大小以及运动特性进行规则约束,使得标准模型手势运动数据应用到新模型上而不失其准确性;最后,通过扩展基本手语词表达形式并基于alpha融合技术实现了面向广电新闻节目的虚拟人手语合成显示平台并取得很好的结果.     

非特定人手语识别问题中的合成数据驱动方法

针对手语识别研究中训练样本缺乏,提出了一种衍生数据的方法,有效地解决了动态多数据流手语训练用样本合成问题.利用mean-shift算法可以方便、快捷地得到密度函数梯度的变化方向,从而控制衍生的方向和强度.算法同时考虑到合成样本尽可能包含非特定人的信息及其有效性,对数据所实现的变形不会被识别系统的初始化过程逆转.合成数据驱动的效果受模型的容量、合成的强度与方向影响.在多种实验环境下对驱动效果进行评估,识别率有所提高,在某些例子中提高明显.     

基于手势数据分析的地方手语动画合成方法研究*

为了在现有的手势数据基础上合成新的地方手语手势,采取对这些手势数据进行运动相似性分段和动态聚类自动获取具有时序特征的基本手形类数据以及结合手臂状态数据的方法,最后生成新的地方手语手势动画数据。这不仅节省了重新采集数据需要的昂贵设备和大量工作,而且也能达到手势表达准确性的目的。     

一种新的手势运动数据重定向方法

提出了一种新的重新定向手势运动数据的方法.它把通过运动捕获设备捕获的手势数据重新定向到具有不同大小和比例的虚拟人模型上,从而生成与原运动含义相同且真实自然的动画.首先通过手势特征分析在人体上选择关键敏感点和次关键敏感点,然后利用提出的基于空间相对位置的方法确定重定向后敏感点的位置,最后采用改进的逆运动学方法实现了手势运动的重定向.实验表明,提出的方法使得中国手语合成系统的可懂度提高30%以上.     

基于音系学模型的手语理解

该文试图模拟人脑处理手势信号的过程,设计了一个混合的深层神经网络模型来解决基于音系学模型的手语理解问题,即手语音韵信息到文本转换的问题。为此该文首先综合了手语语言学里同时性和序列性这两个观点的长处,提出了一个手语音系学的改进模型,并针对难点设计了基于音系学模型的手语理解算法。直接从语言学的音韵特征推断手语文本,相比从视觉特征推断出手语文本是一个很大的飞跃。实验验证了该认知计算技术的有效性,为实现类人智能奠定了技术基础。     

基于低分辨率视频图像的手语识别方法

实际环境中常遇到大量低分辨率手语视频图像需要识别,但其只含有相对有限的判别信息,识别效率不高,因此提出一种手语识别方法。该方法在采用实时皮肤颜色特征提取目标区域的基础上,计算目标区域形心、边界链码两种识别特征值,利用动态时间规整算法依次识别手势起始帧与结束帧,结合识别结果还原手语单词。在南佛罗里达大学公共手语数据集进行实验,采用该方法与现有方法比较,识别出正确手语单词增加21个,错误手语单词减少1个,消除了手语单词残缺干扰,证明该方法的有效性。     

基于二级匹配策略的实时动态手语识别

动态手语可以利用其轨迹与关键手型加以描述。大量的统计实验数据表明,大多数的常用手语通过轨迹曲线的匹配即可实现识别,因此,提出一种针对动态手语的分级匹配识别算法。首先利用体感设备获取手势轨迹,并根据轨迹的点密度分布设计了一种关键帧检测算法以提取手势的关键手型,结合轨迹的曲线特征,实现对动态手语的精确描述。然后利用优化的动态时间规整(DTW)算法完成对手语的一级匹配,即轨迹匹配。若此时可以得到识别结果,那么识别过程可以结束,否则进入二级匹配,即针对关键手型再做匹配识别,从而得到最终的识别结果。实验证明,所提算法不仅实时性好,识别的准确率也较高。     

Bangla language modeling algorithm for automatic recognition of hand-sign-spelled Bangla sign language

Because of using traditional hand-sign segmentation and classification algorithm,many diversities of Bangla language including joint-letters,dependent vowels etc.and representing 51 Bangla written characters by using only 36 hand-signs,continuous hand-sign-spelled Bangla sign language(BdSL)recognition is challenging.This paper presents a Bangla language modeling algorithm for automatic recognition of hand-sign-spelled Bangla sign language which consists of two phases.First phase is designed for hand-sign classification and the second phase is designed for Bangla language modeling algorithm(BLMA)for automatic recognition of hand-sign-spelled Bangla sign language.In first phase,we have proposed two step classifiers for hand-sign classification using normalized outer boundary vector(NOBV)and window-grid vector(WGV)by calculating maximum inter correlation coefficient(ICC)between test feature vector and pre-trained feature vectors.At first,the system classifies hand-signs using NOBV.If classification score does not satisfy specific threshold then another classifier based on WGV is used.The system is trained using 5,200 images and tested using another(5,200×6)images of 52 hand-signs from 10 signers in 6 different challenging environments achieving mean accuracy of 95.83%for classification with the computational cost of 39.972 milliseconds per frame.In the Second Phase,we have proposed Bangla language modeling algorithm(BLMA)which discovers all"hidden characters"based on"recognized characters"from 52 hand-signs of BdSL to make any Bangla words,composite numerals and sentences in BdSL with no training,only based on the result of first phase.To the best of our knowledge,the proposed system is the first system in BdSL designed on automatic recognition of hand-sign-spelled BdSL for large lexicon.The system is tested for BLMA using hand-sign-spelled 500 words,100 composite numerals and 80 sentences in BdSL achieving mean accuracy of 93.50%,95.50%and 90.50%respectively.     

论中国手语的分类词谓语

分类词谓语是手语中一种独特的语言现象。中国大陆学者对分类词谓语的研究刚开始涉足,尚未见到系统的研究报道。该文试图从语言学的角度对中国手语分类词谓语做了语义认知分析,首先结合Talmy的动态事件和代形词的分析,解释中国手语的分类词谓语现象,分析主体和背景的代形词如何形成以达到手语同时性和序列性要求,并由此确定主体代形词和背景代形词通常是由非运动的手形组成;另一方面也说明中国手语与汉语的相互影响,对“动作”和“位于”这两类的手语代形词做了较为详细的描述及分类。     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成.手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频.换言之,手语识别翻译与手语生成可视为互逆过程.文中综述了手语研究的最新进展,介...     

维吾尔语KP_V句型的文法手语编辑系统的设计

自然语言书面表达通过文字符号载体来实现,聋哑学生经过专门的训练才能掌握理解和运用书面语言的能力。为实现基于虚拟人的手语合成技术的维吾尔文书面语用手语符号表达,对维吾尔语KP_V句型分析,提出了该句型的文本内容用手势语和手指语表示的转换方法,给出了维吾尔文法手语编辑系统的流程。系统通过虚拟人建模、手语库构建、姿态编辑,运用插值算法合成显示播放,实现了维吾尔文法手语编辑。该研究对基于拼音文字的维吾尔文本转换为混合手势语和手指的手语合成系统设计与实现具有参考意义。     

A knowledge-based sign synthesis architecture

This paper presents the modules that comprise a knowledge-based sign synthesis architecture for Greek sign language (GSL). Such systems combine natural language (NL) knowledge, machine translation (MT) techniques and avatar technology in order to allow for dynamic generation of sign utterances. The NL knowledge of the system consists of a sign lexicon and a set of GSL structure rules, and is exploited in the context of typical natural language processing (NLP) procedures, which involve syntactic parsing of linguistic input as well as structure and lexicon mapping according to standard MT practices. The coding on linguistic strings which are relevant to GSL provide instructions for the motion of a virtual signer that performs the corresponding signing sequences. Dynamic synthesis of GSL linguistic units is achieved by mapping written Greek structures to GSL, based on a computational grammar of GSL and a lexicon that contains lemmas coded as features of GSL phonology. This approach allows for robust conversion of written Greek to GSL, which is an essential prerequisite for access to e-content by the community of native GSL signers. The developed system is sublanguage oriented and performs satisfactorily as regards its linguistic coverage, allowing for easy extensibility to other language domains. However, its overall performance is subject to current well known MT limitations.     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

HMM方法在手语识别中的应用

ＨＭＭ在语音识别中已得到广泛应用。近年来,ＨＭＭ方法在手语识别领域越来越受到关注。本文综述了ＨＭＭ方法在该领域应用的情况,并结合中国手语及其具体特点,对ＨＭＭ方法在手语识别领域中的应用前景进行了展望 。     

基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题。该文在分析非特定人手语识别特点－数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切－的基础上，提出了SOFM／HMM模型，将自组织特征映射（SOFM）很强的特征提取功能和隐马可夫模型（HMM）良好的处理时间序列属性结合在一个新颖的框架下，并把该模型应用到非特定人中国手语识别中，实验结果表明，SOFM／HMM模型手语识别率比传统的HMM模型提高近5％。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.