一种基于DTW/ISODATA算法的多层分类器手语识别方法

为提高大词汇量手语识别速度,论文提出了一种将动态时间规整(DTW)和隐马尔可夫模型(HMM)相结合的多层次的大词汇量手语识别方法。该方法思想是先进行全局粗略搜索,将要识别的手势词归入某一组范围较小的词表中,然后通过更加精确的HMM局部搜索将词识别出来。各个词汇表用DTW/ISODATA算法来产生。对4942个孤立手语词作了实验,结果表明,相对于仅用HMM单层识别而言,识别速度从原来每个词的2.364秒提高到0.137秒,提高了94.2%,识别准确率也提高了4.66%。     

一种可处理数据缺失的视角无关手语识别方法

基于虚拟立体视假设,借鉴RANSAC技术的思想,文中针对数据缺失(帧对之间匹配特征可能较少)情况下的视角无关手语识别问题,提出一种Sample-Consensus方法.其基本出发点是,同一手语不同视角下的两个样本序列之间所有的对应帧对,可以解释为由某一虚拟立体视觉系统同步捕获,因而满足同一个基础矩阵,而且此基础矩阵能够基于部分对应帧对包含的点对应关系进行估计.实验表明,提出的Sample-Consensus方法能够有效地应用于数据缺失情况下的视角无关手语识别.另外,这种方法也可以扩展到相近的领域,如视角无关的动作识别和刚体运动分析等.     

Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用

在经典的模式识别理论中,Viterbi算法代表了统计概率的模式匹配算法,而DTW算法代表了模版匹配的模式匹配算法,它们之间是否存在关系至今尚无定论.为了找到这两种算法之间的关系,在类别隶属度是广义概率的假设前提下,应用模糊数学的理论在Viterbi算法与DTW算法之间建立起联系.首先,提出了利用模糊数学的贴近度把DTW算法的距离向Viterbi算法的概率转化的通用贴近度表达式,并对通用贴近度表达式给出了理论上的证明.其次,应用DTW的通用贴近度表达式重估HMM参数,建立DTW算法与Viterbi算法之间的模糊贴近度关系,并为此提出了δ-ε算法,得到基于数据帧的类似于HMM的参数重估形式.然后,为了确保建立DTW算法与Viterbi算法之间的模糊贴近度关系的正确性,以定理的形式给出了相应的证明.再次,通过设定的DTW贴近度表达式对HMM参数重估的过程中,发现了DTW贴近度的重估参数与HMM重估参数之间存在着的模糊关系,以定理的形式对这种模糊关系加以证明.最后,依据上述定理提出了Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法,以定理的形式对Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法的正确性加以证明,并将对Dtw-ViterbiⅠ...     

结合Bi-2DPCA与CNN的美式手语识别

针对现有美式手语（ASL）识别算法准确率低和模型训练时间长的问题,提出一种结合双向二维主成分分析（Bi-2DPCA）与卷积神经网络（CNN）并基于贝叶斯优化的识别算法。利用Bi-2DPCA算法对原始图像做数据降维处理,提取行、列方向的特征图,使用卷积神经网络对特征图进行训练分类,同时采用贝叶斯优化算法对模型超参数进行自动调参。在24分类ASL数据集上的实验结果表明,该算法的识别准确率达到99.15%,训练时间相比传统CNN算法减少90.3%。     

基于非参数统计分类模型的交通标志识别方法研究

交通标志识别是智能汽车或移动机器人自动导航的重要组成部分,由于现实环境中的交通标志存在着光照变化、褪色污损、扭曲变形等问题,使得同一类交通标志的模式分布呈现非高斯形态。为此,我们构造了一种非参数统计分类模型来识别交通标志。它对具有高度离散的模式识别问题有较好的适应性。实验表明这种分类模型用来识别特征高度离散的交通标志是有效的。     

基于非参数统计分类模型的交通标志识别方法研究

交通标志识别是智能汽车或移动机器人自动导航的重要组成部分,由于现实环境中的交通标志存在着光照变化、褪色污损、扭曲变形等问题,使得同一类交通标志的模式分布呈现非高斯形态.为此,我们构造了一种非参数统计分类模型来识别交通标志.它对具有高度离散的模式识别问题有较好的适应性.实验表明这种分类模型用来识别特征高度离散的交通标志是有效的.     

一种结合形状序列和DTW的动作识别方法

提出了一种单幅图像上轮廓信息的获取方法,在一段时间内发生的动作可以通过采样获得多幅图像来表示该动作特征.这些图像可以看成是轮廓形状变化序列,通过比较不同动作的轮廓形状序列,使得动作能够较容易地识别出来.实验证明,轮廓信息能够较好地反映对象的形状,采用形状序列和DTW相结合的方法能够提高动作识剐的准确性.     

一种基于SCHMM的手语识别方法

手语识别的研究具有重大的学术价值和广泛的应用前景.在近些年的手语识别工作中,隐马尔科夫模型(HiddenMarkov Models,简称HMMs)起到了重要的作用.基于HMM的统计框架是当前动态识别领域的主流方法,同时也是该文的研究工作的理论基础.提出将半连续隐马尔科夫模型(SCHMM)用于手语识别,在理论上证明了SCHMM优于离散隐马尔科夫模型(DHMM)和连续隐马尔科夫模型(CHMM),可以避开DHMM中因矢量量化造成的信息损失,在保证识别率的前提下降低模型的复杂性和运算量.     

一种基于Petri网的特定手语词汇识别方法

本文尝试使用Petri网进行简单的手语词汇识别。首先采用模板匹配方法检测到一系列简单的手势,如手掌张开直立、握拳、伸出大小拇指。其中,每个简单手势的发生对应于Petri网中的一个变迁。待识别的手语词汇是由一串特定的手势序列构成的,如手掌张开直立一握争伸出大小拇指。通过Petri网记录手势的动态变化,并在每次新变迁发生时检测目标库所的标志增加情况,从而实现特定手语词汇的识别。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用.随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇.对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述.从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点.详细介绍了图像预处...     

手势手语力效分析

在非特定人手语识别研究中,数据差异性带来的矛盾已使其成为一个亟待分析的问题.从人体运动学、语言学等角度对手语理解,是解决差异性矛盾进而推动非特定人手语识别的有效途径.文章以运动观测科学规则,特别是拉班的力效理论为基础,归纳了造成手语数据差异的因素,提出了手势手语力效要素的定义和描述方法;继而给出了非特定人手语数据的归整策略,规整后的数据用于训练与识别.在多种实验环境下进行的评估结果表明,识别的效果得到了明显的提升.     

在频域上利用三维轨迹匹配进行手语识别

手语是聋哑人互相之间常用的交流手段.但由于大部分口语使用者不懂手语, 因此影响了聋哑人参加正常的社交活动.因此,提出了一种利用简单的三维轨迹信息进行小规模手语词汇识别的方法,试图帮助聋哑人克服部分交流障碍.首先,对Kinect获取的三维轨迹进行预处理——对获得的三维轨迹根据打手语人的身高进行归一化,然后使用插值算法对轨迹进行均匀的指定点数的重采样.在进行匹配之前,测试集和原型图像集中的轨迹将会对齐,并使用DFT变换到频域空间,得到由实部、虚部、幅值串接而成的新的特征向量.最后,在频域中计算两条轨迹之间的欧氏距离以评估两条三维轨迹的相似度.对239个手语词汇集合的实验结果表明,该方法对于中国手语的孤立词识别是有效的.     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成.手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频.换言之,手语识别翻译与手语生成可视为互逆过程.文中综述了手语研究的最新进展,介...     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。     

基于SCHMM的手语识别方法的实验研究

在近些年的手语识别工作中,HMM起到了重要的作用。提出将SCHMM用于手语识别,实验结果表明SCHMM优于离散隐马尔科夫模型（DHMM）和连续隐马尔科夫模型（CHMM）,可以避开DHMM中因矢量量化造成的信息损失,在保证识别率的前提下降低模型的复杂性和运算量。     

Language Independent Statistical Software for Corpus Exploration

In this report two programs for statistical analysis of concordance lines are described. The programs have been developed for analyzing he lexical context of a given word. It is shown how different parameter settings influence the outcome of collocational analysis, and how the concept of collocation can be extended to allow the extraction of lines typical for a word from a set of concordance lines. Even though all the examples are for English, the software is completely language independent and only requires minimal linguistic resources. This revised version was published online in July 2006 with corrections to the Cover Date.     

基于ANN/HMM的中国手语识别系统

手语是聋哑人使用的语言。它是由手形动作辅之以表倩姿势为符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的特殊的语言。一方面,手语识别可以作为健全人与聋哑人之间的翻译,为聋哑人提供更好的服务;另一方面,作为人体语言理解的一部分,手语识别可作为人机交互的一种手段。该文实现了基于ANN／HMM的手语识别系统,采用ANN方法建立了关于手形、位置、方向的特征映射器,并在建立手形特征映射器的过程中,给出了多特征多分类器融合算法。实验证明,基于ANN／HMM的手语识别系统是可行及实用的。     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.