基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

采用SIFT-BoW和深度图像信息的中国手语识别研究

将深度图像信息引入手语识别的研究,提出了一种基于DI_CamShift(Depth Image CamShift)和SIFT-BoW(Scale Invariant Feature Transform-Bag of Words)的中国手语识别方法。该方法将Kinect作为视频采集设备,在获取手语彩色视频的同时得到其深度信息;首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;然后使用基于深度积分图像的Ostu算法分割手势并提取其SIFT特征,进而构建SIFT-BoW作为手语特征并用SVM进行识别。实验结果表明,该方法单个手语字母最好识别率为99.87%,平均识别率96.21%。     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于深度学习的连续手语语句识别算法

目前,关于连续手语语句识别的研究相对较少,原因在于难以有效地分割出手语词。该文利用卷积神经网络提取手语词的手型特征,同时利用轨迹归一化算法提取手语词的轨迹特征,并在此基础上完成长短期记忆网络的构建,从而为手语语句识别准备好手语词分类器。对于一个待识别的手语语句,采用基于右手心轨迹信息的分割算法来检测过渡动作。由过渡动作可以将语句分割为多个片段,考虑到某些过渡动作可能是手语词内部的动作,所以将若干个片段拼接成一个复合段,并按照层次遍历的次序对所有复合段运用手语词分类器进行识别。最后,采用跨段搜索的动态规划算法寻找最大后验概率的词汇序列,从而完成手语语句的识别。实验结果表明,该算法可以对47个常用手语词组成的语句做出识别,且具有较高的准确性和实时性。     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。     

基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。     

深度信息辅助的均值漂移目标跟踪算法

参考目标模型中混入的背景噪声会弱化目标特征的描述,导致目标跟踪定位误差。为减少误差,依据目标与背景处于不同深度平面的特点,提出了基于深度信息辅助的和改进的背景加权直方图的MeanShift跟踪算法,能够有效削弱核窗口中的背景干扰信息,突出目标的颜色特征信息,并适时自适应更新核带宽,减少因目标尺寸变小时引入较多的背景干扰信息。实验结果表明该算法迭代次数更少,具有良好的跟踪定精度。     

基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题, 然而目前大部分算法都是仅使用RGB或深度视频序列, 很少将它们结合起来进行行为识别。由于它们都有各自的优点且信息是互补的, 因此文中研究深度图像和RGB图像的特性, 不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法, 而且将它们有效融合, 进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估。大规模实验结果表明, 文中提出的行为描述算法性能比一些最具代表性算法的性能更好。同时, 深度数据和RGB图像融合后算法性能得到进一步提高, 比单独使用深度数据或RGB图像的性能更好, 且具有较好的区分性和鲁棒性。     

基于条件迭代算法的手语识别技术

针对多组手语语句中重复出现的手语单词识别问题,提出了一种识别方法。该方法利用时间规整算法构建手语识别模型,并通过条件迭代算法快速计算最大后验概率。在南佛罗里达大学公共手语数据集进行实验,证明了该方法具有一定的实用性。     

基于深度极限学习机的危险源识别算法HIELM

危险源识别是民用航空管理的重要环节之一,危险源识别结果必须高度准确才能确保飞行的安全。为此,提出了一种基于深度极限学习机的危险源识别算法HIELM(Hazard Identification Algorithm Based on Extreme Lear-ning Machine),设计了一种由多个深层栈式极限学习机(S-ELM)和一个单隐藏层极限学习机(ELM)构成的深层网络结构。算法中,多个深层S-ELM使用平行结构,各自可以拥有不同的隐藏结点个数,按照危险源领域分类接受危险源状态信息完成预学习,并结合识别特征改进网络输入权重的产生方式。在单隐藏层ELM中,深层ELM的预学习结果作为其输入,改进了反向传播算法,提高了网络识别的精确度。同时,分别训练各深层S-ELM,缓解了高维数据训练的内存压力和节点过多产生的过拟合现象。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

连续复杂手语中关键动作的提取算法

文中提出了一种在手语动作中提取关键动作的算法。在连续复杂的手语动作中,关键动作数量少且状态相对稳定,因此利用关键动作构造手语的数据模型,将会减少不稳定因素,提高准确率。因此文中提出了一种自适应的分类算法,利用关键动作之间时间的先后关系,以及动作上的不相关性,逐步提取关键动作。实验证明, 该算法 不仅可以面向非特定人群,而且无论是对单独的手语词汇,还是连续的手语语句,均可以提取到全部的关键动作。关键动作可以看作是手语的基元,因此关键动作的提取对于构造新的手语数据模型以及识别手语都具有重要意义。     

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。     

基于自编码的中国手语识别研究

针对动态手语上下文联系强的特点,采用LSTM(Long Short-Term Memory)循环神经网络用于识别,同时,利用自编码实现动态手语的无监督学习。该方法将数据手套作为采集设备,在获取手语信息后,通过编码器、解码器生成手语的重构矢量。在实验过程中,将采集的数据集进行模型的训练,并与监督学习的结果进行比较。实验结果表明,该方法能够有效进行手语识别的无监督学习。     

基于DenseNet和深度运动图的行为识别算法

结合深度信息以及RGB视频序列中丰富的纹理信息,提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构,首先获取彩色纹理信息和光流信息,然后从同步的深度视频序列获取深度信息,以增强特征互补性;再将空间流、时间流和深度流三种特征信息分别作为网络的输入;最后通过LSTMs进行特征融合和行为分类。实验结果表明,在公开的动作识别库UTD-MHAD数据集上,该算法识别准确率为92. 11%,与该领域中的同类算法相比表现优异。     

基于二级匹配策略的实时动态手语识别

动态手语可以利用其轨迹与关键手型加以描述。大量的统计实验数据表明,大多数的常用手语通过轨迹曲线的匹配即可实现识别,因此,提出一种针对动态手语的分级匹配识别算法。首先利用体感设备获取手势轨迹,并根据轨迹的点密度分布设计了一种关键帧检测算法以提取手势的关键手型,结合轨迹的曲线特征,实现对动态手语的精确描述。然后利用优化的动态时间规整(DTW)算法完成对手语的一级匹配,即轨迹匹配。若此时可以得到识别结果,那么识别过程可以结束,否则进入二级匹配,即针对关键手型再做匹配识别,从而得到最终的识别结果。实验证明,所提算法不仅实时性好,识别的准确率也较高。     

改进SSD算法在中国手语识别上的应用

基于计算机视觉的手语识别技术能为聋校双语教学带来很大的便利.近年来,随着深度学习技术的蓬勃发展,手语识别的准确率和速度有了极大的提高.与使用颜色标记和外界技术(如Kinect手心定位技术)的方法不同,提出一种改进的SSD(Single-Shot Multibox Detector)网络,对手势进行目标检测完成中国手语识...     

基于二阶隐马尔可夫模型的连续手语识别

在传统的一阶隐马尔可夫模型(HMM1)中,状态序列中的每一个状态被假设只与前一个状态有关,这样虽然可以简单、有效地推导出模型的学习和识别算法,但也丢失了许多从上文传递下来的信息.因此,在传统一阶隐马尔可夫模型的基础上,为了解决手语识别困难、正确率低的问题,提出了一种基于二阶隐马尔可夫模型(HMM2)的连续手语识别方法....     

基于图像空间金字塔SURF-BoW的步态识别

在步态识别中,衣着的变化易降低步态识别效果。为此,提出一种保留步态特征空间分布信息的步态识别方法。提取步态能量图像各级空间金字塔网格的加速鲁棒特征,采用偏最小二乘空间金字塔表示方法对各自级层的特征加权后进行聚类,构建词袋模型,用该模型统计直方图表征步态特征。使用直方图相交核支持向量机在CASIA步态数据库进行实验,结果表明,该方法具有较好的识别效果,平均识别率优于四元数小波变换、掩模能量图、局部二值模式和局部纹理分析步态识别方法。