基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

采用SIFT-BoW和深度图像信息的中国手语识别研究

将深度图像信息引入手语识别的研究,提出了一种基于DI_CamShift(Depth Image CamShift)和SIFT-BoW(Scale Invariant Feature Transform-Bag of Words)的中国手语识别方法。该方法将Kinect作为视频采集设备,在获取手语彩色视频的同时得到其深度信息;首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;然后使用基于深度积分图像的Ostu算法分割手势并提取其SIFT特征,进而构建SIFT-BoW作为手语特征并用SVM进行识别。实验结果表明,该方法单个手语字母最好识别率为99.87%,平均识别率96.21%。     

基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

基于低分辨率视频图像的手语识别方法

实际环境中常遇到大量低分辨率手语视频图像需要识别,但其只含有相对有限的判别信息,识别效率不高,因此提出一种手语识别方法。该方法在采用实时皮肤颜色特征提取目标区域的基础上,计算目标区域形心、边界链码两种识别特征值,利用动态时间规整算法依次识别手势起始帧与结束帧,结合识别结果还原手语单词。在南佛罗里达大学公共手语数据集进行实验,采用该方法与现有方法比较,识别出正确手语单词增加21个,错误手语单词减少1个,消除了手语单词残缺干扰,证明该方法的有效性。     

基于Kinect的手语识别方法

为实现基于Kinect的手语识别,提出了一种利用有限状态机及动态时间规整(DTW)的动态手语识别方法。首先,利用Kinect技术得到人体深度图像和骨骼特征信息;然后利用手部分割算法得到手部深度图像,再选取识别正确率高的梯度方向直方图(HOG)特征算子来提取手部特征;最后加入有限状态机和DTW算法实现动态手语识别。实验结果表明:该方法能够实现对常用手语单词、句子的识别,识别准确率可达95%。     

基于细胞神经网络的快速手语视频分割方法

为实现感兴趣区手语视频编码,提高通话效率,提出一种基于细胞神经网络(CNN)的快速手语视频分割方法。该方法首先利用肤色信息特征进行基于CNN的肤色检测,检测出手语视频中的肤色区域;然后对肤色检测结果,利用帧差法进行基于CNN的运动检测,获得初始的手势区域;最后采用形态学处理方法进行空洞填充和边界平滑,实现了手语视频图像序列中的面部和手部区域的分割。研究结果表明,该方法能够快速准确地进行手语视频分割。     

改进SSD算法在中国手语识别上的应用

基于计算机视觉的手语识别技术能为聋校双语教学带来很大的便利。近年来,随着深度学习技术的蓬勃发展,手语识别的准确率和速度有了极大的提高。与使用颜色标记和外界技术（如Kinect手心定位技术）的方法不同,提出一种改进的SSD（Single-Shot Multibox Detector）网络,对手势进行目标检测完成中国手语识别。针对手部小目标,将SE-Net嵌入SSD中的特征层进行通道权重分配,改进损失函数更好地应对正负样本不均衡问题,使用mixup进行数据增强,将手势识别结果在中国手语关键手势模板库中进行匹配,从而完成动态手语识别。实验证明,该算法在手语识别上具有较高的准确率和识别速度。     

手语识别方法与技术综述

手语作为聋哑人和健听人的主要交流渠道,在日常生活中发挥着十分重要的作用。随着计算机视觉领域和深度学习领域的高速发展,手语识别领域也迎来了新的机遇。对近年来基于计算机视觉的手语识别研究中使用的先进方法和技术进行了综述。从静态手语、孤立词和连续语句识别三个分支出发,系统地阐述了手语识别常用方法和技术难点。详细介绍了图像预处理、检测与分割、跟踪、特征提取、分类等手语识别步骤。总结分析了手语识别常用的算法和神经网络模型,归纳整理了常用手语数据集,并对不同语种识别现状进行了分析,探讨了手语识别面临的挑战与限制。     

基于无线传感技术与卷积神经网络的静态手语识别方法

基于传感网络的手语识别随着手势复杂程度的提升，识别的难度增大，因此，为了获取更加精准的静态手语识别结果，提出了基于无线传感技术与卷积神经网络的静态手语识别方法。通过无线传感技术对静态手语图像滤波处理，采用特征提取方法提取静态手语特征并进行融合处理，将融合后的连续二维特征图像直接转换为一维向量，将其作为卷积神经网络的输入，通过迭代训练完成静态手语识别。实验结果表明，所提方法在不同场景下静态手语识别精度高于94.11%，且识别速度较快，由此验证了所提方法可以快速准确完成静态手语识别。     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

基于词根的中国手语识别方法

迄今为止，手语识别面临的最大问题是如何解决词汇集易扩充的连续识别，提出一种大词汇量连续中国手语识别方法，将词根作为识别基元，由于基元的数目是有限的，因此基于HMM的手语信号的训练和识别变得比较容易处理，可以实现更大词汇量的识别。除此之外，所提方法还有利于实现手势语和手指语的混合识别。从中国手语中共整理现2400多个词根，为每个词根建一个并行的HMM模型，对各数据流的HMM模型进行聚集，确定出手识别的基元。根据这些基元对手妫刻苦骊，并建立了树状搜索网络，使用状态垄点上高斯密度函数聚类、语言模型和N－Best方法提高系统的速度和精度。对5119个手语词做了实验，连续语句的识别率可在90％以上。     

基于多特征融合的交通标志识别算法

综合考虑识别率、时间复杂度以及鲁棒性,提出一种边缘、纹理、颜色多特征融合和支持向量机（SVM）的交通标志识别算法。通过提取能够描述交通标志图像边缘信息的方向梯度直方图（HOG）特征并进行统计平均,与能够表示标志图像内部纹理信息的局部二值模式（LBP）特征融合得到降维后的HOG-maxLBP特征,再级联交通标志的颜色特征作为最终的特征向量,最后利用SVM进行交通标志训练和分类。实验结果表明,该算法不仅提高了交通标志的识别率,而且降低了时间复杂度,增强了系统鲁棒性。     

有限样本条件下欠规范手语识别容错特征扩充

生活中似是而非的手语表达语义含糊,欠规范的手势动作易混淆,同时从有限样本中难以获得充足特征用于训练手语识别模型,模型容易过拟合进而导致识别准确率较低.针对此问题,提出一种在有限样本条件下扩充欠规范手语识别容错特征的表示学习方法.该方法基于手语表达时人体骨架的运动信息,面向手语的时空关联性构建自编码器,从手语语料库中少量...     

Chinese Sign Language animation generation considering context

Sign language (SL) is a kind of natural language for the deaf. Chinese Sign Language (CSL) synthesis aims to translate text into virtual human animation, which makes information and service accessible to the deaf. Generally, sign language animation based on key frames is realized by concatenating sign words captured independently. That means a sign language word has the same pattern in diverse context, which is different from realistic sign language expression. This paper studies the effect of context on manual gesture and non-manual gesture, and presents a method for generating stylized manual gesture and non-manual gesture according to the context. Experimental results show that synthesized sign language animation considering context based on the proposed method is more accurate and intelligible than that irrespective of context.     

基于IMU的手语识别骨骼模型构建

手语识别属于手势识别的研究范畴。传统的基于数据手套的手语识别方法不能完整捕捉手语的所有要素,无法识别手部与肢体配合的手语动作。 惯性测量单元(IMU)由于体积小、成本低而被越来越多地应用到动作捕捉项目中。借鉴机器人运动学相关知识,提出了基于IMU的手语识别骨骼模型,该模型符合人体生物学特征。模型的构建步骤为首先进行骨骼的选取,然后进行尺寸标定。最后提出了标定模型尺寸的实验方法,使用IMU获得的动作集的数据可以进行求解。     

多层DGMM识别器在中国手语识别中的应用

手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统 ,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器“看懂”聋人的语言.手 语识别和手语合成相结合,构成一个“人-机手语翻译系统”,便于聋人与周围环境的交 流.手语识别问题是动态手势信号即手语信号的识别问题.考虑到系统的实时性及识别效率, 该系统选取Cyberglove型号数据手套作为手语输入设备,采用DGMM(dynamic Gaussian mixt ure model)作为系统的识别技术,并根据中国手语的具体特点,在识别模块中选取了多层识 别器,可识别中国手语字典中的274个词条,识别率为97.4%.与基于单个DGMM的识别系统比 较,这种模型的识别精度与单个DGMM模型的识别精度基本相同,但其识别速度比单个DGMM的 识别速度有明显的提高.     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。