基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别;提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备;在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置;通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势;并提取其SIFT特征;构建了SLVW词包作为手语特征;并用SVM进行识别。通过实验验证该算法;其单个手语字母最好识别率为99.87%;平均识别率96.21%。     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

基于深度图像信息的指尖跟踪与轨迹识别

针对基于传统摄像头获取的二维图像难以准确区分复杂环境下目标和背景的问题,提出一种利用Kinect摄像头对复杂背景下手指指尖的跟踪算法,并对指尖跟踪的轨迹进行识别。首先利用Kinect获取的深度图像信息对手部进行分割和指尖检测;然后利用压缩感知方法对跟踪目标进行特征提取,通过朴素贝叶斯(NB)分类器分类跟踪目标和背景;最后,通过支持向量机(SVM)方法对跟踪的轨迹进行识别。实验结果表明,提出的方法能够成功地跟踪手指指尖的位置,同时能够准确识别出指尖跟踪的轨迹。     

动态手语识别综述

手语是用手势比量动作, 根据手势的变化模拟形象或者音节以构成的一定意思或词语, 手语是听力障碍者或无法用言语交流的人普遍采用的一种交际工具. 随着计算机视觉和深度学习的不断发展, 手语识别技术随之出现并不断发展, 使普通人与聋哑人士交流成为可能. 然而, 动态手语的复杂性和变化性使得对手语的精确检测和识别仍具挑战. 为了推动该领域的研究, 本文深入调研现有的动态手语识别方法和技术. 首先, 调研了动态手语识别技术的发展历程和研究现状、常用动态手语数据集以及手语识别方法的评价指标. 其次, 重点调研了动态手语识别常用的深度学习模型, 探讨了动态手语识别技术面临的问题以及对应的解决方案. 最后, 基于手语识别现状, 总结了当前动态手语识别面临的问题, 并对下阶段如何提升手语识别性能进行分析和展望.     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于彩色-深度视频和CLDS的手语识别

提出一种基于彩色-深度视频和复线性动态系统(Complex linear dynamic system, CLDS)的手语识别方法,可以保证时序建模数据与原始数据严格对应,准确刻画手语特征,从而显著提高分类精度。利用深度视频补偿RGB视频中的缺失信息,提取手语视频运动边界直方图（Motion boundary histogram, MBH）特征,得到每种行为的特征矩阵。对特征矩阵进行CLDS时序建模,输出能唯一表示该类手语视频的描述符M=(A,C),然后利用子空间角度计算各模型之间的相似度;通过改进的K最近邻（K-nearest neighbors, KNN）算法得到最终分类结果。在中国手语数据集（Chinese sign language, CSL）上的实验表明,本文方法与现有的手语识别方法相比,具有更高的识别率。     

基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题, 然而目前大部分算法都是仅使用RGB或深度视频序列, 很少将它们结合起来进行行为识别。由于它们都有各自的优点且信息是互补的, 因此文中研究深度图像和RGB图像的特性, 不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法, 而且将它们有效融合, 进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估。大规模实验结果表明, 文中提出的行为描述算法性能比一些最具代表性算法的性能更好。同时, 深度数据和RGB图像融合后算法性能得到进一步提高, 比单独使用深度数据或RGB图像的性能更好, 且具有较好的区分性和鲁棒性。     

基于手部骨架数据的非特定连续手语深度识别

非特定连续手语是指不限定手语类型和手势数量,由于手部骨架数据可能存在遮挡、变形等情况,会导致手部骨架提取和识别精度降低。为了有效提升非特定连续手语深度识别结果的准确性,提出一种基于手部骨架数据的非特定连续手语深度识别方法。采用距离场和分水岭算法,获得含有手势骨架的骨架潜在图,通过主动轮廓线模型确定骨架端点,并利用A*算法对其修剪,获取手部骨架特征。将手部骨架特征对应的背景作为负样本,得到手势方向梯度图特征,引入卷积神经网络展开训练,获取非特定连续手语检测分类器,确定目标手势区域,实现非特定连续手语深度识别。实验结果表明,所提方法能够准确提取手部骨架特征,非特定连续手语深度识别准确率在90%以上,且识别时间短。     

基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于深度图像的多学习者姿态识别

在数字化学习场景中,人体姿态的识别有助于分析学习者的学习状态。提出了一种基于深度图像的多学习者姿态识别方法。首先通过Kinect的红外传感器获取包含深度信息的图像,利用深度图像进行人像-背景分离;然后提取人体的轮廓特征Hu矩;最后采用SVM分类器对轮廓特征进行分类和识别。实验结果表明,本方法能有效地识别多个学习者的举手、正坐和低头等姿态。     

基于实时视频的笔画信息提取技术

描述了一种基于实时视频的笔画信息提取方法,采用视频输入设备捕捉用户手指的运动轨迹,并对此进行实时处理、简化和分析,根据手指的轨迹特征以及笔画的特点从中滤除无用的信息的方法,提取出笔画.通过笔画信息识别定义手势控制,可实现简单的人机交互.     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

基于Kinect的课堂教学状态监测系统

课堂上对学生听课效果进行评估的重点是捕捉学生听课行为.本系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向,以此反映学生听课状态.同时,系统利用Kinect麦克风阵列采集到的声源信息来统计课堂回答问题的频度和声源位置.通过对上述信息的综合分析,获取学生上课状态的客观指标,从而对课堂教学评估提供数据支撑.