基于单一深度图像的人体姿态实时识别技术研究

为探索更自然、逼真的交互方式,对基于深度图像技术进行研究。介绍当前深度图像技术的应用现状以及主要研究方法;利用深度图像对人体进行识别,包括基于多幅深度图像和基于单一深度图像;对于人体姿态静态追踪,基于当前研究成果将人体部位进行分割处理,以计算机处理速率及鲁棒性为出发点,将随机森林算法应用于单一深度图像中人的定位,并提出改进方法,实现身体部位的识别以及骨骼关节点的空间位置精确标定。通过试验分析对人体深度图像识别速率及精确度方面的改进效果进行验证。     

基于深度图像与骨骼数据的行为识别

为了充分利用深度图像与骨骼数据进行人体行为识别,提出了一种基于深度图形与骨骼数据的多特征行为识别方法。该算法的多特征包括深度运动图（DMM）特征与四方形骨骼特征（Quad）。深度图像方面,将深度图像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面,提出四方形骨骼特征,它是骨骼坐标的一种标定方式,得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略,减小了噪声数据对分类结果的影响。所提方法在MSR-Action3D和DHA数据库进行实验,实验结果表明,所提算法有着较高的识别率与良好的鲁棒性。     

基于深度信息的人体姿态识别研究综述

随着RGB-D传感器的出现,深度图像信息可以弥补基于彩色图像的人体姿态识别在复杂环境和光照变化下鲁棒性较差的问题,因此利用深度信息识别人体姿态变得更加便捷。为了解人体姿态识别的发展现状,在广泛调研现有文献和最新成果的基础上,从深度图像预处理、特征提取、姿态识别算法三方面对基于深度信息的人体姿态识别进行阐述,介绍人体姿态识别相关的技术发展及应用领域,并对其中存在的难点与问题进行讨论,为以后的相关研究提供思路。     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于深度图像的多学习者姿态识别

在数字化学习场景中,人体姿态的识别有助于分析学习者的学习状态。提出了一种基于深度图像的多学习者姿态识别方法。首先通过Kinect的红外传感器获取包含深度信息的图像,利用深度图像进行人像-背景分离;然后提取人体的轮廓特征Hu矩;最后采用SVM分类器对轮廓特征进行分类和识别。实验结果表明,本方法能有效地识别多个学习者的举手、正坐和低头等姿态。     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于局部姿态先验的深度图像3D人体运动捕获方法

提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法.关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态近邻并构建局部姿态先验模型,通过迭代优化求解最大后验概率,实时地在线重建3D人体姿态序列.实验结果表明,该方法能够实时跟踪重建出稳定、准确的3D人体运动姿态序列,并且只需经过个体化人体参数自动标定过程,可跟踪身材尺寸差异较大的不同表演者;帧率约25fps.因此,所提方法可应用于3D游戏/电影制作、人机交互控制等领域.     

基于关键帧节点自适应分区与关联的行为识别算法

基于视频的人体行为识别任务中由于大部分画面并不包含重要的判别信息,这对识别应用的准确性造成严重干扰。关键姿态帧既能表达视频又能降低计算量,且骨骼数据相比于图像包含更多维度的信息。因此,提出一种基于关键帧骨骼节点自适应分区与关联的行为识别算法。首先构建自适应池化深度网络以评估帧的重要性获取关键姿态帧序列;其次通过节点自学习模型建立非自然连接状态下的节点间关联;最后将改进的时空信息应用于STGCN并使用softmax分类识别。在开源的大规模数据集NTU-RGB+D和Kinetics 上与几种典型技术进行比对,验证了所提方法在减少冗余数据量的同时能保留关键动作信息,且动作识别准确率平均提高了0.63%~11.81%。     

基于最小平方中值定理的立体视觉里程计

提出了一种基于最小平方中值定理（LMedS）的立体视觉里程计方法。利用图像中尺度不变的SIFT特征点作为路标,基于KD树的最邻近点搜索算法来实现左右图像对特征点的匹配和前后帧间特征点跟踪。通过特征点的三维重建,基于最小平方中值定理估计出机器人的运动距离和方向信息。实验表明该方法在不同图像间匹配、三维路标跟踪和机器人运动估计中具有很强的鲁棒性。     

基于卷积神经网络优化TLD运动手势跟踪算法

针对TLD（Tracking-Learning-Detection）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题，提出一种基于卷积神经网络优化TLD运动手势跟踪算法。选取手势特征作正样本，其背景作负样本，获取手势HOG特征并投入到卷积神经网络中加以训练，得到手势检测分类器，从而确定目标手势区域，实现手势的自动识别；再利用TLD算法对手势进行跟踪与学习，对正负样本进行估计检测并实时校正，同时运用SURF特征匹配更新跟踪器。实验结果验证，该算法对比TLD经典算法跟踪精度提高了4.24%，增强了运动手势的跟踪效果，相比经典跟踪算法拥有更高鲁棒性。     

基于视觉的实时手势识别及其在演示控制中的应用

研究基于计算机视觉的实时动态手势识别技术,并利用OpenCV计算机视觉库在VS2010平台上设计一个基于该技术在多媒体教学中PPT演示控制方面的应用。首先,利用背景差分法进行手势检测,在背景更新的基础上,通过背景差分图和颜色直方图的反投影图来检测运动手势区域,可以达到较为满意的实时运动手势检测效果;其次,采用基于颜色直方图的粒子跟踪算法进行手势跟踪,基本能满足跟踪的实时性;最后,在手势识别阶段,采用基于Hu不变矩的轮廓匹配算法,得到较好的手势识别效果;使用六种手势,来实现演示文稿中的控制应用。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于表观特征分析的手势识别及其应用

针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题,通过分析手势的表观特征,提出并实现了一种可用于自然人机交互的手势识别算法。该算法基于Kinect深度图像实现手势区域分割,然后提取手势手指弧度、指间弧度、手指数目等具有旋转缩放不变性的表观特征,运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台,达到了理想的控制效果。实验表明该算法具有良好的鲁棒性,针对九种常用手势,平均识别率达到94.3%。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于自适应活动轮廓模型的实时手势跟踪

在基于视觉的手势分析与识别中，一个关键环节是手势跟踪。本文提出了基于颜色信息的自适应活动轮廓模型，并与均值漂移算法相互融合，实现图像序列的实时手势跟踪。跟踪算法分为两步进行，首先应用均值漂移算法实现手部区域的定位，然后基于自适应活动轮廓模型提取手部轮廓。在跟踪过程中，轮廓提取为下一帧的区域定位更新搜索窗口，提高了搜索效率，使目标跟踪达到实时性要求。同时，本文根据跟踪区域模板与目标模板的相似性度量Bhattacaryya系数给出了在跟踪目标被遮挡时的处理方法，有效地解决了这一难题。实验结果证明了在无遮挡和遮挡两种情况下算法均能实现准确、实时的手势跟踪。