基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于深度图像信息的指尖跟踪与轨迹识别

针对基于传统摄像头获取的二维图像难以准确区分复杂环境下目标和背景的问题,提出一种利用Kinect摄像头对复杂背景下手指指尖的跟踪算法,并对指尖跟踪的轨迹进行识别。首先利用Kinect获取的深度图像信息对手部进行分割和指尖检测;然后利用压缩感知方法对跟踪目标进行特征提取,通过朴素贝叶斯(NB)分类器分类跟踪目标和背景;最后,通过支持向量机(SVM)方法对跟踪的轨迹进行识别。实验结果表明,提出的方法能够成功地跟踪手指指尖的位置,同时能够准确识别出指尖跟踪的轨迹。     

基于Kinect深度图像信息的手势跟踪与识别

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种利用深度信息进行手势提取和识别的研究方案。采用Kinect深度摄像头,通过中值滤波以及深度信息与邻域特点来分割手部区域并用Canny算子提取出手势轮廓,再以深度图像的凸缺陷指尖来完成对指尖的检测,从而实现对数字手势1到5的手势识别。该方法可快速有效地对指尖进行检测,鲁棒性和稳定性都比其他方法更好。实验结果表明,该手势识别方案的平均识别率达到92%,证明了该方法的可行性。     

基于特征距离加权的手势识别

基于计算机视觉的手势识别是当前人机交互领域的热门研究,但由于受光照、环境等因素的影响,使得采用单一特征描述手势的方法不能很好地识别手势,因此提出一种将Hu不变矩和指尖个数特征相结合的静态手势识别方法,对采集的手势图像进行预处理,再使用肤色模型分割出手势,并采用重心距离法检测指尖个数,进而对提取的手势轮廓进行Hu值的计算,最后采用模板匹配法对特征距离进行加权和融合来识别手势。实验结果表明,与采取单一的Hu矩或指尖个数作为手势特征的方法相比,该方法可以 获得更高的识别率。     

基于复合特征和动态阈值圆法的手势识别算法研究

针对传统手势识别中用肤色分割手部区域效果的局限性,采用Kinect获取深度信息来分割手掌,能得到较好的效果。对手掌轮廓进行多边形逼近,将凸包点作为候选指尖点。利用非零像素（白）到最近零像素的距离提取掌心,用线性回归动态调整阈值圆半径,将无用凸包点过滤,实现指尖点的准确提取。在分类识别中,将图像的Hu矩和指尖点个数组合起来,作为复合手势特征,导入KNN分类器中,实现手势识别。实验证明,基于复合特征和动态阈值圆法的手势识别算法具有较好的识别率和实时性。     

基于手势识别的工业机器人操作控制方法

针对目前操作工人与工业机器人之间的交互还是采用比较机械化的交互方式,设计使用Kinect传感器作为手势采集设备,并使用人的手势来对工业机器人进行控制的方法。首先,使用深度阈值法与手部骨骼点相结合的方法,从Kinect传感器获取的数据中准确地提取出手部图像。在提取过程中,操作员无需佩戴任何设备,对操作员所站位置没有要求,对背景环境也没要求。然后,用稀疏自编码网络与Softmax分类器结合的方法对手势图像进行识别,手势识别过程包含预训练和微调,预训练是用逐层贪婪训练法依次训练网络的每一层,微调是将整个神经网络看成一个整体微调整个网络的参数,手势识别的准确率达到99.846%。最后,在自主研发的工业机器人仿真平台上进行实验,在单手和双手手势下都取得了不错的效果,实验结果验证了手势控制工业机器人的可行性和可用性。     

基于深度信息的手势识别算法研究

针对在复杂背景中传统手势识别算法的识别率低问题,利用Kinect的深度摄像头获取深度图像,分割出手势区域后进行预处理;提取手势的几何特征,并提出深度信息的同心圆分布直方图特征,融合手势的几何特征和深度信息的同心圆分布直方图特征;学习训练随机森林分类器进行手势识别.文中通过在复杂背景条件下对常见的“石头”、“剪刀”、“布”3种手势进行测试,实验结果表明:文中所提方法具有很好的平移,旋转和缩放不变性,能适应复杂环境的变化.     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

基于手势识别的机器人控制系统

研究了一种基于人体手势识别的机器人控制系统.首先,利用图像识别技术,通过YCr Cb皮肤颜色模型提取手掌并分析指尖和手心的相关信息;其次,利用帧差法对手掌运动趋势和简单的手势信息进行识别;最后,通过无线蓝牙串口将识别出来的手势信号发送给机器人,以达到手势控制机器人的目的.系统是在VS2010下利用Open CV计算机视觉库进行编译完成的,实现了通过简单的手势信息控制机器人的目的,从而摆脱了人机交互时必须依靠物理接触的限制.实验结果表明,该系统可以实现对机器人前进、后退、左转、右转、停止、加速的实时控制,对手势信息的识别率在90%以上.对进一步探索机器学习、自主识别等相关领域有着较高的参考价值.     

基于卷积神经网络的手势识别初探

提出一种用于手势识别的新算法,使用卷积神经网络来进行手势的识别。该算法避免了手势复杂的前期预处理,可以直接输入原始的手势图像。卷积神经网络具有局部感知区域、层次结构化、特征抽取和分类过程等特点,在图像识别领域获得广泛的应用。试验结果表明,该方法能识别多种手势,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

基于手部关键点和肤色的手势识别

基于传统的手部轮廓特征提取不能应对飞行模拟环境下的脸部肤色、遮挡、光照影响,以及传统的傅里叶描述子特征容易受到背景、手的姿态变化,且对手势描述能力有限等问题,对传统的手部分割和特征提取方法改进.本文首先对采集的数据集进行肤色处理,然后结合调用的手部关键点模型检测出手部22个特征点,采用八向种子填充算法进行图像分割.接着...