基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于深度图像信息的指尖跟踪与轨迹识别

针对基于传统摄像头获取的二维图像难以准确区分复杂环境下目标和背景的问题,提出一种利用Kinect摄像头对复杂背景下手指指尖的跟踪算法,并对指尖跟踪的轨迹进行识别。首先利用Kinect获取的深度图像信息对手部进行分割和指尖检测;然后利用压缩感知方法对跟踪目标进行特征提取,通过朴素贝叶斯(NB)分类器分类跟踪目标和背景;最后,通过支持向量机(SVM)方法对跟踪的轨迹进行识别。实验结果表明,提出的方法能够成功地跟踪手指指尖的位置,同时能够准确识别出指尖跟踪的轨迹。     

一种基于人体骨架的任意角度坐姿识别方法

针对当前坐姿识别技术在不借助外部工具以及在动态环境下检测效果较差的情况,提出了一种基于人体骨架的坐姿识别方法,实现在任意角度环境下对坐姿的识别。人体骨架由关节和骨骼相互连接所成,其骨架信息不受动态环境和复杂背景的影响。该方法首先对任意角度下的坐姿图像进行人体姿态估计,提取出人体骨架信息,在三维空间下利用骨骼的物理连接关系构造一种用于检测坐姿的骨架图,并提出Skeleton-GCN(骨架图卷积网络)提取骨架图空间特征,将特征取平均值聚合并输入MLP层保存输出预测概率。此外,将任意角度的人体骨架坐标在三维空间下的不同角度进行投影,得到不同角度下的骨架图像,通过对比网络对骨架图像进行正面姿态估计得到正面骨架图像并输入CNN中,输出该骨架图像的预测概率,通过加权融合集成两个模态分类器预测概率并输出类别结果。最后,将所提方法应用于办公室、课堂等场景,实现了任意角度下坐姿的有效检测。     

一种结合曲率与平行向量的实时指尖检测方法

根据手指几何形状大致平行的特性,本文提出一种基于曲率和平行向量 来进行手指检测的新方法。该方法首先利用深度图像信息从复杂背景环境中迅速分割出手 部;然后依据形态学操作和中值滤波进行平滑处理后提取边缘,再根据曲率定位拟指尖点; 最后采用平行向量特性排除误检点。实验结果表明,该方法在不同手指运动状态,不同光照 强度,以及复杂环境背景下均能实时定位指尖位置,指尖位置识别率可达98.64%。     

一种基于轮廓的人体关节位置确定方法

提出了一种基于人体轮廓图像确定人体关节位置的方法.该方法首先利用能量函数从人体轮廓中抽取人体的虚拟骨架,然后利用所定义的标准人体骨架模型中给出的确定人体虚拟骨架中的一个点是否为关节点的三个规则以及人体解剖学的相关知识确定关节的位置.实验结果表明,本文提出的算法是一种行之有效的算法.它无需对图像中的人体在运动和颜色等方面附加限制条件;同时,该方法对人体轮廓图像中的噪声亦有较好的抑制作用.这一特点使得它对人体轮廓提取的精度要求较低,在复杂背景下具有较好的性能.     

基于Kinect深度图像信息的手势跟踪与识别

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种利用深度信息进行手势提取和识别的研究方案。采用Kinect深度摄像头,通过中值滤波以及深度信息与邻域特点来分割手部区域并用Canny算子提取出手势轮廓,再以深度图像的凸缺陷指尖来完成对指尖的检测,从而实现对数字手势1到5的手势识别。该方法可快速有效地对指尖进行检测,鲁棒性和稳定性都比其他方法更好。实验结果表明,该手势识别方案的平均识别率达到92%,证明了该方法的可行性。     

人机交互装配中手部指形轮廓信息检测方法

人机交互装配系统中人体手部生物特征的识别与描述是手部装配动作描述与行为理解的基础。在肤色建模与识别、指节特征模型学习的基础上,通过肤色识别结果给出的模板轮廓坐标,计算轮廓链的局部转角比率和逐点向量积,描述基于逐点比较法的指节处的轮廓特征,结合手指生物结构的经验判据,对指尖与指根位置进行检测与推断,实现手指轮廓特征点的初步识别,通过指形拟合完成手指初步定位,为指形平面位姿分析提供基础。在手部多特征检测的基础上进行图像信息融合,结合指节学习模型与自适应阈值识别的指节位置检测,对指形的定位信息进行修正以提高检测的准确性。实验测试结果表明,该手部指形轮廓信息检测方法可行。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

Model-based hand pose estimation via spatial-temporal hand parsing and 3D fingertip localization

In this paper we present a novel vision-based markerless hand pose estimation scheme with the input of depth image sequences. The proposed scheme exploits both temporal constraints and spatial features of the input sequence, and focuses on hand parsing and 3D fingertip localization for hand pose estimation. The hand parsing algorithm incorporates a novel spatial-temporal feature into a Bayesian inference framework to assign the correct label to each image pixel. The 3D fingertip localization algorithm adapts a recently developed geodesic extrema extraction method to fingertip detection with the hand parsing algorithm, a novel path-reweighting method and K-means clustering in metric space. The detected 3D fingertip locations are finally used for hand pose estimation with an inverse kinematics solver. Quantitative experiments on synthetic data show the proposed hand pose estimation scheme can accurately capture the natural hand motion. A simulated water-oscillator application is also built to demonstrate the effectiveness of the proposed method in human-computer interaction scenarios.     

指势识别的实时指尖提取

指势行为识别作为一种理想的人机交互模式,而指势手指有效分割与指尖提取是关键。采用基于背景差分方法提取前景运动目标并消除背景影响,运用肤色分割方法,提取运动目标脸部、手部区域。在确定指势手与人脸位置关系的基础上,基于指势行为中指尖位于指势手的边沿轮廓,从指势手的外界矩形框与轮廓的交接点中定位指尖点。经实验证明该算法快速有效、提取精度高,且有一定的鲁棒性。