基于视觉的手势识别方法及其在数字信号处理器上的实现

针对手势识别算法复杂度高、在嵌入式系统上运行效率低的问题,提出一种以定点运算为主的基于形状特征的手势识别方法。采用内部最大圆法和圆截法提取特征点,在手掌内部寻找一个最大圆来获取掌心坐标;同时根据指尖的几何特征,在手形边缘以画圆的方式获取指尖,从而得到手势的手指数、方向和掌心位置等特征信息;再对这些特征信息进行分类并识别。通过对算法进行改进,完成了在数字信号处理器(DSP)上的移植。实验证明该方法对于不同人的手具有适应性,适合在DSP上处理,与其他基于形状特征的手势识别算法相比,平均识别率提高了1.6%~8.6%,计算机对算法的处理速度提高了2%,因此所提算法有利于嵌入式手势识别系统的实现,为嵌入式手势识别系统打下基础。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于复合特征和动态阈值圆法的手势识别算法研究

针对传统手势识别中用肤色分割手部区域效果的局限性,采用Kinect获取深度信息来分割手掌,能得到较好的效果。对手掌轮廓进行多边形逼近,将凸包点作为候选指尖点。利用非零像素（白）到最近零像素的距离提取掌心,用线性回归动态调整阈值圆半径,将无用凸包点过滤,实现指尖点的准确提取。在分类识别中,将图像的Hu矩和指尖点个数组合起来,作为复合手势特征,导入KNN分类器中,实现手势识别。实验证明,基于复合特征和动态阈值圆法的手势识别算法具有较好的识别率和实时性。     

基于深度信息的指尖追踪及手势识别

提出了一个基于深度信息对手指和手部进行实时跟踪,并可用于手势识别的方案。用Kinect获取深度信息,然后生成手部的三维点云,进行过滤转换成像素矩阵;使用K-curvature算法获取指尖和手掌方位,然后通过手指之间的相关距离进行手指标定。实验结果证明该方案识别追踪效果稳定且高效,不受光照和复杂背景影响,能够同时跟踪双手共10个手指和2个掌心的动作轨迹,并用于手势识别。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

基于指尖角度集核密度估计手势特征提取

针对手势识别实时性和鲁棒性不足的问题,提出基于指尖角度集核密度估计的特征提取方法。通过对一般手势定义指尖角度集并提取指尖角度集核密度估计特征。为解决形状匹配的相位漂移问题和进一步提高实时性,对该特征集有效区间归一化和均匀采样得到指尖角度集核密度估计序列。基于互相关系数形状匹配算法进行手势识别。实验分析表明,采用该特征提取方法的任意手势识别实时性和鲁棒性比现有方法有显著提高。     

基于深度相机的手腕识别与掌心估测

目的当手和手臂都进入深度相机所设定的有效深度范围时,它们将被作为一个整体来提取,若处理时也把它们作为一个整体,这可能会影响手势交互的一些重要算法,如掌心估测、手朝向估测、手的跟踪等。掌心是手势交互中较为稳定的点,掌心与手簇中心的连线常被用来估测手的朝向。因此提高掌心估测算法的性能有助于提高手势交互的整体性能。方法为了有效地分割手与手臂,从分析手腕的运动特征和手的轮廓特点入手,并利用内切矩形的几何特征,提出手腕识别算法;为了提高掌心估测的性能,从手势交互的特点入手,分析了锐角三角形和最大内切圆的几何特征,提出新的掌心估测算法。结果本文算法在空气多点触摸系统中进行了实验,新的掌心估测算法较之原算法在性能上提高了近7倍,且仍然能保持掌心坐标的稳定性,坐标偏差不大于3个像素。同时手腕识别算法的引入也提高了掌心估测的准确性。结论实验结果表明,手腕识别算法能较好地分割出手与手臂,新的掌心估测算法能很好地支持实时交互。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于深度相机的手腕识别与掌心估测算法(HHME2013-ID51)

当手和手臂都进入深度相机所设定的有效深度范围时,它们将被作为一个整体来提取,若处理时也把它们作为一个整体,这可能会影响手势交互的一些重要算法,如掌心估测,手朝向估测,手的跟踪等。本文分析了手腕的运动特征和手的轮廓特点,并利用内切矩形的几何特征,提出了手腕识别算法来分割手与手臂;为了提高掌心估测算法的性能,本文分析了锐角三角形和最大内切圆的几何特征,并结合手势交互的特点,提出了新的掌心估测算法。经实验证明,手腕识别算法能较好地分割出手与手臂,新的掌心估测算法较之原算法在性能上有显著提高。     

基于质心分水岭算法的静态手势分割算法模型

为了解决在类肤色背景下难以从图像中高效地分割出完整静态手势的问题,提出了基于质心分水岭算法（improved centroid watershed algorithm,ICWA）的静态手势分割模型。该ICWA算法可以有效地减少图像梯度对手势分割的影响并完整地提取出肤色区域。此外,本文设计了一种将PCA （principal component analysis）降维和凸性检测算法相结合的方法,可以根据对凸点准确提取手腕的割线。同时,利用卷积神经网络（convolutional neural networks,CNN）在标准数据库上进行了初步的手势自动识别实验。实验结果表明:该分割模型对于9种静态手势的平均识别率达到了97.85%。     

基于深度图像的指尖和掌心特征提取方法

针对在其他肤色和重叠物干扰下手势分割出现偏差的问题,提出深度数据和骨骼追踪实现准确手势分割。结合凸缺陷的最小外接圆、平均值、最大内切圆三种不同的掌心提取方法来提高不同手势下掌心和掌心区域半径的精确度,通过提取出指尖弧并结合凸包来得到拟指尖集,再通过3步过滤来得到准确的指尖。实验中对6种手势进行了4种变换情况下的检验,其中翻转、平行、重叠的识别率都高于90%,倾斜和偏转分别超过70°、60°时准确度明显下降。实验结果表明了该方法在多种真实手势场景下具有较高的准确率。     

基于轨迹模板匹配的动态手势识别方法

首先采用基于混合高斯模型与椭圆肤色模型进行手势分割,分割出手势区域,使用卡尔曼滤波器进行手势跟踪,获得手势中心点的位置.在此基础上,记录各帧中心点位置,得到运动轨迹,利用提出的轨迹模板匹配方法对动态手势进行识别.该方法利用基本的几何特征便可完成手势运动轨迹的设置与识别,无需特征选择或训练样本的搜集.最后,采用基于Zynq-7000的Zedboard平台对该算法进行实现,并采用HLS硬件加速工具进行算法加速.实验结果表明,该算法可实现较精确的手势识别,接受弹性的输入采样,识别正确率在95%以上,且通过硬件加速后,可在嵌入式平台中实时识别,具有较好的实时性.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.     

基于改进RCE和RBF神经网络的静态手势识别

针对手势识别的手区域分割、手势特征提取和手势分类的三个过程,提出了一种新的静态手势识别方法。改进了传统的RCE神经网络用于手区域的分割,具有更高的运行速度和更强的抗噪能力。依Freeman链码方向提取手的边缘到掌心的距离作为手势的特征向量。将上一步得到的手势特征向量作为RBF神经网络的输入,进行网络的训练和分类。实验验证了该方法的有效性和可行性,并用其实现了人和仿人机器人的剪刀石头布的猜拳游戏。     

移动终端手势识别中DTW匹配算法研究

针对现有手势识别算法中存在的计算量复杂、识别率低和效率差等不足,提出一种基于L-ADTW的移动终端手势识别的匹配方法,利用手机内置加速度传感器进行手势识别,采用差分检测方法自动检测出有效手势序列,用改进的起始松弛点对有效手势序列进行校准,使用L-ADTW匹配算法进行有效手势序列段匹配,并将匹配结果与优化阈值比较分析。实验结果表明,提出的L-ADTW算法,在保证手势匹配高效的前提下,使等错率降到2.5%,认证成功率提高了5.37%。