基于视觉的手势识别方法及其在数字信号处理器上的实现

针对手势识别算法复杂度高、在嵌入式系统上运行效率低的问题,提出一种以定点运算为主的基于形状特征的手势识别方法。采用内部最大圆法和圆截法提取特征点,在手掌内部寻找一个最大圆来获取掌心坐标;同时根据指尖的几何特征,在手形边缘以画圆的方式获取指尖,从而得到手势的手指数、方向和掌心位置等特征信息;再对这些特征信息进行分类并识别。通过对算法进行改进,完成了在数字信号处理器（DSP）上的移植。实验证明该方法对于不同人的手具有适应性,适合在DSP上处理,与其他基于形状特征的手势识别算法相比,平均识别率提高了1.6%~8.6%,计算机对算法的处理速度提高了2%,因此所提算法有利于嵌入式手势识别系统的实现,为嵌入式手势识别系统打下基础。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于复合特征和动态阈值圆法的手势识别算法研究

针对传统手势识别中用肤色分割手部区域效果的局限性,采用Kinect获取深度信息来分割手掌,能得到较好的效果。对手掌轮廓进行多边形逼近,将凸包点作为候选指尖点。利用非零像素（白）到最近零像素的距离提取掌心,用线性回归动态调整阈值圆半径,将无用凸包点过滤,实现指尖点的准确提取。在分类识别中,将图像的Hu矩和指尖点个数组合起来,作为复合手势特征,导入KNN分类器中,实现手势识别。实验证明,基于复合特征和动态阈值圆法的手势识别算法具有较好的识别率和实时性。     

基于深度信息的指尖追踪及手势识别

提出了一个基于深度信息对手指和手部进行实时跟踪,并可用于手势识别的方案。用Kinect获取深度信息,然后生成手部的三维点云,进行过滤转换成像素矩阵;使用K-curvature算法获取指尖和手掌方位,然后通过手指之间的相关距离进行手指标定。实验结果证明该方案识别追踪效果稳定且高效,不受光照和复杂背景影响,能够同时跟踪双手共10个手指和2个掌心的动作轨迹,并用于手势识别。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

基于指尖角度集核密度估计手势特征提取

针对手势识别实时性和鲁棒性不足的问题,提出基于指尖角度集核密度估计的特征提取方法。通过对一般手势定义指尖角度集并提取指尖角度集核密度估计特征。为解决形状匹配的相位漂移问题和进一步提高实时性,对该特征集有效区间归一化和均匀采样得到指尖角度集核密度估计序列。基于互相关系数形状匹配算法进行手势识别。实验分析表明,采用该特征提取方法的任意手势识别实时性和鲁棒性比现有方法有显著提高。     

基于深度相机的手腕识别与掌心估测

目的当手和手臂都进入深度相机所设定的有效深度范围时,它们将被作为一个整体来提取,若处理时也把它们作为一个整体,这可能会影响手势交互的一些重要算法,如掌心估测、手朝向估测、手的跟踪等。掌心是手势交互中较为稳定的点,掌心与手簇中心的连线常被用来估测手的朝向。因此提高掌心估测算法的性能有助于提高手势交互的整体性能。方法为了有效地分割手与手臂,从分析手腕的运动特征和手的轮廓特点入手,并利用内切矩形的几何特征,提出手腕识别算法;为了提高掌心估测的性能,从手势交互的特点入手,分析了锐角三角形和最大内切圆的几何特征,提出新的掌心估测算法。结果本文算法在空气多点触摸系统中进行了实验,新的掌心估测算法较之原算法在性能上提高了近7倍,且仍然能保持掌心坐标的稳定性,坐标偏差不大于3个像素。同时手腕识别算法的引入也提高了掌心估测的准确性。结论实验结果表明,手腕识别算法能较好地分割出手与手臂,新的掌心估测算法能很好地支持实时交互。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于深度相机的手腕识别与掌心估测算法(HHME2013-ID51)

当手和手臂都进入深度相机所设定的有效深度范围时,它们将被作为一个整体来提取,若处理时也把它们作为一个整体,这可能会影响手势交互的一些重要算法,如掌心估测,手朝向估测,手的跟踪等。本文分析了手腕的运动特征和手的轮廓特点,并利用内切矩形的几何特征,提出了手腕识别算法来分割手与手臂;为了提高掌心估测算法的性能,本文分析了锐角三角形和最大内切圆的几何特征,并结合手势交互的特点,提出了新的掌心估测算法。经实验证明,手腕识别算法能较好地分割出手与手臂,新的掌心估测算法较之原算法在性能上有显著提高。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

融合改进指尖点和Hu矩的手势识别

基于轮廓的识别算法能够很好地处理手势的外观变化,但现有的识别算法在目标旋转和缩放时其识别率和鲁棒性较低,针对这一问题提出了一种基于指尖点和Hu不变矩的手势识别方法。该方法对基于曲率的指尖检测方法进行改进,增强指尖点特征提取的鲁棒性;融合Hu不变矩和指尖点特征,提高手势模型的全局描述性;利用能够自动添加新手势的识别算法,提高算法的实用性。实验表明,该方法在满足实时性的基础上有效地提高了手势识别的准确性和鲁棒性。     

基于Kinect的手势识别算法研究及应用

手势识别技术是人机交互技术的重要研究内容。为了提高基于Kinect的手势识别性能,提出基于深度人手定位和hog特征的静态手势识别算法及基于改进HMMs的动态手势识别算法。静态手势识别算法首先通过Kinect的深度信息完成人手定位,而后在定位区域内提取基于梯度方向直方图的形状特征并利用级联Adaboost训练的手势模型,实现对静态手势的准确识别,在公开手势数据库中测试的实验结果表明提出的静态手势识别算法具有较高的识别率。动态手势识别算法首先通过Kinect获取手心轨迹并提取轨迹切线角度作为特征,利用改进的隐马尔科夫模型实现动态手势的判别,实验结果表明提出的动态手势识别算法相比于传统HMMs算法有效地排除了无效手势。此外利用提出的动静态手势识别算法有效地控制了模拟的数字电视。     

面向手势动作捕捉的传感器设计及主从手运动映射

本文针对人手和机器人灵巧手在运动学上尺寸的不一致现象带来的主从手指尖运动空间映射的不一致性进行研究.基于聚氨酯拉伸应变传感器构建了测量手指关节弯曲角度的数据手套.通过建立主从手的运动学模型,基于旋转矩阵理论及正向运动学提出了一种指尖运动轨迹计算方法及手势动作捕捉算法.基于正向运动学及逆向运动学的指尖运动映射算法建立了主从手的指尖运动空间轮廓.建立虚拟实验场景,分别针对关节角度映射算法、手势动作捕捉算法及指尖运动映射算法进行了一系列试验.通过实验得出基于聚氨酯的拉伸应变传感器具有良好的时间响应特性及电学稳定性,基于手势动作捕捉算法能够获取主从手的指尖运动空间轮廓,指尖运动轨迹的计算误差控制在2.8 mm以内.结果证明了基于手势动作捕捉算法以及指尖运动映射算法能够实现主从手指尖运动空间的一致性.     

基于HOG算子的手型特征提取算法

手型是动态手势的一个重要特征。已有的动态手势识别方法虽利用了手型信息,但是信息都隐含在数据中。对此提出一种动态手势中手型特征的提取算法。该算法能准确识别出动态手势中的手型特征。通过Kinect获取手部位置数据,计算手势样本的手局部图像的HOG(Histogram of Oriented Gradient)算子,通过统计手势过程中,临近帧的手局部图像的HOG算子的相似性,确定该样本的手型特征所在帧。实验结果显示,其手型特征识别平均正确率达到92.78%。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于多光源红外传感技术的手势识别系统

手势识别是一种有效的人机交互手段,针对识别算法复杂或适用范围窄等问题,设计一种基于多光源红外传感技术的手势识别系统。首先获取手势动作数据,然后结合不同手势的运动特征,采用区间概率算法识别手势类型,最终完成动作指令输出。通过实验对常见6种手势进行识别,平均识别率达93.67%。该系统操作简单、成本低,可用于多种智能交互场合。     

基于DSP的穿戴式动作传感器的手势识别

针对基于加速度传感器的手势识别算法实时性的需求以及识别算法性能的问题,提出了一种集加速度、地磁信号于一体的6轴AMI602动作传感器的手势识别系统:在硬件方面,运用无线方式进行传感器数据的采集,用DSP(TMS320F2812)强大的处理能力实现手势识别算法,增强了其系统识别的实时性;在算法方面,将提取的加速度特征值做动作姿态投影,得到新的加速度特征值,运用动态时间规整(DTW)算法进行模板匹配,提高了动作识别算法的性能.经过在DSP系统上实机验证,该方法在识别率和延时上都较以往方法有显著的提高.     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.