结合手指检测和HOG特征的分层静态手势识别

目的 基于手势的交互方式在人机交互中发挥着越来越重要的作用,手势识别是大多数手势交互系统的核心技术.当手势种类较多时,目前已有的大多数手势识别方法往往无法获得足够高的识别率.为此,提出了一种结合手指检测和梯度方向直方图(HOG)特征的分层静态手势识别方法.方法 提出一种基于形态学操作的手指检测算法作为手势识别方法的基础.首先由肤色模型从输入图像中提取出手部区域,然后利用手指检测算法识别出手势包含的手指个数,并根据手指个数从事先训练好的支持向量机分类器集合中选取一个,最后提取手部区域的HOG特征,并利用选择好的分类器完成识别任务.结果 对25种常用手势进行了识别实验,将本文方法与单独使用HOG特征的方法进行对比.本文方法可以将传统HOG方法的识别率提高20%左右.结论 基于手指个数的分层识别策略可以有效地解决传统单层识别方法在手势种类较多时识别率不高的问题.在手部区域能被成功检测的情况下,提出的结合手指检测和HOG特征的方法可以取得较理想的手势识别结果,且能达到实时性要求.     

机器人视觉交流中的手势识别仿真

手势识别问题,是人与机器人交互中的关键部分。机器人视觉交流中的手势识别,对动作的准确跟踪是识别的难点,主要因为,人在做动作时,与机器人的反应之间存在较为明显的滞后性,对动作的跟踪很难及时准确,造成对整体的图像跟踪存在滞后性,导致传统的分析手势识别方法无法面向快速变化的群体手势特征,也无法进行准确的识别,提出了一种基于手部肤色特征的CAMSHIFT手势识别算法,通过色度直方图模型划分手部皮肤像素和非皮肤像素,获取手部肤色模型,采用摇动检测方法定位人手,依据手部肤色模型对所获取的手部区域进行分割,得到手部区域的二值图,使用改进的CAMSHIFT算法对手势进行跟踪,通过模式识别的方法对群体人手特征进行识别。实验结果说明,所提方法针对群体中的手势进行准确的识别,识别率高于93%,具有较高的应用价值。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

基于LBP和PCA机器学习的手势识别算法

为解决听力障碍者与无障碍者的信息交流问题,对哑语手势自动识别技术进行研究;提出了一种改进的手势识别算法;首先通过YUV肤色分割、图像差分、连通域检测等算法进行预处理,获取完整的手型区域图像;然后对手型的二值图像进行轮廓检测,采用LBP变换与主成分分析进行特征提取与压缩;最后运用支持向量机的机器学习算法构建分类器,对哑语手势进行分类识别;通过对630张手势图像进行实验,结果表明,提出的算法有效提高了识别率与速度,识别率达到94.22％,速度达到0.29s/幅,可以满足哑语交流的实时性要求.     

复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于Euclidean距离的手势识别

提出了一种在距离空间内采用Euclidean距离计算的手势识别算法。手势图像经过边缘检测后,对边缘图像实施Eu-clidean距离变换（EDT）,在距离变换空间内计算距离映射图与样本之间的Euclidean距离。最后,对基于单目视觉的30个手指语字母手势进行识别,最好识别率达93.33%。     

基于几何特征的静态字母手势识别算法

针对聋哑人哑语手势自动识别问题的复杂性,研究了手势几何特征的多样性及提取和识别方法,提出了一种基于几何特征的手势识别算法.首先,对手势图像进行肤色分割、边缘检测以及逻辑运算,然后,计算其质心面积等多项几何特征,通过实验方法测定最佳特征权值,最后,将其与样本图像特征值进行匹配,最佳匹配即为检测结果.根据30个字母手势创建了3套手势库,其中1套作为样本集,2套作为测试集.实验结果表明,通过该方法进行特征提取来识别汉语字母手势,可有效提高识别率,测试集识别率达到93.33％.     

应用几何矩和边缘检测的手势识别算法

提出了一种结合几何矩和边缘检测的手势识别算法。手势图像经过二值化处理后,提取手势图像的几何矩特征,取出几何矩特征7个特征分量中的4个分量,形成手势的几何矩特征向量。在灰度图基础上直接检测图像的边缘,利用直方图表示图像的边界方向特征。最后,通过设定两个特征的权重来计算图像间的距离,对30个字母手势进行识别,识别率为90％。     

基于Kinect和变形雅可比-傅里叶矩的手势识别

为了使人机交互变得更加自然,提出利用Kinect体感器获取手势深度图像;利用变形雅可比-傅里叶矩对手势图像进行特征提取;利用最小欧氏距离分类器进行建模、分类,实现手势识别.用Kinect体感器获取手部深度数据流,深度数据结合阈值分割法,可以有效地实现手势的分割.变形雅可比-傅里叶矩是一种不变矩,不变矩具有灰度、平移、旋转和尺度不变性,适合用于多畸变不变图像的特征提取.实验对5种手势进行了测试,平均识别率为95.2％,实验结果表明:该方法具有较高的识别率.     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

基于改进霍夫变换算法的手势识别

随着人们对人机交互的简单便捷性需求的不断提升,基于视觉的手势识别在许多领域都引起了足够的重视.由于深度图像在识别中的良好表现,其在领域内广受青睐.从深度图像中分割出手势图像区域并对其进行归一化处理得到统一规格的手势二值图像,然后进行手势边缘的检测.针对手指轮廓特性提出了改进的霍夫变换算法,提取图像中的手指信息特征.同时提取基于边缘曲线特征,并建立3D直方图进行统计.最终对两种特征进行融合,根据所得到的特征向量通过最小闭包球支持向量机（MEB-SVM）进行手势分类,测试集上识别率为96.6%.该方法不依赖于颜色、细节纹理等信息,对光照等条件不敏感,有着良好的鲁棒性.且识别速度较快能满足一般应用的需求.     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于多列深度3D卷积神经网络的手势识别

传统2D卷积神经网络对于视频连续帧图像的特征提取容易丢失目标时间轴上的运动信息,导致识别准确度较低。为此,提出一种基于多列深度3D卷积神经网络(3D CNN)的手势识别方法。采用3D卷积核对连续帧图像进行卷积操作,提取目标的时间和空间特征捕捉运动信息。为避免因单组3D CNN特征提取不充分而导致的误分类,训练多组具有较强分类能力的3D CNN结构组成多列深度3D CNN,该结构通过对多组3D CNN的输出结果进行权衡,将权重最大的类别判定为最终的输出结果。实验结果表明,将多列深度3D CNN应用于CHGDs数据集上进行手势识别,识别率达到95.09%,与单组3D CNN及传统2D CNN相比分别提高近7%,20%,对连续图像目标识别具有较好的识别能力。     

结合手势主方向和类-Hausdorff距离的手势识别

针对目前手势识别方法受手势旋转、平移、缩放的影响,导致手势识别率偏低的问题,提出一种基于手势主方向和类-Hausdorff距离模板匹配的手势识别方法.首先把分割后的手势图像进行标准化处理,并求出标准化图像中的手势主方向;然后根据手势主方向建立二维手势直角坐标系提取空间手势特征;再利用空间手势坐标点分布特征方法对手势进行初步识别;最后利用类-Hausdorff距离模板匹配的思想识别最终的手势.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确地实现手势识别,总体识别率达到95%;对发生旋转的手势识别率能超过90%.     

基于马尔可夫模型的手势识别算法

同时应用手形及其运动轨迹两大特征实现动态手势识别。在轮廓跟踪过程中,获得手部轮廓,同时用轮廓质心的坐标表示手的位置获取手势的运动轨迹,则可得动态手势的特征向量,即观察值序列;然后采用左右结构的带有4个状态的离散马尔可夫模型实现手势识别。试验结果表明算法提高了手势识别率,也达到了实时性效果。     

基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

面向静态手势识别的边缘序列递归模型算法

针对传统手势识别准确率不高、鲁棒性不强的问题,通过研究静态手势轮廓特征,从手势边缘序列角度出发提出一种基于手势边缘轮廓递归图的CK-1距离的手势识别算法CSRP.首先通过阈值分割获取手势区域图像;然后定位起始点坐标,建立随着空间位置变化的手势边缘序列;为了克服边缘序列数据的不等长问题,构造基于时空域的手势轮廓序列递归图;最后利用MPEG-1压缩算法计算手势递归图像之间的CK-1距离,完成手势识别.实验结果表明,该算法在手势发生旋转、平移、缩放时具有较高的鲁棒性,并且计算量小、效率高,手势识别的准确率高达97%.     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%