复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于深度图像技术的手势识别方法

针对复杂环境下的手势识别问题,提出一种基于深度图像技术的手势识别方法。利用深度图像信息从复杂环境中提取手势区域,综合手势的表观特征,建立决策树实现手势的识别。对常见的9种手势在复杂背景条件下进行测试,实验结果表明,手势的平均识别率可达到98.4%,速度达到每秒25帧。     

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式.基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点.传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集.与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量.为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能.该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别.同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集.实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38％,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％.     

应用几何矩和边缘检测的手势识别算法

提出了一种结合几何矩和边缘检测的手势识别算法。手势图像经过二值化处理后,提取手势图像的几何矩特征,取出几何矩特征7个特征分量中的4个分量,形成手势的几何矩特征向量。在灰度图基础上直接检测图像的边缘,利用直方图表示图像的边界方向特征。最后,通过设定两个特征的权重来计算图像间的距离,对30个字母手势进行识别,识别率为90％。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于改进霍夫变换算法的手势识别

随着人们对人机交互的简单便捷性需求的不断提升,基于视觉的手势识别在许多领域都引起了足够的重视.由于深度图像在识别中的良好表现,其在领域内广受青睐.从深度图像中分割出手势图像区域并对其进行归一化处理得到统一规格的手势二值图像,然后进行手势边缘的检测.针对手指轮廓特性提出了改进的霍夫变换算法,提取图像中的手指信息特征.同时提取基于边缘曲线特征,并建立3D直方图进行统计.最终对两种特征进行融合,根据所得到的特征向量通过最小闭包球支持向量机（MEB-SVM）进行手势分类,测试集上识别率为96.6%.该方法不依赖于颜色、细节纹理等信息,对光照等条件不敏感,有着良好的鲁棒性.且识别速度较快能满足一般应用的需求.     

基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

结合聚合通道特征和双树复小波变换的手势识别

目的 针对目前手势识别方法受环境、光线、旋转、缩放、肤色等因素的影响,导致手势识别精度下降的问题,提出一种结合聚合通道特征（ACF）的手势检测和双树复小波变换（DTCWT）的复杂背景下手势识别方法。方法 在手势图像预处理过程中引入聚合通道特征,采用Adaboost分类器和非极大值抑制算法（NMS）进行目标手势的检测;利用DTCWT对目标手势图像进行多尺度多方向分解,对高低频系数的每一块分别提取方向梯度直方图（HOG）和局部二值模式（LBP）特征;最后融合各个方向上的高低频特征并通过支持向量机（SVM）进行分类识别。结果 选取多个场景、多个对象、不同角度和距离的图像作为训练集,并标注区分前背景,对20种手势进行识别实验,并与传统的肤色检测、HOG特征手势识别、类-Hausdorff距离的手势识别算法进行了实验对比。在任意可承受范围内的光照、距离等情况下,该方法能够更准确实时地实现手势识别,平均精度达到95.1%。结论 在图像预处理的情况下,聚合通道特征的引入能够准确检测手势,同时基于DTCWT的手势图像频域特征提取和再融合的方法有效地解决了传统普通图像的单特征识别方法在光线和复杂背景下识别精度不高的问题。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于表观特征分析的手势识别及其应用

针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题,通过分析手势的表观特征,提出并实现了一种可用于自然人机交互的手势识别算法。该算法基于Kinect深度图像实现手势区域分割,然后提取手势手指弧度、指间弧度、手指数目等具有旋转缩放不变性的表观特征,运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台,达到了理想的控制效果。实验表明该算法具有良好的鲁棒性,针对九种常用手势,平均识别率达到94.3%。     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.     

基于特征包支持向量机的手势识别

针对类肤色信息或复杂背景的影响,难以通过手势分割得到精确手势轮廓而对后期手势识别率与实时交互的影响,提出了一种基于特征包支持向量机(BOF-SVM)的手势识别方法。采用SIFT算法提取手势图像局部不变性特征点,将手势局部特征向量(尺度不变特征变换(SIFT)描述子)进行K-means聚类生成视觉码书,并通过视觉码书量化每一幅手势图像的视觉码字集合,以此获得手势图像的固定维数的表征向量来训练支持向量机(SVM)多类分类器。该方法只需框定手势所在区域,无需精确地分割人手。实验表明,该方法对9种交互手势的平均识别率达到92.1%,并具有很好的鲁棒性及实时性,能适应环境的变化。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

Tracking,recognition, and distance detection of hand gestures for a 3‐D interactive display

Abstract— This study proposes an interactive system for displays, the technologies of which consists of three main parts: hand‐gesture tracking, recognition, and depth measurement. The proposed interactive system can be applied to a general 3‐D display. In this interactive system, for hand‐gesture tracking, Haar‐like features are employed to detect a specific hand gesture to start tracking, while the mean‐shift algorithm and Kalman filter are adopted for fast tracking. First, for recognizing hand gestures, a principal component analysis (PCA) algorithm is used to localize colored areas of skin, and then hand gestures are identified by comparison with a prepared database. Second, a simple optical system is set up with an infrared laser source and a grid mask in order to project a proposed horizontal stripe pattern. Third, the projected patterns are deciphered to extract the depth information using the Hough‐transform algorithm. The system containing hand‐gesture localization, recognition, and associated depth detection (the distance between the display and the hand), was included in a prototype of an interactive display. Demonstration of rotation recognition of a finger‐pointing hand gesture was successful by using the algorithm of radar‐like scanning.     

Research on gesture recognition of smart data fusion features in the IoT

With the rapid development of Internet of things technology, the interaction between people and things has become increasingly frequent. Using simple gestures instead of complex operations to interact with the machine, the fusion of smart data feature information and so on has gradually become a research hotspot. Considering that the depth image of the Kinect sensor lacks color information and is susceptible to depth thresholds, this paper proposes a gesture segmentation method based on the fusion of color information and depth information; in order to ensure the complete information of the segmentation image, a gesture feature extraction method based on Hu invariant moment and HOG feature fusion is proposed; and by determining the optimal weight parameters, the global and local features are effectively fused. Finally, the SVM classifier is used to classify and identify gestures. The experimental results show that the proposed fusion features method has a higher gesture recognition rate and better robustness than the traditional method.

     

基于RGBD数据的静态手势识别

提出一种基于RGBD数据的手势识别方法,首先采用融合深度信息和彩色信息的手势分割算法分割出手势区域;其次提取静态手势轮廓的圆形度、凸包点及凸缺陷点、7Hu矩特征组成特征向量;最后采用SVM进行静态手势识别。实验结果表明,该方法能有效地识别预定义的5种静态手势,且对环境的适应性比较强。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。