基于形状特征的字母手势的分类及识别算法

提出了一种基于形状特征的字母手势的分类及识别算法。根据手势图像中手指的方向及数目进行粗分类，然后在边界图像及二值图像中提取手势的形状特征向量，进行基于类似度的模板匹配，实现对字母手势的细分类。实验证明，基于形状特征的粗分类能够排除完全不匹配的手势，减少了识别过程中的匹配搜索时间，提高了识别率。     

室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

基于GLCM和Gabor纹理特征的手势识别算法

针对手势灰度图像的纹理特征富含手势类别信息的特点,提出一种基于融合GLCM(灰度共生矩阵)和Gabor小波变换提取手势图像空、频域纹理特征的手势识别方法。构建手势灰度图像的多方向共生矩阵,并计算多方向共生矩阵的特征参数来提取手势纹理的GLCM特征;通过手势灰度图像的Gabor小波变换来提取手势纹理的Gabor特征;对所提取的两种特征进行归一化处理后串联构建手势纹理特征向量;使用基于稀疏自动编码器和softmax分类器的深度堆栈自编码网络对构建的手势纹理特征向量进行分类识别。实验表明:该方法具有较高的识别率和较好的鲁棒性,对15种手势的平均识别率达到97.4%,能够满足人机交互对手势识别的要求。     

应用几何矩和边缘检测的手势识别算法

提出了一种结合几何矩和边缘检测的手势识别算法。手势图像经过二值化处理后,提取手势图像的几何矩特征,取出几何矩特征7个特征分量中的4个分量,形成手势的几何矩特征向量。在灰度图基础上直接检测图像的边缘,利用直方图表示图像的边界方向特征。最后,通过设定两个特征的权重来计算图像间的距离,对30个字母手势进行识别,识别率为90％。     

应用交叉覆盖算法实现静态手势识别

静态手势识别是实现人机交互的前提和基础,多数手势识别采用模板匹配或人工神经网络算法。基于交叉覆盖算法的手势识别,首先通过摄像头采集到的手势图像经过灰度变换、平滑、二值化等预处理,在训练阶段,用交叉覆盖算法对二值化手势图像进行训练以得到手势分类,最后在测试集上进行手势识别。实验结果表明,由于该算法避免了优化过程中所需的巨大运算量,且允许分类目标在一定范围内的动态变化,手势识别的准确率得到有效提高。     

基于Bag of Features的手势识别

基于视觉的手势识别中,手势的识别效果易受手势旋转,光照亮度的影响,针对该问题,借鉴了目标识别和图像检索领域的Bag of Features(特征袋)算法,将Bag of Features算法应用到手势识别领域.通过SURF(加速鲁棒性特征)算法提取手势图像的特征描述符,使手势对尺度、旋转、光照具有很强的适应力,再应用Bag of Features算法把SURF特征描述符映射到一个统一维度的向量,即Bag of Features特征向量,再用支持向量机对图像得到的特征向量进行训练分类.实验结果表示,该方法不仅具有较高的时间效率,满足手势识别的实时性,而且即使在很大角度的旋转以及亮度的变化下,仍能达到较高的识别率.     

结合归一化中心矩与DAGSVM的机器人交互手势识别

将归一化中心矩和DAGSVM相结合应用于机器人人机交互中的手势识别。归一化中心矩作为手势特征具有平移和比例不变性,同时对方向变化比较敏感,这正是机器人识别不同指向的手势时特征所需具有的特性,然后,将这个手势特征向量输入到DAGSVM分类器进行分类识别。实验结果表明,该方法能够有效地识别手势,且用于控制机器人运动效果良好。     

基于改进霍夫变换算法的手势识别

随着人们对人机交互的简单便捷性需求的不断提升,基于视觉的手势识别在许多领域都引起了足够的重视.由于深度图像在识别中的良好表现,其在领域内广受青睐.从深度图像中分割出手势图像区域并对其进行归一化处理得到统一规格的手势二值图像,然后进行手势边缘的检测.针对手指轮廓特性提出了改进的霍夫变换算法,提取图像中的手指信息特征.同时提取基于边缘曲线特征,并建立3D直方图进行统计.最终对两种特征进行融合,根据所得到的特征向量通过最小闭包球支持向量机（MEB-SVM）进行手势分类,测试集上识别率为96.6%.该方法不依赖于颜色、细节纹理等信息,对光照等条件不敏感,有着良好的鲁棒性.且识别速度较快能满足一般应用的需求.     

基于轮廓PCA的字母手势识别算法研究

提出了一种改进的手势检测识别算法。首先对采集的手势图像综合运用Krisch算子的背景差分与肤色分割等算法进行预处理,然后根据手势的方向去除胳膊等非目标,截取手型区域。最后对手型图像进行轮廓检测,根据手型轮廓的二值图像进行PCA降维,并与投影降维后的样本计算空间距离,从而进行手势分类。通过此方法可以快速、准确地检测到手型区域,识别手型含义,且具有实时性。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于几何特征的静态字母手势识别算法

针对聋哑人哑语手势自动识别问题的复杂性,研究了手势几何特征的多样性及提取和识别方法,提出了一种基于几何特征的手势识别算法.首先,对手势图像进行肤色分割、边缘检测以及逻辑运算,然后,计算其质心面积等多项几何特征,通过实验方法测定最佳特征权值,最后,将其与样本图像特征值进行匹配,最佳匹配即为检测结果.根据30个字母手势创建了3套手势库,其中1套作为样本集,2套作为测试集.实验结果表明,通过该方法进行特征提取来识别汉语字母手势,可有效提高识别率,测试集识别率达到93.33％.     

傅立叶描述子在手势识别中的应用

本文分析了具有旋转、平移和尺度变换不变性,并且与边界的起点位置无关的傅立叶描述子,并把傅立叶描述子及欧氏距离应用于字母手势的识别中。实验结果表明,利用傅立叶描述子能够有效地识别出有旋转、平移及尺度变换后的同一类字母手势,取得了良好的识别效果。     

基于Hausdorff距离的手势识别

随着先进人机交互技术的提出及发展，手势识别正成为其中一项关键技术，基于视觉的手势识别是当前涉及图象处理，模式识别，计算机视觉等领域的一个比较活跃的课题，由于Hausdorff距离模板匹配的方法具有计算量小，适应性强的特点，因此基于Hausdorff距离，建立了一个手势识别系统，该系统采用边缘特征像素点作为识别特征，并首次利用Hausdorff距离模板匹配的思想，在距离变换空间内，实现了中国手指字母集上的基于单目视觉的30个手指字母的手势识别，为提高系统的鲁棒性，还提出了修正的Hausdorff距离形式，测试集上的平均识别率为96．7％，实验结果表明，基于Hausdorff距离的模板匹配方法用于基于听觉的静态手势识别是可行的。     

Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature

The Dempster–Shafer theory based on multi-SVM to deal with multimodal gesture images for intention understanding is proposed, in which the Sparse Coding (SC) based Speeded-Up Robust Features (SURF) are used for feature extraction of depth and RGB image. Aiming at the problems of the small sample, high dimensionality and feature redundancy for image data, we use the SURF algorithm to extract the features of the original image, and then perform their Sparse Coding, which means that the image is subjected to two-dimensional feature reduction. The dimensionally reduced gesture features are used by the multi-SVM for classification. A fusion framework based on D–S evidence theory is constructed to deal with the recognition of depth and RGB image to realize the gesture intention understanding. To verify the effectiveness of the proposal, the experiments on two RGB-D datasets (CGD2011 and CAD-60) are conducted. The results of 10-fold cross validation test show that the recognition rates were higher than those produced by other methods under the condition when each sensor was considered individually. Meanwhile, the preliminary experiments are also carried out in the developing emotional social robot system. The results indicate that the proposal can be applied to human–robot interaction.     

基于计算机视觉技术的手势识别方法

基于计算机视觉技术设计手势识别算法。采集手势图像并进行预处理,进行图像分割和特征提取,与已建立的手势模型库进行匹配,得到最终识别结果。实验证明该设计的手势识别系统能够识别基础的人机交互手势,识别准确率高,稳定性好。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

Real-time hand posture recognition using range data

A hand posture recognition system using 3D data is described. The system relies on a novel 3D sensor that generates a dense range image of the scene. The main advantage of the proposed system, compared to other gesture recognition techniques, is the capability for robust unconstrained recognition of complex hand postures such as those encountered in sign language alphabets. This is achieved by explicitly utilizing 3D hand geometry. Moreover, the proposed approach does not rely on color information, and guarantees robust segmentation of the hand under varying illumination conditions, and scene content. Several novel 3D image analysis algorithms are presented, covering the complete processing chain: 3D image acquisition, arm segmentation, hand–forearm segmentation, hand pose estimation, 3D feature extraction, and gesture classification. The proposed system is extensively evaluated.     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

Visual recognition of pointing gestures for human–robot interaction

In this paper, we present an approach for recognizing pointing gestures in the context of human–robot interaction. In order to obtain input features for gesture recognition, we perform visual tracking of head, hands and head orientation. Given the images provided by a calibrated stereo camera, color and disparity information are integrated into a multi-hypothesis tracking framework in order to find the 3D-positions of the respective body parts. Based on the hands’ motion, an HMM-based classifier is trained to detect pointing gestures. We show experimentally that the gesture recognition performance can be improved significantly by using information about head orientation as an additional feature. Our system aims at applications in the field of human–robot interaction, where it is important to do run-on recognition in real-time, to allow for robot egomotion and not to rely on manual initialization.