结构分类的字母手势识别算法

提出了基于结构分类的手势识别方法，即在字母手势图像中寻找轮廓所包含的结构特征信息，并以此进行分类判断。这些结构特征中包含了大量的特征信息，如手指个数、手指间距离等，利用这些信息就可以运用传统的结构分类方法对手势加以识别     

基于几何特征的静态字母手势识别算法

针对聋哑人哑语手势自动识别问题的复杂性,研究了手势几何特征的多样性及提取和识别方法,提出了一种基于几何特征的手势识别算法.首先,对手势图像进行肤色分割、边缘检测以及逻辑运算,然后,计算其质心面积等多项几何特征,通过实验方法测定最佳特征权值,最后,将其与样本图像特征值进行匹配,最佳匹配即为检测结果.根据30个字母手势创建了3套手势库,其中1套作为样本集,2套作为测试集.实验结果表明,通过该方法进行特征提取来识别汉语字母手势,可有效提高识别率,测试集识别率达到93.33％.     

基于关键点的一种字母手势识别算法

提出了一种基于手势关键点的手势识别算法。从经过二值化处理的字母手势图像中提取重心，并由字母手势图像的边缘信息中提取字母手势的关键点(指根和指尖)。借助Hausdorff Distance(HD),运用关键点的信息对手势进行识别。     

基于几何矩的字母手势识别算法

提出了一种基于提取字母手势的统计特征的方法，计算各手势图像的几何矩，以形成特征空间，并将之应用到手势识别中去。该算法具有旋转、缩放、及平移不变性的特点，并取得了较好的实验效果。     

高阶NMI值的字母手势识别

提出了基于手势伸展方向以及手势图像高阶NMI值的特征向量进行识别分类的算法。首先,对采集到的手势图像进行预处理与二值化,然后按手势的伸展方向进行粗分类,之后,对每幅图像提取图像的1阶和4阶NMI值,这样将一幅图像表示成一个有17维分量的特征向量。识别时用k近邻原则进行判别,识别率达到86．6％。     

基于多权值神经网络的静态手势字母识别的研究

提出了一种基于多权值神经网络模型的静态手势语识别方法.应用手势字母图像圆周极径序列的傅立叶频谱信息来提取特征,再结合多权值神经网络的训练算法与识别算法,实现静态手势字母的识别,并取得了很好的识别效果.     

基于改进的YCbCr空间及多特征融合的手势识别

针对基于视觉的手势识别的复杂性,提出一种基于改进的YCbCr空间及多特征融合的手势识别新方法。首先针对YCbCr颜色空间易受环境因素影响的特点,采用改进的YCbCr椭圆聚类肤色模型的手势分割方法提取手势区域;然后按手势图像外接矩形的宽高比和手指个数进行粗分类,再提取手势的Hu矩和傅里叶描述子构建融合特征,并将融合特征输入BP神经网络进行训练识别;最后综合粗分类和BP神经网络的结果进行手势判别。实验结果表明,该方法在保证实时性的同时具有较高的识别率。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于手势识别的文字输入系统

基于视觉的手势识别是实现新一代人机交互的关键技术。通过手势识别向屏幕输入文字以供搜索查找的系统基本没有,在现有的手势识别基础上,利用汉语字母和数字对应的手语作为输入手势,采用微软的kinect获取深度图像,对其进行手势分割。通过Canny算法提取手势的边缘,利用小波矩提取特征,得到手势字母,实现了具有手势识别以及基于文字输入功能的系统。实验表明该系统能够准确有效地实现汉字的输入。     

应用交叉覆盖算法实现静态手势识别

静态手势识别是实现人机交互的前提和基础,多数手势识别采用模板匹配或人工神经网络算法。基于交叉覆盖算法的手势识别,首先通过摄像头采集到的手势图像经过灰度变换、平滑、二值化等预处理,在训练阶段,用交叉覆盖算法对二值化手势图像进行训练以得到手势分类,最后在测试集上进行手势识别。实验结果表明,由于该算法避免了优化过程中所需的巨大运算量,且允许分类目标在一定范围内的动态变化,手势识别的准确率得到有效提高。     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.     

基于图像特征匹配的商品识别算法

基于条形码的结帐系统存在操作繁琐等一些问题,为了解决零售业结账服务中排队的难题,提出一种以SURF(Speeded Up Robust Features)特征匹配为主,主颜色特征数字编码分类、形状特征数字编码分类为辅的商品快速识别算法。基于特征的方法具有压缩信息量、精度高等优点,成为目前研究的热点。但是传统图像特征识别算法,存在特征维度多、计算量大、运行速度慢等缺点,限制了其应用。本文将其中的主颜色和形状特征进行数字编码分类,之后利用高效识别算法SURF进行准确识别,很好地克服了以上缺点。实验表明,本文算法运行速度快,识别性能好,为零售业的结账服务提供了便利。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。