基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

基于几何特征的静态字母手势识别算法

针对聋哑人哑语手势自动识别问题的复杂性,研究了手势几何特征的多样性及提取和识别方法,提出了一种基于几何特征的手势识别算法.首先,对手势图像进行肤色分割、边缘检测以及逻辑运算,然后,计算其质心面积等多项几何特征,通过实验方法测定最佳特征权值,最后,将其与样本图像特征值进行匹配,最佳匹配即为检测结果.根据30个字母手势创建了3套手势库,其中1套作为样本集,2套作为测试集.实验结果表明,通过该方法进行特征提取来识别汉语字母手势,可有效提高识别率,测试集识别率达到93.33％.     

基于手部关键点和肤色的手势识别

基于传统的手部轮廓特征提取不能应对飞行模拟环境下的脸部肤色、遮挡、光照影响,以及传统的傅里叶描述子特征容易受到背景、手的姿态变化,且对手势描述能力有限等问题,对传统的手部分割和特征提取方法改进.本文首先对采集的数据集进行肤色处理,然后结合调用的手部关键点模型检测出手部22个特征点,采用八向种子填充算法进行图像分割.接着...     

基于手部关键点检测的手势识别研究

针对当今社会手势识别应用度逐渐提高的热点现象,提出一种基于手部及背景环境等21个特征点检测的手势识别算法。首先采用数据流处理机器学习应用开发框架,对图像进行变换与渲染,定义5个手指二维向量的相关角度;然后根据经验确定手指弯直状态改变的阈值角度,通过5个手指不同弯直状态的组合表征不同的含义;同时进行鲁棒预测控制,降低了相关的外部干扰与建模误差,提高了图像识别的精准度。采用公开数据集对提出的方法进行验证,平均识别率达到95%,提高了识别的精准度,为人机交互手势识别的发展提供了新思路。     

基于手势识别的智能输入

针对在人机交互中键盘远远不能满足人们的要求,提出了一种手势识别算法,并结合键盘的按键实现智能输入．该算法采用肤色分割提取出手部区域,根据手形检测出大拇指和伸出的手指数目及位置,把手势转化为计算机所能接受的二进制语言．根据二进制数,结合键盘的按键,把不同手势定义为不同的按键,实现对计算机的智能输入．实验结果表明该算法具有一定的鲁棒性,并能达到较高的成功率．     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

融合手部骨架灰度图的深度神经网络静态手势识别

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图.网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数.通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率.实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68％;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8％.     

复杂背景下基于卷积神经网络的手势识别

针对不同场景的光照变化、背景噪声等复杂背景和不同年龄、肤色、手部形状大小等差异对手势识别的影响,提出一种改进的手势图像边缘检测与椭圆肤色检测相融合的方法来对手势图像手部进行分割,构建卷积神经网络对手势进行识别。在边缘检测的基础上,融合椭圆肤色检测,提高手部分割精确度。在网络的基础层,使用1*1的卷积核增强数据。实验结果表明,该方法具有较强的鲁棒性,能有效分割出手势和识别手势,平均识别率为98.81%。     

一种基于单目视觉的人手检测与识别方法

提出了一种单目视觉下的人手检测与识别方法。该方法结合肤色检测与运动前景检测技术,实现了人手的定位,再由阈值分割获取人手的二值图像。提取傅里叶形状描述子作为二值图像的特征,在与样本的特征进行相似性比对之后获得最终识别结果。实验证明,该方法可以有效地实现复杂背景下人手的定位与识别。     

基于矩形特征和改进Adaboost的手势检测

为了实时、精确地从视频流中检测和识别出特定手势,提出一种矩形特征描述手势,给出快速计算方法和手势类可分离性的评价方法。为了避免分类器的过度训练问题,提出一种基于此方法的改进的Adaboost算法。实验结果表明,矩形特征能够产生可靠的检测器,对手势的姿态变化较敏感。在摄像头实时捕获视频中,其检测手势实时性较好,对复杂背景和噪声有较强的适应能力,当手势旋转角度小时,正确检测率可以达到95%以上。     

Features extraction from hand images based on new detection operators

Human hand shape features extraction from image frame sequences is one of the key steps in human hand 2D/3D tracking system and human hand shape recognition system. In order to satisfy the need of human hand tracking in real time, a fast and accurate method for acquirement of edge features from human hand images without consideration of hand over face is put forward in this paper. The proposed approach is composed of two steps, the coarse location phase (CLP) and the refined location phase (RLP) from coarseness to refinement. In the phase of CLP, the hand contour is approximately described by a polygon with concave and convex, an approach to obtaining hand shape polygon using locating points and locating lines is meticulously discussed. Then, a coarse location (CL) algorithm for extraction of interested hand shape features, such as contour, fingertips, roots of fingers, joints and the intersection of knuckle on different fingers, is proposed. In the phase of RLP, a multi-scale approach is introduced into our study to refine the features obtained by the CL algorithm. By means of defining the response strength of different types of features, a refined location (RL) algorithm is proposed. The major contribution of this paper is that the novel detection operators for features of hand images are presented in the above two steps, which have been successfully applied to our 3D hand shape tracking system and 2D hand shape recognition system. A number of comparative studies with real images and online videos demonstrate that the proposed method can extract the three defined human hand image features with high accuracy and high speed.     

融合GVF Snake与肤色模型的手势轮廓提取方法

针对在基于视觉的手势识别系统中手势轮廓难以准确提取问题,本文提出一种融合GVF Snake和肤色模型的手势轮廓提取方法.首先把图像由RGB空间转换到YCb'Cr’空间,利用该空间上的椭圆肤色模型检测出手势区域并提取手势轮廓作为GVF Snake模型的初始轮廓曲线;然后根据图像分块思想把检测出的手势所在图像区域分割出来,并计算该图像分块的梯度值;最后在图像分块和初始轮廓曲线的基础上通过GVF Snake模型迭代搜素准确提取手势轮廓.实验结果表明,本文提出的手势轮廓提取方法无需人工参与,准确性上优于肤色模型、传统Snake模型,实时性上优于GVF Snake模型,满足手势识别系统中手势轮廓提取的实时性和准确性要求.检测准确、实时性高.     

基于快速尺度空间特征检测的手势识别方法

在基于几何模型的手势识别方法中,尺度空间特征检测是一种最常用的方法。由于传统方法涉及大量的高斯卷积运算,计算非常复杂。提出了一种快速的尺度空间特征检测方法,采用一组简单的矩形特征模板近似传统方法中复杂的高斯导数卷积模板,得到了尺度空间几何特征的快速检测子。通过对手势图像中Blob和Ridge结构的检测,得到手掌和手指结构的描述,进而完成手势识别。矩形特征模板的卷积可以用积分图进行快速计算,该方法使特征检测的速度得到了很大提高。在标准数据集和自然环境图像数据上的实验结果表明,该方法在保证识别准确率的同时,有效地提高了手势识别的实时性。     

一种肤色干扰下的变形手势跟踪方法

介绍了一种基于单目视觉的肤色干扰下的变形手势跟踪方法。根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH（成对几何直方图）的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。实验结果表明,该方法能够在肤色干扰的情况下有效地对变形手势进行跟踪,并能够满足基于视觉的实时人机交互的要求。     

人体的肤色特征

肤色特征在MPEG4、基于内容的图像检索、虚拟现实等领域有着广泛的应用.目前肤色聚类的方法有很多,结果各异,但都没有涉及颜色现象的本质.探讨了人体肤色的基本问题:影响肤色聚类的颜色空间、光源颜色对聚类的影响以及颜色恒常性.提出了用于肤色聚类的新的颜色空间,给出了光源变化和图像数据之间的关系,证明了图像中高光和阴影只影响肤色的饱和度.在此基础上,还给出了人体肤色的聚类结果以及肤色特征在复杂环境中的人脸检测和手势识别中的应用.     

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。