基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于手势识别的智能输入

针对在人机交互中键盘远远不能满足人们的要求,提出了一种手势识别算法,并结合键盘的按键实现智能输入．该算法采用肤色分割提取出手部区域,根据手形检测出大拇指和伸出的手指数目及位置,把手势转化为计算机所能接受的二进制语言．根据二进制数,结合键盘的按键,把不同手势定义为不同的按键,实现对计算机的智能输入．实验结果表明该算法具有一定的鲁棒性,并能达到较高的成功率．     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于形状特征检测的手势感兴趣区提取方法

针对采用肤色模型法进行手部区域分割时,人穿着的服装对手臂区域的干扰问题,本文提出了通过手部形状特征检测的手势感兴趣区提取方法.首先利用YCb'Cr’肤色模型提取手部轮廓,通过基于轮廓凸壳信息的方法提取手部轮廓区域的最小外接矩形;然后结合手掌和手臂的特有形状特征识别手腕位置,准确提取出手势感兴趣区域.实验结果表明,本文方法检测手部感兴趣区域准确,对包含和不含手臂的图像中手势感兴趣区域提取均有明显效果.     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类(CNN-Softmax-SVM)的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于卷积神经网络的手势识别初探

提出一种用于手势识别的新算法,使用卷积神经网络来进行手势的识别。该算法避免了手势复杂的前期预处理,可以直接输入原始的手势图像。卷积神经网络具有局部感知区域、层次结构化、特征抽取和分类过程等特点,在图像识别领域获得广泛的应用。试验结果表明,该方法能识别多种手势,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

基于骨架的快速手势识别模型

对于手势识别来说,骨架数据是一种紧凑且对环境条件稳健的数据模态.最近基于骨架的手势识别研究多使用深度神经网络去提取空间和时间的信息,然而这些方法可能存在复杂的计算和大量的模型参数的问题.为了解决这个问题,我们提出一种轻量高效的手势识别模型.该模型使用从骨架序列上计算出的两种空间几何特征,以及自动学习的运动轨迹特征,然后只使用卷积网络作为骨干网络实现手势分类.最终我们的模型参数量最少情况下仅为0.16 M,计算复杂度最大情况为0.03 GFLOPs.我们在公开的两个数据集上评估了我们的方法,与其他输入为骨架模态的方法相比,我们的方法取得了相应数据集上最好的结果.     

基于计算机视觉的手势识别康复系统研究与应用

针对目前医学上手部康复治疗的康复器械功能单一,训练过程动作反复且枯燥无趣,恢复过程比较缓慢等问题,提出了一种基于计算机视觉的手势识别康复系统;首先介绍了图像采集、分割、平滑处理、分类、识别等计算机视觉关键技术,其次,重点阐述了手势康复系统的实现细节;通过摄像头采集不同年龄,性别人群手势样本数据,建立康复手势数据库,利用计算机视觉,卷积神经网络,PyQt图形界面等技术来构建康复系统,给出具有趣味性并且高效便利的康复训练方案,治疗方法弥补传统康复治疗的缺陷;实验结果表明,系统运行可靠、准确率高达96％,不但可以提高患者对康复训练的兴趣,积极性,而且价格相对于其他康复器械更加低廉,应用前景更广阔.     

服务机器人的触觉手势识别

为了实现机器人在人机交互过程中的触觉感知,提出了一种用于服务机器人的触觉手势识别方法。首先,将电子皮肤安装在服务机器人上,通过采集15位被试者的10种手势动作信号,构建了情感手势数据集。然后,使用时空分离卷积神经网络,对被试者触摸服务机器人时做出的触摸手势进行分类。结果表明,被试内手势识别率为90.25%,跨被试手势识别率为83.44%。通过调节模型中的时空通道调节因子,在几乎不降低识别率的同时,可以大幅减少模型参数量。基于电子皮肤的触觉手势识别实验,初步认为使用时空分离卷积神经网络能够以较高的准确率和较低的计算代价实现对人的触觉手势识别,这为服务机器人通过电子皮肤与人实现情感交互提供了可能。     

基于神经网络空时特征提取的动态手势识别

针对现有的动态手势识别3D卷积方法计算参数量大和对2D卷积长时间序列的空时特征难以提取的问题,提出一种基于2D卷积神经网络和长短期记忆网络相结合的提取时空域特征的动态手势识别方法.首先基于2D卷积神经网络提取空域特征,再通过长短期记忆网络进行序列图像时序上的相互关联提取时间维度上的信息.为验证算法的有效性,使用自采集的...     

基于OPENCV的手势识别系统的设计与实现

人与计算机的交互技术是一种新型的计算机技术,且逐渐演变为一种主流技术和计算机领域的技术热点;为了能够更好地识别手势和跟踪手势的运动轨迹,提出了基于OPENCV的手势识别系统,系统引入了OPENCV计算机视觉库,OPENCV作为优秀的计算机视觉库,为设计的实现提供了便捷的代码,利用OPENCV技术中的图像处理算法,首现通过摄像头采集数据图像,并对采集到的图像进行一系列的缩放,去噪以及锐化等处理,然后对人体手势建立肤色模型,然后经过灰度阈值化来转换成二值图像,得到手轮廓的数据图像后,采用轮廓匹配方法识别出手型;最后通过10种基本的手势模型对比验证了本系统具有一定的实时性,并且识别率可以达到95％以上.     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

基于双通道测量的FMCW雷达手势识别方法

文章提出一种基于调频连续波雷达(FMCW)的双通道卷积神经网络(CNN)手势识别方法.首先利用FMCW雷达分别对不同手势动作进行探测,收集到回波数据,然后对原始回波数据进行预处理,获取两个接收通道手势动作的时频谱.最后将生成的图像输入到双通道CNN中,进行手势特征提取和特征融合.实验结果表明,基于一个发射通道二个接收通...     

基于RGBD数据的静态手势识别

提出一种基于RGBD数据的手势识别方法,首先采用融合深度信息和彩色信息的手势分割算法分割出手势区域;其次提取静态手势轮廓的圆形度、凸包点及凸缺陷点、7Hu矩特征组成特征向量;最后采用SVM进行静态手势识别。实验结果表明,该方法能有效地识别预定义的5种静态手势,且对环境的适应性比较强。