基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于注意力引导空域图卷积SRU的动态手势识别

基于手部骨骼的动态手势识别是计算机视觉和人机交互领域的一个研究热点.手势涉及的关节在空间上分布更紧密,相关性更强.针对目前基于骨骼的动态手势识别存在空间特征复杂、识别计算速率缓慢等问题,提出一种注意力引导空域图卷积简单循环单元(ASGC-SRU)网络.首先,将空域图卷积嵌入至SRU的门结构中,使得具有高速并行计算能力的SRU能够对复杂手势的时域和空域信息进行建模;然后,引入一种指关节注意力引导模块,使得更重要的指关节具有更高的关注度;最后,引入一种注意力增强空域图丢弃(ASD)的正则化方法,缓解网络过拟合的弊端.为验证所提出方法的有效性,在公认的动态手势数据集SHREC’17和DHG 14/28上进行大量实验,实验结果表明,所提出方法取得了较高的识别准确率,同时保持优良的计算效率.     

基于kinect骨骼系统的手势识别研究

针对使用计算机视觉技术进行手势识别易受环境影响的问题,提出了一种基于kinect的骨骼系统的手势识别方案。采用Kinect进行深度数据采集,建立深度图像,提取人体轮廓,利用骨骼系统确定腕部坐标及灰度值后,提出根据腕部坐标采用最近邻法则和阈值法提取手势区域,可有效去除非手势目标,对平滑后的手势轮廓用不变矩对4种手势进行了识别。实验结果表明,该方法能有效识别静态手势,且在不同光照和复杂背景的条件下,具有很强的健壮性。     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于深度信息的动态手势识别综述

随着计算机技术的飞速发展,自然、简单、非接触式的手势识别在人机交互方面备受青睐。动态的手势识别一直是人机交互领域研究的热点与难点,深度传感器的出现为手势识别的研究提供了更加鲁棒的数据。为了解动态手势的发展现状,在广泛调研现有文献和最新成果的基础上,对基于深度信息的动态手势从手势分割、手势建模、特征提取、手势识别4个方面进行阐述,介绍动态手势识别相关的应用领域,并对其中存在的难点与问题进行讨论。     

基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于视觉的动态手势识别概述

基于计算机视觉的动态手势识别是最直观、最自然的人机交互方式之一。简单回顾了手势识别技术的发展历程;从手势检测和分割、手势跟踪、特征提取和识别算法四个方面对动态手势进行阐述,梳理并归纳了几种代表性的算法,详细探讨了各算法的优缺点;介绍了动态手势识别的应用领域,并展望了今后的发展趋势。     

基于改进霍夫变换算法的手势识别

随着人们对人机交互的简单便捷性需求的不断提升,基于视觉的手势识别在许多领域都引起了足够的重视.由于深度图像在识别中的良好表现,其在领域内广受青睐.从深度图像中分割出手势图像区域并对其进行归一化处理得到统一规格的手势二值图像,然后进行手势边缘的检测.针对手指轮廓特性提出了改进的霍夫变换算法,提取图像中的手指信息特征.同时提取基于边缘曲线特征,并建立3D直方图进行统计.最终对两种特征进行融合,根据所得到的特征向量通过最小闭包球支持向量机（MEB-SVM）进行手势分类,测试集上识别率为96.6%.该方法不依赖于颜色、细节纹理等信息,对光照等条件不敏感,有着良好的鲁棒性.且识别速度较快能满足一般应用的需求.     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

基于Kinect骨架信息的交通警察手势识别

针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态时间规整算法和K-最近邻分类器进行识别。实验表明,在参数最优的情况下,该方法对八种交通警察手势的平均识别率达到98.5%,可应用于智能交通等领域。     

一种信道状态信息下的复杂动态手势识别方法

传统动态手势识别方法中存在硬件成本高,推广难度大等局限性.文章提出一种基于信道状态信息的复杂动态手势识别方法CSI-Num,该方法可用来实现对空中数字手势的高效识别.CSI-Num识别过程主要分为两个阶段:数据提取处理阶段与手势匹配识别阶段.提取处理阶段,是将采集到的数据,选取能够反映手势动作的子载波特征值作为被选信号,通过小波阈值函数和五点三次平滑方法对信号进行降噪平滑;匹配识别阶段,提取有效手势数据,使用k均值聚类算法和动态时间规整算法特性相融合的K-DTW匹配算法识别出不同数字的手势动作.实验结果表明,针对不同环境的室内场景,相应地调整参数设置,CSI-Num可以高效地识别出不同数字的手势动作,且具有较高鲁棒性.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于双通道异构传感器融合的手势识别方法

为了捕捉用于动态手势识别的完整手势运动序列,需要同步获取手掌空间位置变化和手掌姿态变化两部分信息,而现有的单一传感器都由于自身的限制而难以实现.因此,提出一种基于双通道异构传感器深度摄像头和陀螺仪融合的动态手势协同识别模型,该模型同时从手掌空间位置的变化和姿态的变化两方面获取完整的手势运动数据,通过数据预处理、基于互信息的特征层融合和分类识别,提高手势识别效率和准确率.通过对数字手势0-9和小写英文字母手势a z的识别实验结果表明,提出的动态手势协同识别模型能够在有效降低特征向量维数和计算复杂度的同时,提高手势识别的准确率.     

一种视觉信息融合数据手套设计研究

基于数据手套的手势交互是人机交互技术的重要实现方式,手势识别和空间定位效率对虚拟交互任务中的沉浸感和体验感有重要影响.目前主要的数据手套产品的复杂结构导致相应建模及手势识别算法设计复杂度高,难以兼顾成本和效率.面向应用需求,完成了一种融合视觉信息的数据手套应用系统方案设计.首先,在手势识别上,通过将3指弯曲度数据和视觉采集模型相结合的方法,有效简化了手势的建模和匹配过程,实现对特定手势的快速识别.其次,在空间位置定位上,提出了一种高效的基于特征校验的霍夫变换算法：通过摄像头捕获发光球的圆形轮廓以计算其三维空间位置;使用基于直径方程的改进型霍夫梯度算法降低圆形检测识别复杂度;对于连续帧图像,采用了基于可信度的特征校验法则进行快速处理,进一步提高算法整体效率.最后,该方案在沉浸式中学虚拟实验系统中应用,系统运行稳定,具有良好的交互体验.