复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动。文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法。     

基于视觉的手势识别技术

近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点.基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动.文中介绍了手势识别方法的发展、手势识别的技术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法.     

基于深度信息的动态手势识别综述

随着计算机技术的飞速发展,自然、简单、非接触式的手势识别在人机交互方面备受青睐。动态的手势识别一直是人机交互领域研究的热点与难点,深度传感器的出现为手势识别的研究提供了更加鲁棒的数据。为了解动态手势的发展现状,在广泛调研现有文献和最新成果的基础上,对基于深度信息的动态手势从手势分割、手势建模、特征提取、手势识别4个方面进行阐述,介绍动态手势识别相关的应用领域,并对其中存在的难点与问题进行讨论。     

基于隐马尔可夫模型的动态手势识别研究

随着虚拟现实技术的飞速发展，人们迫切需要一种自然友好的字符输入方式，于是越来越多的研究人员投入到动态手势的研发当中。本文基于隐马尔可夫模型（HMM）搭建了一套动态手势识别系统。这套系统通过Leap Motion采集动态手势数据，并能够识别36个字母和数字的手势（数字0-9和字母A-Z）。经过大量实验表明，该系统有着很强的鲁棒性，识别单独手势的识别率能够达到93.2%。     

基于视觉的动态手势识别概述

基于计算机视觉的动态手势识别是最直观、最自然的人机交互方式之一。简单回顾了手势识别技术的发展历程;从手势检测和分割、手势跟踪、特征提取和识别算法四个方面对动态手势进行阐述,梳理并归纳了几种代表性的算法,详细探讨了各算法的优缺点;介绍了动态手势识别的应用领域,并展望了今后的发展趋势。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于多特征融合的动态手势识别

针对目前动态手势识别计算复杂度较高以及对实验器材有相应要求的问题,提出基于多特征融合的动态手势识别.使用OpenPose得到手部关键点信息,建立手势模型,将坐标信息利用手部的结构关系进行处理,得到手部的角度和长度特征.将角度特征序列和长度特征序列进行融合,利用阈值设定过滤序列中的奇异点,使用FastDTW算法计算待测动...     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

Gesture Recognition Summarization

Gesture recognition is an important research in the field of human-computer interaction. Hand Gestures are strong variable and flexible, so the gesture recognition has always been an important challenge for the researchers. In this paper, we first outlined the development of gestures recognition, and different classification of gestures based on different purposes. Then we respectively introduced common methods used in the process of gesture segmentation, feature extraction and recognition. Finally, the gesture recognition was summarized and the studying prospects were given.     

一种信道状态信息下的复杂动态手势识别方法

传统动态手势识别方法中存在硬件成本高,推广难度大等局限性.文章提出一种基于信道状态信息的复杂动态手势识别方法CSI-Num,该方法可用来实现对空中数字手势的高效识别.CSI-Num识别过程主要分为两个阶段:数据提取处理阶段与手势匹配识别阶段.提取处理阶段,是将采集到的数据,选取能够反映手势动作的子载波特征值作为被选信号,通过小波阈值函数和五点三次平滑方法对信号进行降噪平滑;匹配识别阶段,提取有效手势数据,使用k均值聚类算法和动态时间规整算法特性相融合的K-DTW匹配算法识别出不同数字的手势动作.实验结果表明,针对不同环境的室内场景,相应地调整参数设置,CSI-Num可以高效地识别出不同数字的手势动作,且具有较高鲁棒性.     

基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

基于OPENCV的手势识别系统的设计与实现

人与计算机的交互技术是一种新型的计算机技术,且逐渐演变为一种主流技术和计算机领域的技术热点;为了能够更好地识别手势和跟踪手势的运动轨迹,提出了基于OPENCV的手势识别系统,系统引入了OPENCV计算机视觉库,OPENCV作为优秀的计算机视觉库,为设计的实现提供了便捷的代码,利用OPENCV技术中的图像处理算法,首现通过摄像头采集数据图像,并对采集到的图像进行一系列的缩放,去噪以及锐化等处理,然后对人体手势建立肤色模型,然后经过灰度阈值化来转换成二值图像,得到手轮廓的数据图像后,采用轮廓匹配方法识别出手型;最后通过10种基本的手势模型对比验证了本系统具有一定的实时性,并且识别率可以达到95％以上.     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用:首先阐述手势交互的核心概念,...