基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

基于OpenCV动态手势识别的实现

随着科技的发展,各种手写输入、语言输入法不断涌现。计算机的操作方式也越来越接近自然言语。手势识别系统由数学摄像头作为输入设备,以为人体动作为操作指令,指挥操作计算机系统动作。人体动作通过数学摄像头,转化为计算机能识别的二进制图像信息,经过图像处理算法,使人们的操作意图能被计算机理解。本文所实现手势识别,利用OpenCV提供的各种图像处理算法,将从数学摄像头采集的图像视频信息,通过图像滤波,图像分割等算法,提取到有用的手形信息,再对其进行轮廓特征分析,运动信息分析。得出图像视频的操作意图,并转化为计算机指令,传递给操作系统。实现了直接由人体动作操作计算机的目的。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于动态手势的人机交互系统的研究与设计

该系统是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统;手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件;上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实际检测达到了理想的设计要求。     

基于视觉的动态手势识别概述

基于计算机视觉的动态手势识别是最直观、最自然的人机交互方式之一。简单回顾了手势识别技术的发展历程;从手势检测和分割、手势跟踪、特征提取和识别算法四个方面对动态手势进行阐述,梳理并归纳了几种代表性的算法,详细探讨了各算法的优缺点;介绍了动态手势识别的应用领域,并展望了今后的发展趋势。     

基于动态时间规整的手势加速度信号识别

为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法。通过该算法计算测试模板和参考模板的相似度,从而得出识别结果。为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息。实验结果表明,该方法手势平均识别率在97%以上。与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别算法更具优势。     

基于视觉的手势识别技术及其应用研究

研究基于视觉的手势识别技术,并在OpenCV的平台基础上实现基于该技术的多媒体教学的应用,即在幻灯片播放的过程中能够由动态手势来控制幻灯片的翻页。首先通过摄像头来采集图像,利用背景差分法结合颜色直方图检测动态信息完成手势的检测。其次通过几种动态手势的跟踪算法的分析与比较,采用主流的非线性跟踪算法—粒子滤波算法。最后是应用实现部分,将手势识别的结果应用于多媒体演示文稿的播放中,实现通过动态手势实时控制PPT翻页的功能。     

通过WiFi手势识别 有望实现家电操控

现有的手势识别设备比如Kinect,通常采用摄像头或者其他的深度传感器捕捉用户动作。而这些设备一般只能在传感器所在的范围感知我们的手势动作。另外,也有通过用户随身携带传感器来实现动作的识别。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

基于属性计算网络的动态手势识别的研究

基于视觉的动态手势识别既是当今人机交互系统研究的热点也是难点。该文提出了基于属性计算网络的识别方法对动态手势进行识别,与现有的识别方法相比,具有明显的特点和优点。首先利用肤色分离手部对象,然后跟踪手部对象,并对手部对象轮廓和运动轨迹抽取特征并建立对应的特征向量,最后将手部对象轮廓特征和运动轨迹特征进行加权组合,得出识别结果。本方法的特点和优点是识别分析速度较快,能够很好的满足人机交互系统实时性的需要,并且能够适应动态手势表达在速度和幅度上的差异性。     

基于陀螺传感器的三维手势识别方案

传统输入设备无法满足人们的随意性输入需求。为此,提出一种基于陀螺仪传感器的三维手势识别方案。硬件架构由陀螺传感器信息采集模块、单片机信息处理模块以及射频无线传输模块组成。利用多功能滤波器进行数据预处理,设计一种基于角度的特征提取算法,提取三维手势特征。实验结果表明,该方案的平均识别率达到99.3%,能较好地实现3D空间的鼠标输入功能和键盘输入功能。     

一种信道状态信息下的复杂动态手势识别方法

传统动态手势识别方法中存在硬件成本高,推广难度大等局限性.文章提出一种基于信道状态信息的复杂动态手势识别方法CSI-Num,该方法可用来实现对空中数字手势的高效识别.CSI-Num识别过程主要分为两个阶段:数据提取处理阶段与手势匹配识别阶段.提取处理阶段,是将采集到的数据,选取能够反映手势动作的子载波特征值作为被选信号,通过小波阈值函数和五点三次平滑方法对信号进行降噪平滑;匹配识别阶段,提取有效手势数据,使用k均值聚类算法和动态时间规整算法特性相融合的K-DTW匹配算法识别出不同数字的手势动作.实验结果表明,针对不同环境的室内场景,相应地调整参数设置,CSI-Num可以高效地识别出不同数字的手势动作,且具有较高鲁棒性.     

基于轨迹模板匹配的动态手势识别方法

首先采用基于混合高斯模型与椭圆肤色模型进行手势分割,分割出手势区域,使用卡尔曼滤波器进行手势跟踪,获得手势中心点的位置.在此基础上,记录各帧中心点位置,得到运动轨迹,利用提出的轨迹模板匹配方法对动态手势进行识别.该方法利用基本的几何特征便可完成手势运动轨迹的设置与识别,无需特征选择或训练样本的搜集.最后,采用基于Zynq-7000的Zedboard平台对该算法进行实现,并采用HLS硬件加速工具进行算法加速.实验结果表明,该算法可实现较精确的手势识别,接受弹性的输入采样,识别正确率在95%以上,且通过硬件加速后,可在嵌入式平台中实时识别,具有较好的实时性.     

基于普通红外摄像机的手势识别

手势识别技术作为最有前景的一种自然人机交互模式已经成功应用于一些领域。可靠的手势识别技术多依赖特定的硬件实现,而这种自然交互模式的普及需要自然环境下基于普通摄像机的通用手势识别技术。研究了在普通摄像机下对各种复杂背景、不同光照条件的静态手势的分割和识别技术。首先采用一种邻域变换算法,克服不同光照强度对分割的影响,然后提出一种求最小平均Hausdorff距离区域的算法,克服不同手势形状、方向、尺度等对分割的干扰。手势分割实验结果证明提出的算法可以在各种复杂背景及不同光照条件下分割出手势区域,正确率达到99.8%。最后改进了序贯最小优化算法训练二叉树结构的支持向量机多分类器,对实验采集的各种自然条件下九类手势图像的平均识别率超过80%,证明了算法用作普通摄像机下通用人机交互模式的可行性。     

融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

基于摄像头的近距手势识别系统的设计

随着电子技术的不断发展,人机交互方式也在得到转变,手势识别作为其中一项典型应用正吸引越来越多人的关注,本文即在嵌入式平台上通过相关算法实现了基本的手势动作识别。文中利用摄像头进行手势图像数据采集,采用STM32作为微处理器,对图像进行差影分割、噪声去除等处理,完成了近距离范围内对运动手势的实时定位和基本识别,并在此基础上对游戏俄罗斯方块进行了控制,实现了手势识别技术在人机交互中的应用,很好得体现出手势操作的便利性和全新用户体验。     

基于RGB-D信息的动态手势识别方法*

针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低,实时性差等问题进行了研究,提出一种的动态手势识别方法。该方法首先利用K均值聚类算法和YCr''Cb''（由YCrCb变换得到）椭圆肤色模型对RGB-D图像完成手势分割;然后将深度信息引入到传统卡尔曼滤波算法中,作为其跟踪参数之一,并在跟踪过程中对检测范围进行加窗处理;最后结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并利用改进后的动态时间规整算法完成手势识别。实验表明：提出的手势识别方法,在复杂背景下的识别率较高（96.8±1.5%）,实时性较好（识别时间1.86±0.02ms）。