基于Kinect深度图像的指尖识别及手势判定

在基于微软Kinect体感设备开发的交互应用系统中,使用传统的鼠标、键盘等交互设备难以达到理想的效果。针对这种情况,提出一种基于指尖识别的手势判定方法。采用Kinect传感器获取图像的深度信息,通过OpenNI的内置模块获取手心的位置信息,使用最近邻法实现手部的分割并对手形进行提取;并采用射线求交法优化Graham Scan算法获取凸包点集合,利用轮廓分析法从凸包点中识别出指尖。在此基础上,结合指尖数目和面积比例实现对“抓取”手势的判定。实验结果表明,该方法能有效地识别抓取动作的手势,且具有良好的鲁棒性。     

基于Kinect的空中手势跟踪识别的研究与实现

本文以肢体语言中的手势为出发点,利用微软的Kinect体感设备,采集RGB彩色图像和深度图像,研究并提出一套手势跟踪识别的设计思路与实现方法。首先,利用Kinect所获取的色彩及深度信息,建立人体骨骼图从而更方便地定位手部位置并获取手部轮廓。其次,从HSI彩色空间对手部的深度图像进行二值化,并进行腐蚀、细化处理,去除手掌掌心部分。最后,通过对手指的计数定义相应操作。经实验测试,该系统具有对手势的识别功能,可以达到用空中手势动作进行人机交互的目的。     

基于Leap Motion手势识别的悬浮真3D显示实时交互系统

提出基于Leap Motion手势识别的悬浮真3D显示实时交互系统,可实现对多个悬浮3D图像的独立交互.系统由显示和交互两个模块组成,显示模块利用集成成像3D显示屏再现3D图像,再通过二面角反射镜阵列实现悬浮真3D显示;交互模块通过Leap Motion识别手部各关节空间位置,提取手势信息并判断用户操作意图,利用提出的...     

静态手势图像轮廓特征提取算法研究

在手势识别过程中,手势特征的提取非常重要,如果提取的手势特征不具备较好的可分辨性和表征的不变性,就很难达到手势识别的要求。由于人手经常会弯曲,手指也常会被手部其他位置遮挡,再加上所在环境光照的影响手势图像会出现高亮区域和阴暗区域,使得在设定初始轮廓曲线与手势轮廓较远时手势分割出现手势区域有漏检的情况,而且在手势轮廓凹形区域不易识别等问题,导致同样的手势得到不同的手势轮廓描述,影响手势识别的可靠性,为此本文提出了一种主动轮廓与肤色统计融合的静态手势轮廓特征提取算法解决这一问题。     

基于“面部表情+手”的混合手势交互技术

为克服单一输入形式存在的交互缺点,融合手部移动和面部表情两种输入方式的交互特性,将手部移动和面部表情动作相结合,提出了基于“面部表情+手”的混合手势交互技术。混合手势交互技术将7种面部表情和手部移动组合起来,通过手部移动和面部表情识别操控计算机执行一系列目标选择任务。设计的实验中,手部移动用于操控鼠标光标移动,面部表情识别替代鼠标的点击操作用于选中目标按钮。根据设计的多种目标选择任务,详细分析混合手势交互技术的识别错误率和平均识别时间。结果表明,“面部表情+手”的混合手势交互技术的识别准确率可达93.81%,平均识别时间可达2921 ms,完全满足日常的人机交互需求。     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

基于Kinect传感器的近场手势识别追踪系统的实现

利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割,并通过零均值离散高斯滤波、二值化、取最小外包矩形、欧式距离变换等一系列过程对手势目标进行识别,最后把得到的识别结果显示在电脑上,实现实时追踪。该系统相较其它类似系统具有算法简单,实时性好,实现成本低等特点。     

多种手势对应同一语义的柔性映射交互算法的研究

针对智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个基本问题,本文设计并实现了基于手势交互的智能教学界面,该系统可以通过获取教师的手势信息与教师进行交互.主要创新点在于提出了多种手势对应同一语义的柔性映射交互算法.本文选取了14种自然交互手势,分析了对应同一语义的多种手势之间的共同特征.实验结果显示,该算法能够有效降低用户负荷.该算法已经用于一个基于手势交互的智能教学系统界面中.     

基于深度数据的手势识别方法研究

针对当前传统手势识别技术受环境和手部自身条件干扰较大,如当手腕处存在大袖口或其他干扰物的情况下,难以准确识别手势的问题,提出一种基于深度数据的手势识别方法。首先,通过预处理提取手形;其次,利用提出的N-Iterate、C-Loop判定等方法识别手掌最大内切圆;然后,计算手形所有轮廓点到掌心距离的直方图及其波峰索引,并结合角度提取指尖个数;将得到的3类特征作为改进SVM的输入,映射到高维空间,进行手势0～5的识别。实验结果表明,该方法在复杂背景和手部自干扰等影响下具有较高的识别准确率和实时性,平均准确率提高至98.57%,识别耗时降低至37.923 ms,较大程度提高了识别效率。     

一种基于肤色特征提取的手势检测识别方法

针对手势识别的准确率和识别速度等问题,提出一种基于肤色特征提取的手势检测识别方法。采用OpenCV自有的Haar分类器自动提取面部区域并建立肤色模型,再以肤色模型检测肤色点集合,去除与面部区域重合点集获得手部轮廓,通过综合计算掌心位置,手掌轮廓凸包和凸性缺陷实现手势识别。经验证,该方法能够稳定地定位手掌区域,识别准确度高并能够在保证识别率的基础上实现对手势的快速识别。     

基于OpenCV的实时手势识别算法研究

文中介绍了一种易于实现的快速实时手势识别算法。研究借助计算机视觉库OpenCV和微软Visual Studio 2008搭建开发平台,通过视频方式实时提取人的手势信息,进而经二值化、膨胀腐蚀、轮廓提取、区域分割等图像处理流程甄别出当前手势中张开的手指,识别手势特征,提取出人手所包含的特定信息,并最终将手势信息作为控制仪器设备的操作指令,控制相关设备仪器。     

融合图像轮廓矩和傅立叶描叙子的手势识别

针对手势识别中人手是复杂变形体,手部特征描叙容易受到环境因素影响的特点,提出了一种基于混合轮廓特征的手势识别的新方法.首先根据手的颜色信息将手从复杂的背景中分离出来,然后提取出手轮廓的矩不变量和Fourier描叙子特征,然后将2种特征融合构成混合特征,最后将新特征输入BP神经网络进行识别.实验表明:此方法具有较好的鲁棒性和较高的识别率.     

基于结构光源的大屏幕交互技术

 本文提出采用结构光源充分表达用户手部运动的想法,设计了结构光源和识别软件,从光点序列中提取出光点运动轨迹和用户手势的旋转信息,搜索光点位置序列的平坦区段锁定目标位置,将旋转手势解释成交互原语以扩充激光笔的交互语义.最后的性能评估结果表明,结构光源在丰富交互语义和加速目标选择方面都有着较大的改进.     

车载音乐设计中手势图像识别技术的运用

针对车载音乐智能化控制需求,从技术原理出发,对车载音乐系统中应用的关键技术、硬件配置、设计流程进行介绍,运用手势图像分割技术、二值化和平滑技术对手势图像进行预处理,运用先进算法对手势图像轮廓进行提取和识别,使得手势图像可以被车载音乐系统充分识别,并通过车载音乐系统的控制设计实现手势到音乐指令的转化.最后对车载音乐控制系统手势识别方案进行了总结,展望了其下一步发展.     

一种基于Leap Motion的直观体交互技术

Leap Motion系统可高精度实时检测并跟踪手掌、手指的位置和速度等信息,为大屏幕、远距离体交互提供有效途径。通过观察用户手势远距离操控现实环境中的物体,该文设计易于理解的体交互操作手势;借助对Leap Motion传感器工作区域的远近场划分,建立合理的物理空间和信息空间映射关系;针对利用深度相机的手部姿态解算问题,结合Leap Motion传感器的特点,提出一种结合手掌法向和指尖向量的空间姿态算法;结合大屏幕体交互的任务特点,设计了支持连续数据流的非接触式体交互原型系统;最后通过用户实验对原型系统进行评估。结果表明,和传统的2D体交互比较,该文算法的用户体验和表现更为自然、直观和高效。     

基于Mask R-CNN检测流程的工艺流程优化

当下基于深度学习的手语识别方法很多是参照了行为识别的方法,这种方法对整个视频进行特征提取,只关注了视频的全局信息而忽略了手语局部手势特征的学习,而基于传统算法的手语识别需要复杂的人工设计特征过程.为了加强对手语局部特征的学习,提取手部区域,将Mask R-CNN应用到手部区域检测任务中,通过在网络中融入跟踪模块,提升连...     

基于自适应提取和改进CAMSHIFT单目手势跟踪

为了解决复杂背景下手势提取与手势跟踪准确度受影响的问题,提出了一种基于自适应提取和改进CAMSHIFT(Continuously Adaptive Mean Shift)单目手势跟踪算法.该算法通过自适应手部提取方法识别手部完成对跟踪目标的初始化,以运动历史矩阵为掩模提取图像中的感兴趣区域,在该区域内使用CAMSHIFT算法跟踪目标,并通过傅里叶描述子对跟踪目标轮廓进行实时反馈,完成对动态手势的精确跟踪.该方法能够在手部经过肤色区域的情境中实现准确跟踪,与经典CAMSHIFT算法相比,跟踪正确率提高了80％,实现了复杂背景下动态手势的准确跟踪.     

基于FPGA的课堂交互手势识别系统

手势是一种自然而直观的人际交流模式,基于视觉的手势识别是实现新一代人机交互所不可缺少的关键技术。文中主要围绕手势识别展开,结合了手势识别和幻灯片系统的控制,定义了4种动态手势。通过抓捕手势移动质心,恰好避开了手势复杂多变这一缺点。以FPGA作为主要的运行平台,结合Matlab的仿真,最终实现方便快捷的课堂交互的手势识别系统。     

基于红外传感器和隐马尔可夫模型的动态手势识别

非接触式手势控制交互识别作为一种人机交互的新型技术,摆脱了传统的人机设备限制,更符合人际交流习惯。从其实现原理来看,非接触式手势控制交互识别有多种实现,有基于摄像头的识别,也有基于体感遥控的手势识别。本文采用了基于红外传感器的动态手势识别,其基本实现原理是利用四个定向二极管来感知反射的红外线能量,然后将该数据转换为四个方向的距离信息。对于如何从距离信息识别手势,一般多采用动态时间规整、人工神经网络以及隐马尔可夫模型(HMM, Hidden Markov Model)等模式匹配算法。HMM是一种随时间变化的信号模型,具有自动分割和分类能力,适合进行动态手势识别。本文通过HMM对传感器输出的四个方向距离信息进行训练识别,经过多次试验及调整,使得对于5种手势的识别率平均都达到了75%以上,并且随着手势训练数据的增加,识别率会随之提高。     

基于改进型形状上下文描述子的字母手势识别

针对基于单目视觉信息的裸手手势,采用了基于改进型形状上下文描述子的分类识别方法。该方法首先通过肤色信息以及背景建模提取手部区域,然后利用单手指模板对手指进行检测,同时采用改进型形状上下文描述子对手部区域整体轮廓进行描述。在此基础上,使用有向无环图支持向量机(Directed Acyclic Graph Support Vector Machine,DAGSVM)对所提取的特征进行模式分类。其中,针对基本算法存在的问题,改进型形状上下文描述子将基于各个轮廓点的形状上下文直方图改为基于重心的形状上下文直方图,以提高计算速度,增强实时性。对30种字母手势,3种控制手势和10个数字手势开展的离线和在线实验结果表明,该方法取得了较好的分类准确率(离线:96%,在线:91%)和较高的实时性(识别时间14~15ms),适用于基于字母手势的实时人机交互。