融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用. 在RGB图像的手势识别与交互过程中, 一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低, 另一方面用户对交互手势的认知与设计师设计的手势有差异, 导致用户交互体验反馈较差. 针对这两个问题我们进行了系统性的优化: 首先把用户的认知与交互手势设计原则联系起来建立手势共识集; 其次进行手势图像的色彩平衡处理, 利用椭圆肤色模型分割手势区域; 然后将二值化手势图像输入到MobileNet-V2轻量化卷积神经网络进行手势识别率的计算. 手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计, 减少用户在实际交互过程中的认知偏差, 提高交互系统的可用性和效率.     

基于Petri网和BPNN的多重触控手势识别

为解决多重触控技术的手势识别问题,提出一个多重触控手势描述与识别框架,给出其描述和识别方法。多重触控手势可分为原子手势和组合手势,在手势描述过程中,利用BP网络对原子手势进行建模,然后在将用户的意图映射为原子手势逻辑、时序和空间关系关联而成的组合手势,并在Petri网引入逻辑、时序和空间关系描述符对组合手势进行描述。在手势识别过程中,根据BP网络分类器检测出原子手势,并触发组合手势Petri网模型的转移,实现组合手势的识别。实验结果表明该方法对不同用户操作习惯有鲁棒性,能有效解决多重触控手势识别问题。     

基于Python的星际飞行大战游戏设计与实现

研究基于手势识别技术的鼠标操控方法,并将其应用“星际飞行大战”游戏中。通过使用深度学习模型进行手势识别,将用户的手势转化为鼠标的移动和点击操作。利用Python编程语言和开源库进行实现,并通过测试验证了该方法的准确性和可行性。结果表明,基于手势识别技术的鼠标操控方法可以有效地提高玩家的游戏体验和操作精度。未来,该方法还可以被应用于更广泛的应用场景。     

基于SVM与Inception-v3的手势识别

针对传统机器视觉的手势识别方法识别准确率低,抗干扰能力差等问题,提出了一种基于支持向量机（Support Vector Machine,SVM）手势分割和迁移学习的静态手势识别方法.本文使用SVM和迁移学习方法相结合构建新的手势识别模型,利用SVM对样本进行手势分割,将Inception-v3模型作为卷积神经网络模型基础,对网络参数进行fine-tuning,将预先经过手势分割处理后的样本导入模型训练,调整超参数得到新的最优手势识别模型,并在一定干扰环境下测试,得到测试结果.测试结果表明该方法识别准确率和实时反馈效率均高于传统方法,能高效识别手势,满足实际应用需求.     

基于加速度传感器的可扩展手势识别

为了提高基于加速度传感器的动态手势识别算法的性能,并且增强系统的可扩展性,提出了一种有效结合机器学习模型与模板匹配的方法.将手势分为基本手势和复杂手势两大类,其中复杂手势可分割为基本手势组成的序列;根据手势运动的特点提取有效的特征量,并利用基本手势样本训练随机森林模型,然后用其对基本手势序列进行分类预测;将预测结果进行约翰逊编码,再与标准模板序列进行相似度匹配.实验结果表明,该方法获得了99.75%的基本手势识别率以及100%的复杂手势识别率.算法既保证了手势识别的精度,也提高了系统的可扩展性.     

基于触摸屏的手势遥控系统

传统遥控方式对用户的限制和束缚降低了用户体验质量。为此,提出一种基于触摸屏的手势遥控系统。通过分析触摸手势元动作,对触摸手势进行分类和数学建模,设计该遥控系统的触摸手势识别算法。该算法充分考虑了用户的认知和行为习惯差异,实现智能电视的手势遥控系统,收集真实用户在使用该遥控系统时的操作习惯,进一步提高触摸手势及其对应的遥控操作的识别准确率。实验结果表明,该算法能较好地区分易引起误操作的触摸手势,使得平均识别准确率达到99%。     

基于摄像头的近距手势识别系统的设计

随着电子技术的不断发展,人机交互方式也在得到转变,手势识别作为其中一项典型应用正吸引越来越多人的关注,本文即在嵌入式平台上通过相关算法实现了基本的手势动作识别。文中利用摄像头进行手势图像数据采集,采用STM32作为微处理器,对图像进行差影分割、噪声去除等处理,完成了近距离范围内对运动手势的实时定位和基本识别,并在此基础上对游戏俄罗斯方块进行了控制,实现了手势识别技术在人机交互中的应用,很好得体现出手势操作的便利性和全新用户体验。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于结构分析的手势识别

该文从分割和表示（建模）两方面着手，提出了一种新颖的手势分割和整体及局部手势特征提取算法．用模糊集合来描述视频流中空域和时域上的背景、颜色、运动等信息，通过对它们执行模糊运算，分割出人手；使用结构分析的方法来表示手势，根据人手不同部分在几何尺寸上的变化，从低到高逐次分析图像金字塔中各种分辨率的图像，以获取手势的整体和局部结构特征；将人手划分成手掌和手指几个部分，使用手掌和各手指的中心点的坐标和从手掌中心到所有手指的中心的方向（作为手势方向）来表示一个2D手势．实验结果证明，该文算法具有很好的鲁棒性，对手势分割中间结果的精确性要求不高，因此能适应环境的变化．     

复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

OSG多点触控自然用户接口框架

OSG多点触控自然用户接口框架是在Windows多点触控技术基础上,将触控事件的管理和处理与OSG的事件处理机制相结合,形成了OSG的多点触控运行框架.在与用户交互过程中产生手指触屏的原始数据,根据这些原始数据定义所需的手势,并将其与OSG中交互事件处理机制相结合,完成利用多点触控对三维场景的交互操作.基于以上原理,分析了三维用户交互中主要的操作任务,定义了符合三维空间操作认知的多点触控交互手势,设计了相关手势的识别算法,并通过实例应用的开发验证了这一原理和设计成果的正确性和可行性.     

连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。     

基于MEMS传感器的三维空间运动轨迹提取方法

基于MEMS传感器的手势识别的一般方法是通过对每个手势进行运动学分析找出每个手势的加速度特征,以此作为识别手势的特征值。这表明该方法需要人工设计特征值,不利于用户的自定义操作。针对这种情况,提出一种空间定位方法。首先获取传感器数据并发送到PC端,并在PC端进行积分处理,转化成空间数据,从而记录手势的运动轨迹。最后结果表明,该方法可以成功记录手部的运动轨迹,不用对每个手势单独进行运动学分析,使得用户在后续的研究中可以实现自定义手势。     

基于Kinect的多人场景下的手势识别

针对多人场景下人的手势识别问题,介绍一种结合人体关键骨骼支点的位置,将手势动作分割成连贯的动作片段,及时捕捉和释放移动场景下用户的方法,并通过实验验证本方法能提高手势动作的识别率。      

基于WiFi和体感交互的演示系统设计与实现

基于智能手持终端系统内置的三轴陀螺仪捕获手势命令,利用自适应模板匹配方法进行手势识别,在不降低识别率的情况下,提高了识别效率。以WiFi网络作为信息传递载体,将手势命令传输到服务器,以控制演讲时幻灯片的放映。这种基于WiFi和体感交互的演示方式,能克服传统USB激光笔操作方式单一、接收距离有限等问题,提供更好的用户体验。