虚拟训练系统中大屏幕多点触摸研究与实现

研究虚拟训练中的人机交互问题,使虚拟训练系统支持多点触摸操作.针对鼠标键盘交互沉浸感不足,训练效果不佳,而专业VR设备成本太高等问题,提出利用多点触摸设备作为人机交互接口以改善用户体验.研究了几种常见的多点触摸技术,设计并实现了一种采用光学感应原理的大屏幕多点触摸系统;研究了多触点信息的传输机制,改进了虚拟现实开发软件Virtools,使其能够识别多点触摸手势并做出正确响应.应用实践表明,训练系统沉浸感强,能够准确识别并跟踪多个红外触点,响应迅速,很好地满足了虚拟训练的需求.     

多点触摸人机交互技术综述

从硬件、软件、应用领域及发展趋势4个方面对基于光学的多点触摸技术进行了综述.硬件部分主要介绍了硬件系统结构,搭建光学多点触摸系统的5种技术以及搭建大尺寸多点触摸屏时所要使用的投影技术.软件部分首先介绍了如何从硬件平台获取触点信息,然后介绍了手势识别的相关内容,给出了多点触摸软件框架并对触点信息如何通过TUIO协议传递给上层应用程序作了说明.最后对多点触摸技术的应用领域和发展趋势进行了阐述.     

基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。     

多点触摸概述与手势实现

多点触摸随着iphone的推出风靡全球,是当今最炙手可热的人机交互方式。该文对多点触摸的原理和编程模型进行简要的介绍,并给出了一些触摸手势的C#编程实现。     

多点触控手势识别算法的研究

本文针对当下流行的多点触控设备,对多点触控手势识别算法进行了研究,通过类比计算机中的快捷键设计出了一系列的触控手势,并结合曲线识别算法提出了一种多点触控手势识别算法。实验在当下流行的Android设备上进行,手势检测成功表明了识别算法的有效性。     

基于视觉的多点触摸基本技术实现方法

高性能的图像处理技术是基于视觉的多点触摸技术的关键,对于特征点的检测和跟踪是完成多点触摸系统的基础.文中主要介绍了几种算法用来解决特征点的识别和跟踪的问题.首先,图像轮廓变换算法用来分析手指与屏幕的接触区域,以及在此基础上采用中心计算算法确定特征点的中心坐标;再次,最小距离优先(MDF)算法对在两个相邻图像中的相应的特征点进行识别和跟踪,为随后的事件检测和手势识别提供了前提条件.实验结果表明,算法的性能满足多点触摸系统的实时要求.     

基于触摸屏的手势遥控系统

传统遥控方式对用户的限制和束缚降低了用户体验质量。为此,提出一种基于触摸屏的手势遥控系统。通过分析触摸手势元动作,对触摸手势进行分类和数学建模,设计该遥控系统的触摸手势识别算法。该算法充分考虑了用户的认知和行为习惯差异,实现智能电视的手势遥控系统,收集真实用户在使用该遥控系统时的操作习惯,进一步提高触摸手势及其对应的遥控操作的识别准确率。实验结果表明,该算法能较好地区分易引起误操作的触摸手势,使得平均识别准确率达到99%。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

一种独立于应用程序的多点触摸交互中间件*

在对鼠标事件特性分析和触摸手势描述的基础上,设计实现了一种基于鼠标事件映射的多点触摸交互中间件,包括声明法、映射法两种实现途径。该中间件能够不进行程序改造而在传统基于鼠标交互的应用程序上实现多点触摸,具有平台无关的通用性。最后通过在多款地理信息系统软件中的应用对该中间件进行了验证和评估。     

一种新型红外多点触摸识别算法

近年来,多点触摸技术逐渐成为最为重要的人机交互设备,得到了广泛的应用。本文提出一种新型红外多点触摸识别算法原型,该算法同时在两个不同坐标体系中对用户的触摸进行识别,克服了传统红外触摸屏在识别多点触摸时存在的伪触摸点的问题,实验证明该算法提高了红外触摸屏的多点触摸识别率。     

基于Petri网和BPNN的多重触控手势识别

为解决多重触控技术的手势识别问题,提出一个多重触控手势描述与识别框架,给出其描述和识别方法。多重触控手势可分为原子手势和组合手势,在手势描述过程中,利用BP网络对原子手势进行建模,然后在将用户的意图映射为原子手势逻辑、时序和空间关系关联而成的组合手势,并在Petri网引入逻辑、时序和空间关系描述符对组合手势进行描述。在手势识别过程中,根据BP网络分类器检测出原子手势,并触发组合手势Petri网模型的转移,实现组合手势的识别。实验结果表明该方法对不同用户操作习惯有鲁棒性,能有效解决多重触控手势识别问题。     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进...     

基于深度神经网络的sEMG手势识别研究

为了提高表面肌电信号（sEMG）手势识别算法的准确性,并解决人为提取大量特征具有局限性的问题,提出了一种基于深度神经网络的手势识别方法。将MYO臂环采集到的8通道sEMG数据,采用活动段分割的方法探测到有效动作;设计出一种融合卷积神经网络（CNN）和长短时记忆（LSTM）网络的神经网络;实验的结果表明手势识别准确率为91.6%,验证了提出的方案高效可行。     

Gesture recognition based on skeletonization algorithm and CNN with ASL database

In the field of human-computer interaction, vision-based gesture recognition methods are widely studied. However, its recognition effect depends to a large extent on the performance of the recognition algorithm. The skeletonization algorithm and convolutional neural network (CNN) for the recognition algorithm reduce the impact of shooting angle and environment on recognition effect, and improve the accuracy of gesture recognition in complex environments. According to the influence of the shooting angle on the same gesture recognition, the skeletonization algorithm is optimized based on the layer-by-layer stripping concept, so that the key node information in the hand skeleton diagram is extracted. The gesture direction is determined by the spatial coordinate axis of the hand. Based on this, gesture segmentation is implemented to overcome the influence of the environment on the recognition effect. In order to further improve the accuracy of gesture recognition, the ASK gesture database is used to train the convolutional neural network model. The experimental results show that compared with SVM method, dictionary learning + sparse representation, CNN method and other methods, the recognition rate reaches 96.01%.

     

基于SVM与Inception-v3的手势识别

针对传统机器视觉的手势识别方法识别准确率低,抗干扰能力差等问题,提出了一种基于支持向量机（Support Vector Machine,SVM）手势分割和迁移学习的静态手势识别方法.本文使用SVM和迁移学习方法相结合构建新的手势识别模型,利用SVM对样本进行手势分割,将Inception-v3模型作为卷积神经网络模型基础,对网络参数进行fine-tuning,将预先经过手势分割处理后的样本导入模型训练,调整超参数得到新的最优手势识别模型,并在一定干扰环境下测试,得到测试结果.测试结果表明该方法识别准确率和实时反馈效率均高于传统方法,能高效识别手势,满足实际应用需求.     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。