多触点交互桌面左右手区分方法

现有多触点交互桌面系统通常只提供触点位置、形状等信息,不包括触点左右手归属信息.触点所属手及左右手手性信息的提供,对于多指手势识别、丰富双手交互技术,尤其是非对称双手交互技术具有重要意义.基于手的解剖结构特征,提出一种不需辅助硬件设备的触点左右手归属判定方法.首先,以手势设计的基本原则为指导,根据手的解剖结构特征,提出交互桌面手-臂系统三角形模型;其次,基于该三角形模型,给出多触点交互桌面同手触点聚类方法及左右手识别方法;然后,对MTDriver做扩展,实现了提供左右手信息的多触点跟踪工具箱,并提出了基于左右手信息的交互桌面交互技术;最后,评估结果表明,同手触点聚类方法及触点左右手手性识别方法均具有较高的正确率,而且在时间性能方面满足交互桌面交互实时性要求.     

面向多用户交互桌面的界面管理系统

针对多用户交互桌面的界面管理问题,通过需求分析、界面建模、原型实现与用户研究四个阶段的研究,提出了一个完整的界面管理方案.首先基于对交互式桌面水平显示、直接输入以及多用户使用三个特性的分析,提出了桌面界面管理中输入管理、布局管理、权限管理和冲突管理四个方面的新需求,这些显著区别于台式计算机上的界面管理.在此基础上,设计了层次式的桌面交互界面模型,它自底向上由处理多用户输入的输入管理层、控制交互界面的对象管理层、以及基于树状结构组织的图形对象层组成.进而,实现了多用户桌面的交互界面管理系统uTablePlatform,并开展了实际的用户研究.4 组测试者在uTablePlatform 上分别完成了一次旅行规划的任务,观察和问卷结果表明本文设计并实现的界面管理系统可以有效的帮助用户完成桌面交互任务.     

基于视觉的手势界面关键技术研究

针对视觉手势界面存在的问题,提出了一套行之有效的解决方案.首先,为了解决视觉手势交互中的MidasTouch问题,以人类注意的信息加工模型为理论依据提出了一个可扩展的视觉手势交互模型,该模型将手势交互过程分为选择性处理、分配性处理和集中处理3个不同阶段;然后,基于该模型提出了一个视觉手势识别框架,并结合认知心理学从手势检测、跟踪和识别3个方面对该框架的各个组成模块的关键技术进行了阐述,其中手势检测模块和识别管理模块能够辅助系统在复杂的背景中滤除掉不相关信息而选择性地搜索人手并根据上下文信息对手势识别任务重定向,从而避免了系统时刻都处于激活状态并对所有的手势动作都进行识别分析,有效解决了Midas Touch问题.文中介绍了使用该方法实现的IEToolkit手势界面工具平台,并基于一个视觉手势交互系统进行了实验测试与评估,结果验证了文中方法的可用性.     

桌面环境下的笔式三维交互框架

笔输入和三维交互结合是研究三维交互范型的一种新方法。提出一个桌面虚拟环境下的笔式三维交互框架,包含交互原语和交互任务构造两个核心组件。首先采用词法到语法的二级封装机制来生成高级事件和交互原语,然后综合交互上下文、用户修正和手势识别实现基本交互任务到复杂交互任务的整合机制。框架中内嵌的手势交互、约束感知和混合交互技术能有效降低任务分解和模式切换带来的认知负担,提高交互自然性。     

四路摄像头协同的多重触控系统

为解决多重触控系统中多触点遮挡问题,提出一个基于四路摄像头协同工作的多重触控系统,其中包括硬件层、图像处理层、图像理解层和应用层.硬件层由四路摄像头与多个红外二极管围成的矩形边框组成;图像处理层完成图像的获取和触点检测;图像理解层实现触点的定位与跟踪;应用层完成与具体应用基于手势的交互.图片管理应用实验结果表明,该系统能实现基于多指的复杂操作,在公共信息查询、指挥决策等领域具有很好的应用前景.     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标,以笔式交互在虚拟家居设计系统中的应用为主要研究内容,将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合,并利用已有的手势识别技术,系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术,具体包括：建立了手势知识库,研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等,为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用,并取得较好的效果。     

一种时空多尺度适应的手势识别方法研究

手势交互作为一种自然便捷的交互方式,在智能家居和智能交通等领域具有日益广泛的应用前景。由于手势行为发生的速度、空间约束和用户差异的影响,同一语义手势表现出具有不同时间和空间尺度的多形态特征,这给保障手势识别的准确率带来了挑战。提出了一种基于动态时间规整DTW(Dynamic Time Warping)方法的时空多尺度手势识别方法SDTW(Spatial-Temporal Dynamic Time Warping),该方法通过对空间形态数据进行分箱操作来达到适应一定程度空间尺度变化的能力。因此,SDTW方法不仅具备DTW方法的时间尺度适应性,而且扩展了空间尺度适应性。文中实现了一个基于智能手机加速度传感设备的SDTW手势识别原型系统。实验测试验证了所提方法能够有效提升手势识别的准确率。     

一种笔式表格组件的设计方法

传统基于WIMP界面范式的表格设计,无法满足用户与界面自然、高效、连续性交互的需求,尤其是用户无法根据设计意图自由勾画任意通用的表格,也无法自动标识表格界面逻辑.提出一个基于笔交互的表格组件的设计方法.该方法以数字笔代替鼠标键盘,能够连续输入笔迹并识别为文字、勾画草图并识别为正式表格或框线、使用笔手势操纵界面对象,并能自动识别表格的逻辑结构.本文讨论了该笔式表格组件的开发框架及关键技术,以及表格组件架构,并给出了应用实例及性能评估,实验结果表明,用户使用该方法设计表格具有较高的效率与用户满意度.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

基于FTIR的多点触摸实时互动桌面系统

针对2010年上海世博会主题馆设计需求,提出并实现一种低成本的多点触摸实时互动桌面系统。以受抑全内反射(FTIR)技术为核心,介绍多点触摸屏的设计和实现。基于计算机视觉,采用改进的最小距离优先算法和字符串相似度算法,实现对交互手势的识别。通过基于软件的几何校准和边缘融合,对多投影机画面进行无缝拼接,形成一个逻辑上统一的大屏幕。应用结果表明,该系统具有较好的实时性、交互性和娱乐性。     

基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

多点触控手势识别算法的研究

本文针对当下流行的多点触控设备,对多点触控手势识别算法进行了研究,通过类比计算机中的快捷键设计出了一系列的触控手势,并结合曲线识别算法提出了一种多点触控手势识别算法。实验在当下流行的Android设备上进行,手势检测成功表明了识别算法的有效性。     

多点触摸手势分析及识别算法的研究

针对目前多点触控系统缺乏对触摸手势含义的理想描述和解析,提出了一种通用的多点触摸手势分析与设计框架,研究了高性能的算法合理解析并优化多点触控指令,使其更符合用户的思维与认知。设置触点位移和时间函数双阈值来提高触点识别的精确性,防止突增杂点的误判断,减缓过快操作产生的抖动;采用RAF神经网络模型解决动态手势识别的问题,并引入基于欧氏距离函数的聚类统计量作为网络的特征参数,大大提高了多点触摸手势识别的效率和精确度。     

The design,development, and deployment of a tabletop interface for collaborative exploration of genomic data

In this paper, we reflect on the design, development, and deployment of G-nome Surfer; a multi-touch tabletop user interface for collaborative exploration of genomic data. G-nome Surfer lowers the threshold for using advanced bioinformatics tools, reduces the mental workload associated with manipulating genomic information, and fosters effective collaboration. We describe our two-year-long effort from design strategy to iterations of design, development, and evaluation. This paper presents four main contributions: (1) a set of design requirements for supporting collaborative exploration in data-intensive domains, (2) the design, implementation, and validation of a multi-touch tabletop interface for collaborative exploration, (3) a methodology for evaluating the strengths and limitations of tabletop interaction for collaborative exploration, and (4) empirical evidence for the feasibility and value of integrating tabletop interaction in college-level education.     

Design and evaluation of finger-count interaction: Combining multitouch gestures and menus

Selecting commands on multi-touch displays is still a challenging problem. While a number of gestural vocabularies have been proposed, these are generally restricted to one or two fingers or can be difficult to learn. We introduce Finger-Count gestures, a coherent set of multi-finger and two-handed gestures. Finger-Count gestures are simple, robust, expressive and fast to perform. In order to make these gestures self-revealing and easy to learn, we propose the Finger-Count menu, a menu technique and teaching method for implicitly learning Finger-Count gestures. We discuss the properties, advantages and limitations of Finger-Count interaction from the gesture and menu technique perspectives as well as its integration into three applications. We present alternative designs to increase the number of commands and to enable multi-user scenarios. Following a study which shows that Finger-Count is as easy to learn as radial menus, we report the results of an evaluation investigating which gestures are easier to learn and which finger chords people prefer. Finally, we present Finger-Count for in-the-air gestures. Thereby, the same gesture set can be used from a distance as well as when touching the surface.