基于多点触摸的交互手势分析与设计*

提出了基于多点触摸的交互手势分析与设计方法。引入触摸手势元动作,采用接触面类型和状态及运动方式描述触摸手势,给出了简单触摸手势的统一描述框架,并提出了交互手势与交互任务的映射规则,将手势定义和手势意图联系起来。向交互设计者提供一种系统化和标准化的方法,提高了交互手势设计的通用性。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

面向指-笔混合输入的交互原语和交互模型研究

随着触摸设备的普及, 指、笔输入已成为移动办公的一种主流输入方式. 然而现有的应用主要以手指或笔通道中的一种作为输入, 限制了用户的交互空间. 同时, 现有的指-笔混合研究主要关注串行的指-笔分工协作和特定交互任务的并行处理, 并没有系统地考虑并行协作机制和不同通道输入之间的意图关联. 为此, 提出一种面向指-笔混合输入的交互模型; 结合用户指-笔协作的行为习惯定义指-笔混合交互原语, 拓展指、笔交互空间; 继而利用部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法, 用以增量式地提取多义性交互原语的交互意图. 最后通过一个用户实验说明指-笔混合输入的优势.     

桌面环境下的笔式三维交互框架

笔输入和三维交互结合是研究三维交互范型的一种新方法。提出一个桌面虚拟环境下的笔式三维交互框架,包含交互原语和交互任务构造两个核心组件。首先采用词法到语法的二级封装机制来生成高级事件和交互原语,然后综合交互上下文、用户修正和手势识别实现基本交互任务到复杂交互任务的整合机制。框架中内嵌的手势交互、约束感知和混合交互技术能有效降低任务分解和模式切换带来的认知负担,提高交互自然性。     

基于多指触摸的指挥空间用户操作模型

以未来指挥所中的自然手势交互为应用背景,研究用户操作的概念抽取与表述,提出从语法、语义层次上整合实现用户操作到双手多指触摸交互控制的映射方法。旨在从操作层面上解决多指触摸交互技术融入指挥所人机交互空间的现实问题,为下一步多通道、多模式的人机对话系统开辟新的研究思路。     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标,以笔式交互在虚拟家居设计系统中的应用为主要研究内容,将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合,并利用已有的手势识别技术,系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术,具体包括：建立了手势知识库,研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等,为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用,并取得较好的效果。     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

一种独立于应用程序的多点触摸交互中间件*

在对鼠标事件特性分析和触摸手势描述的基础上,设计实现了一种基于鼠标事件映射的多点触摸交互中间件,包括声明法、映射法两种实现途径。该中间件能够不进行程序改造而在传统基于鼠标交互的应用程序上实现多点触摸,具有平台无关的通用性。最后通过在多款地理信息系统软件中的应用对该中间件进行了验证和评估。     

触控、笔和空间手势的混合输入

针对单通道输入条件下输入能力受限的问题,以触控、笔和空间手势为输入通道,提出混合输入技术,允许用户通过双手配合的方式完成操作任务.首先分析了触控、笔和空间手势的性能特点;然后结合不同复杂程度的实际操作环境,提出以笔输入为主的10种双通道和三通道混合输入技术.性能对比的实证研究结果表明,相比于单通道笔式输入,双通道并行输入情况下触控+笔的综合性能最优,双通道二维空间划分下,触控点击+笔的性能最优;包含空间手势的混合输入技术错误率最低,但定性评估结果却最不理想.相关结论对基于触控、笔和空间手势的混合交互和界面设计具有参考意义.     

3M推出20指多点触摸显示器

上海2010年6月7日电／美通社亚洲／一以多元化科技和技术著称的世界500强企业3M公司近日在美国2010年SID显示技术展示周上宣布,3M多点触摸显示器M2256PW全新上市。凭借超快速、支持20指以上多点触摸输入和高清晰、宽视角LCD,M2256PW显示器的性能足以超越多指和多用户交互应用的苛刻要求。基于革命性的3M投射式电容技术,M2256PW显示器可为应用开发商提供完美的多点触摸能力,即20点同时触摸的响应时间少于6毫秒。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

面向儿童的多通道交互系统

设计和实现了一个基于笔和语音的面向儿童的多通道三维交互系统.系统中包含了基于笔和语音的交互信息整合框架,用来整合儿童输入的笔和语音信息.同时,系统中定义了一些基于笔和语音的交互技术,可以支持孩子们以自然的方式,通过笔和语音同系统进行交互.用笔来勾画三维的场景和小动物等实体,同时用笔和语音同场景和场景中的实体进行一定的交互.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

在线双向适应的笔手势界面框架研究

提出一个在线双向适应的笔手势界面框架,该框架针对传统笔手势界面中静态手势识别器不能支持用户的个性化输入以及用户在笔手势界面中面临的手势记忆问题,提出了在线双向适应的策略:一方面系统能够适应用户(系统可以在线支持用户的个性化输入);另一方面用户可以学习系统(用户可以学习系统提供的某些笔手势).该框架包括5个部分:(1)双向适应笔手势输入解释模型;(2)双向适应笔手势输入解释流程;(3)上下文优先级定义;(4)纠错和模糊消解界面;(5)在线笔手势查询帮助系统.在该框架的指导下作者开发了一个原型系统并进行了对比实验评估.结果表明该框架在可用性上具有较大的优势.     

基于笔式交互的几何教学系统原型

设计并实现了一个基于笔式交互的几何教学白板系统原型,该系统允许用户以笔代替鼠标在界面上批注勾画,草绘输入图元,手势编辑界面元素,并支持动态几何。为提高真实感和交互效率,系统中引进了线消隐和笔画规整技术,这也是同类系统少有的。对系统的框架和关键技术进行了讨论,最后给出了系统可用性评估,实验显示系统能够达到理想效果,有较高的实用性。     

基于笔的电子表单设计工具

笔式用户界面以纸笔为隐喻,有着广泛的应用范围.提出了一种基于笔交互的电子表单设计工具,用户可以使用数字笔自然、高效地设计表单.介绍了笔式电子表单工具的设计思路以及其中的关键技术,包括笔手势的设计、笔迹处理的流程以及相关的识别技术.基于设计思路和关键技术,实现了一个原型系统.用户测试表明,基于笔交互的表单设计工具比传统的表单设计工具更加自然、高效.     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

多触点交互桌面左右手区分方法

现有多触点交互桌面系统通常只提供触点位置、形状等信息,不包括触点左右手归属信息.触点所属手及左右手手性信息的提供,对于多指手势识别、丰富双手交互技术,尤其是非对称双手交互技术具有重要意义.基于手的解剖结构特征,提出一种不需辅助硬件设备的触点左右手归属判定方法.首先,以手势设计的基本原则为指导,根据手的解剖结构特征,提出交互桌面手-臂系统三角形模型;其次,基于该三角形模型,给出多触点交互桌面同手触点聚类方法及左右手识别方法;然后,对MTDriver做扩展,实现了提供左右手信息的多触点跟踪工具箱,并提出了基于左右手信息的交互桌面交互技术;最后,评估结果表明,同手触点聚类方法及触点左右手手性识别方法均具有较高的正确率,而且在时间性能方面满足交互桌面交互实时性要求.