桌面虚拟现实环境下的双手交互技术

面向桌面虚拟环境,在分析通用交互设备特点的基础上,提出了具有广泛适用性的双手交互的设备组合;根据虚拟现实通用交互任务的需求,结合设备特点,提出了为左、右手设备分配不同的子任务的策略;组合不同的单手交互技术,提出了包括基于辅助平面的双手交互等3个适用于典型桌面设备组合的双手交互技术;开发了双手交互技术工具箱,并进行了应用验证.     

一种红外多点触摸式双手交互技术

随着人机交互技术由以往的以计算机为中心向以用户为中心发展,新型交互方式成为近年来研究的热点.双手交互作为一种自然的人机交互形式,不但符合人的认知习惯和行为特征,而且能提高计算机输入的带宽.本文研究了一种红外多点触摸的定位技术,识别并描述了双手触摸式交互动作,并建立了双手触摸式交互模型,实验证明了这种交互技术比传统的鼠标操作更加自然直观,大大提高了人机交互的效率.     

支持界面描述的交互模型及其形式化描述

为促进软件用户界面的工程设计,该文提出了一种支持用户界面自动生成的交互模型。它对UML中交互模型的概念加以扩展,添加与界面生成直接相关的信息,表达了与界面相关的功能和数据对象信息以及这些信息间的控制关系。并详细描述了交互模型的符号体系和对它的形式化描述。     

支持界面生成的扩展对象模型和交互模型

基于模型的用户界面分析和表达是实现界面工程设计的出路所在。FMP是一个涵盖需求、结构和实现的界面模型。该文重点讨论了FMP的内在模型Model部分和对界面实现的作用。指出内在模型由参与界面操作的扩充对象模型和它们的交互模型构成。对象模型给出了界面的局部布局。交互模型给出了界面的功能和对象构成以及它们之间的交互关系,在界面模板的支持下,可以给出界面的宏观布局并支持界面的自动生成。     

基于Web应用特点的界面组成及交互模型

针对Web应用的特点,从界面组成结构出发,提出了Web用户界面组成及交互模型;对构成模型的每一部分给出了抽象的形式描述;并分别对界面的组成对象、对象间的关系和抽象交互行为进行了较为详细的阐述。同时,利用已经设计实现的模型编辑环境中的可视符号,通过实例对界面组成对象的抽象交互行为进行了描述,证明了所提模型的适用性。     

数字家庭环境中双手交互技术研究

采用基于视觉的双手手势控制方法,构建数字家庭环境。在获取肤色图像后,通过面积过滤和图像方位分辨出左右手的位置,使用形状过滤算法识别出指尖的位置。分析左手静态手势判断所控制的家电,同时跟踪右手指尖移动的路径,通过方向离散化得到方向向量,使用Baum-Welch算法训练方向向量,用Viterbi算法识别动态手势,实现家电状态的控制。实验结果表明,该方法能有效地在数字家庭环境中完成普通家电的控制功能。     

基于约束语义的双手交互场景布局系统

以家居布局为应用背景,采用双手交互的分工协作,结合2种不同维度的输入设备的特性改进3D地图技术和遥取技术,实现地图和场景的无缝融合以及远处物体的直接操作;增添场景约束语义,实现物体的成组移动.通过语义识别和反馈来实现场景布局的精确定位.     

支持Web软件用户界面自动生成的交互模型

讨论了Web软件用户界面的特点,提出了适应这些特点的界面交互模型;该模型用图形化的方式表达用户与软件界面之间的交互任务,并定义这些任务与相应域对象之间的关联;该模型支持Web应用界面代码的自动生成。     

基于双手交互的指挥空间响应模型

自然高效的人机交互技术正快速发展,但双手交互技术和应用空间之间在认知上存在较大差距。使双手交互难以被广泛应用。该文对指挥空间进行认知级描述。根据指挥空间双手交互应用背景,按分布式认知和以用户为中心的思想构建一种基于双手交互的指挥空间交互响应模型。以解析的方式描述用户背景知识与交互响应间的关系,为指挥空间内双手交互的设计提供依据。     

三维交互界面中垂直多层交互技术的研究

目的:在Leap Motion硬件的垂直操作区域,通过手的不同高度来操作映射在屏幕上的多层离散的目标选择任务,得出适合用户操作的层数,以及相应的人因分析与讨论。方法:首先通过实验得出用户常用的垂直操作范围,再在常用范围的基础上进行分层实验,并且通过选择任务所花费的时间和任务困难度ID进行线性分析,证明是否适应Fitts’law模型。结果:通过实验发现,任务困难度对任务时间在全视觉反馈和半视觉反馈下的线性拟合度分别为0.766和0.771,所以Fitts’law模型对于分层交互界面下的多层离散的目标选择任务并不适用,并且通过时间和错误率的相关数据分析得出了在全视觉反馈和半视觉反馈下的用户可操作的最大可分层数分别为20层和18层,本文结论可为基于多层的三维界面的应用场景的技术设计提供必要的设计准则。     

The Personal Interaction Panel – a Two-Handed Interface for Augmented Reality

This paper describes the introduction of a new interaction paradigm to augmented reality applications. The everyday tool handling experience of working with pen and notebooks is extended to create a three dimensional two-handed interface, that supports easy-to-understand manipulation tasks in augmented and virtual environments. In the design step we take advantage from the freedom, given by our very low demands on hardware and augment form and functionality to this device. On the basis of examples from object manipulation, augmented research environments and scientific visualization we show the generality of applicability. Although being in the first stages implementation, we consider the wide spectrum of suitability for different purposes.     

基于草图的人机交互技术研究进展

从草图识别和语义理解这两个方面对基于草图的人机交互技术的研究状况进行了分析和总结．对草图识别方法按其模式单元定义（笔划、图元、特征和组合图形）进行了分类和剖析;对草图语义理解所涉及的语义获取、语义解释和语义应用这三个关键问题及其解决方法进行了分析和阐述;并分别从基于草图的人机交互技术的几何模糊性、用户适应性和应用独旁性及其关系角度提出了这一领域的主要研究课题及其解决思路．     

PIBG Toolkit:一个笔式界面工具箱的分析与设计

PIBG Toolkit是一个基于PIBG交互范式构造而成的笔式应用开发平台．PIBG Toolkit中包含了纸、框等多种交互组件,定义了纸、框和内容三个层次之间的静态结构和动态机制．开发者开发笔式交互系统时,可以用PIBG Toolkit来建立整体的软件框架和交互机制,并有选择地在系统中添加Toolkit。中所提供的交互组件,这样,开发者的精力将会集中在应用领域的内容上。目前,基于该平台已经开发出多个具有很好应用前景的笔式应用系统。     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

虚拟教学环境中基于草图的自适应用户界面研究

将草图技术、自适应技术与传统的虚拟现实技术相结合应用于虚拟教学过程中,通过增强用户和系统之间个性化需求的交互处理来提高系统的智能性和友好性,进而有效提高虚拟教学环境的应用效果.旨在虚拟环境中构建基于草图的自适应用户界面并应用于虚拟教学来满足特定教学需求,着重结合实例分析了基于自适应草图用户界面的虚拟教学环境中的草图上下文处理机制.在上述研究基础上,设计开发了一个虚拟教学原型系统,实验证明该系统在用户体验上有明显的改善.     

改进的PLML在基于模型的用户界面开发中的应用研究

PLML是描述人机交互模式的一个重要工具,然而它还存在一些缺点。其中一个重要的缺点是它的元素并未明确定义,从而造成了它所描述的设计模式在基于模型的用户界面开发方法中难以自动化或半自动化地应用。针对这一问题,设计了PLML的元素的XML Schema,明确给出了该元素的形式化的描述方法。通过一个实例研究,验证了其在基于模型的用户界面开发中可以起到积极的作用。这一方法也可推广到其它的基于XML的模式描述语言中