一种新的笔式交互范式的可用性评估

笔式用户界面是Post—WIMP界面的一种重要形态,具有自然、和谐的交互特性。尽管笔式用户界面广泛应用于无处不在计算环境中,但很少专门对它的可用性进行评估。针对笔式用户界面的特征,提出了一种新的笔式用户界面范式,基于此范式设计并实现了一个面向教学的笔式交互系统(PenOffice),利用此系统对范式从易学性、效率、出错率和用户满意度这几个方面进行了可用性评估,从中分析了笔式用户界面以及这种新的界面范式的优点和不足。     

桌面环境下的笔式三维交互框架

笔输入和三维交互结合是研究三维交互范型的一种新方法。提出一个桌面虚拟环境下的笔式三维交互框架,包含交互原语和交互任务构造两个核心组件。首先采用词法到语法的二级封装机制来生成高级事件和交互原语,然后综合交互上下文、用户修正和手势识别实现基本交互任务到复杂交互任务的整合机制。框架中内嵌的手势交互、约束感知和混合交互技术能有效降低任务分解和模式切换带来的认知负担,提高交互自然性。     

支持上下文感知应用程序的动态自适应中间件框架

上下文感知计算是当前开发和部署智能应用不可或缺的关键技术之一。上下文能否在计算中真正发挥其作用,主要取决于两方面：一是如何连续稳定地从动态交互环境中获取高质量上下文,二是如何推理上下文并制定适应决策。为了实现上述目标,设计了一个分层的中间件框架,该中间件能够根据上下文质量参数,动态地选择能提供高质量上下文的信息源,并对这些原始上下文进行预处理和推理,进而自动地制定适应决策为用户提供合适的服务。实验测试了平台的性能,并与同类系统进行了比较,结果表明该中间件能够快速有效地支持上下文感知应用的开发部署,并且在计算性能方面有显著提高。     

自适应笔式用户界面开发的概念框架

提出了一个指导自适应笔式用户界面开发的概念框架CFAPUI(a conceptual framework for developing adaptive pen-based user interface).该框架详细描述了自适应笔式用户界面的软件体系结构,阐述了自适应笔式用户界面的软件体系结构中的各组成模块及其相互间的关系.同时,在体系结构的基础上提出自适应笔式用户界面开发时的具体过程步骤和方法,并通过一个笔式表单应用来说明该开发框架在指导自适应笔式用户界面开发中的具体应用.     

面向农村的笔式表单信息采集系统

虽然传统农业在信息化的推动下高速发展,但是目前农村信息采集与发布相关工作仍由计算机专业人员完成,农民与信息化仍存在“数字鸿沟”。针对此问题,基于人机交互中的笔交互技术,设计并实现了一个农业信息采集与发布系统。该系统采用日常最自然、最常用的纸笔式交互方式直观地获取信息,让计算机知识薄弱的农民群体也能轻松地使用该系统,高效地完成农业信息采集与发布工作。     

支持情境感知计算的上下文服务框架研究

针对纷繁复杂的高层应用亟需的多样化、个性化的环境感知服务需求,提出一种支持情境感知计算的上下文服务框架,自底向上包含上下文信息采集层、信息管理层、事件管理层和门面访问层.信息采集层负责封装感知器捕获的环境资源信息;信息管理层提供信息的组织、维护及持久化;事件管理层建立了复合上下文事件的形式化表达,并引入时间窗口凸显事件的强时效特点;门面访问层提供同步和异步互补的灵活访问机制.实验结果表明了该框架的合理性与可行性.     

协作笔式用户界面开发工具研究

笔式用户界面是一种重要的Post-WIMP(window icon menu pointer)界面,它给用户提供了自然的交互方式.然而,当前的笔式用户界面工具箱大多是面向单用户任务的,不能很好地支持协作应用场景.通过对笔式交互特征和协作环境功能需求的分析,设计并实现了一个工具箱CoPen Toolkit,用于支持协作笔式用户界面的开发.它提供了灵活的架构和可扩展的组件,支持笔迹描述、事件处理和网络协作等功能.基于CoPen Toolkit,构造了多个原型系统,实践表明,它能够很好地支持协作笔式用户界面的开发.     

自拍相机运动手势交互界面的设计与实现

随着智能移动终端的发展及摄像镜头的小型化,自拍变得越来越流行。如何设计新型自拍交互方法使得用户在自拍过程中能够自由、实时地控制相机是自拍相机交互界面的关键问题。提出利用基于视觉的运动手势交互界面的新方法,使自拍过程中用户只要挥一挥手臂就可以实现与自拍相机的交互功能。使用手势交互的方法,用户可以把相机放在任意的平台上,自由地摆出各种自拍姿态,增加了自拍的丰富性,提高了用户体验。主要提出挥手及画圈两种交互手势,通过组合应用可以实现丰富高效的自拍交互控制功能,如快门控制、白平衡,曝光度等。手势的识别利用相机摄像的实时图像进行处理,采用稀疏光流算法来识别运动手势。用户评估实验表明,所提出运动手势自拍交互界面具有较好的交互效率以及良好的用户满意度,两种手势的识别效率约为85%。     

一种Post-WIMP界面：PGIS的实现

笔式用户界面作为Post-WIMP界面的一种重要形式,成为当前研究的热点之一。基于笔交互的应用程序通常有如下需求：自然统一的风格、个性化界面定制的支持,以及各种终端设备上的移植。为了支持笔交互应用程序快速稳定的开发,提出了一种新的笔交互范式PGIS,以及基于PGIS的应用程序开发平台。PGIS交互范式包含了纸、小工具等交互组件, 定义了各种组件的显示及交互形式。PGIS平台采用模型驱动构架的设计方法,主要包括3个部分：界面的设计工具,PGIS交互引擎,PGIS底层核心库。目前,已经在PGIS平台上开发了几款优秀的笔式交互软件,完全满足上述笔式交互应用程序的需求。PGIS的可行性也因此得到了很好的验证。     

融合意图捕捉的笔式草绘特征建模

实现了一种基于笔式草绘特征建模方法.该方法模仿传统的纸笔草绘交互设计方式,利用意图捕捉机制揣测用户的设计意图,并采用基于特征的建模方法构造出三维实体概念模型.支持在模型表面上直接草绘截面和轨迹线,并通过特征切削或添加操作构造复杂物体模型;初步实现了基于手势的模型编辑操作.实验结果表明,该方法简单、高效,适合于快速表达不精确的概念模型.     

A software infrastructure for supporting spontaneous and personalized interaction in home computing environments

Our daily lives are expected to change dramatically due to the popularity of ubiquitous computing technologies. These will make it possible to integrate various aspects of our lives. However, a new approach is required to seamlessly deal with devices embedded in our environments. Future embedded systems will embody a new approach that will take into account a variety of new issues, for example, spontaneous interaction, personalization, privacy protection, and interoperability. In this paper, we propose a personal home server that will make it possible to coordinate home appliances. Since everyone will have a different personal home server, it will allow us to personalize how the appliances are used according to individual preferences. Our personal home server can seamlessly discover and configure appliances at any locations, such as at railroad stations, cars, and streets as well as houses. We also discuss its design and implementation and present its current status.     

智能环境基于用户交互模态的情境感知服务

智能环境系统构成的复杂性和大量的情境信息增加了为用户提供和布局服务的难度。情境感知服务系统能感知系统运行和人机交互情境,根据相应的决策机制选择适当的设备为用户提供服务,从而简化环境设施的功能布局。在决策过程中引入用户交互模态信息有利于系统根据用户的交互能力和对人机界面的偏好提供服务。把情境细分为用户信息、设备信息、软件信息和环境拓扑信息,针对智能环境提出了一种基于用户交互模态的情境感知服务系统,同时详细说明了利用该技术选择服务的推理过程及其应用方法。通过智慧家庭环境中的场景案例验证了该系统的有效性。     

笔式用户界面开发工具研究

笔式用户界面提供给用户更为自然的交互方式,然而,笔式用户界面的构造是一项非常困难的工作,一个可用的笔式用户界面系统往往需要多领域、多学科的知识.系统地论述了一个支持笔式用户界面开发的工具系统Penbuilder的设计实现.它基于笔交互的特性以及无处不在的计算环境的要求而设计,为笔式用户界面的开发提供高级的支持.基于Penbuilder的支持,设计开发了一批典型的笔式用户界面原型系统.该研究为笔式用户界面的构造与快速原型提供了有力的支持.     

MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.     

支持笔输入的乐谱编辑器

设计并实现了一个支持笔输入的乐谱编辑器,用户使用笔和书写板输入乐谱手势符号,利用基于网格编码的单笔划手势识别算法识别手势符号,生成与输入相应的乐谱,具有实时播放的功能。与传统交互界面的乐谱编辑器相比较,该系统的交互方式更加符合人们对乐谱的书写和认知习惯,使乐谱的输入过程变得简单、自然、高效。     

Supporting device discovery and spontaneous interaction with spatial references

The RELATE interaction model is designed to support spontaneous interaction of mobile users with devices and services in their environment. The model is based on spatial references that capture the spatial relationship of a user’s device with other co-located devices. Spatial references are obtained by relative position sensing and integrated in the mobile user interface to spatially visualize the arrangement of discovered devices, and to provide direct access for interaction across devices. In this paper we discuss two prototype systems demonstrating the utility of the model in collaborative and mobile settings, and present a study on usability of spatial list and map representations for device selection.     

基于场景树的笔式用户界面设计

从增加笔式用户界面的可用性和提供自然、方便的交互操作的角度,提出一种使用场景树的界面设计方法,并将该方法用于管理会议系统相关环节,包括会议过程、查询和阅读会议文档、记录等．     

一种新的人机界面—PUIs

长期以来 ,图形用户界面 (GUIs)一直是人机交互 (HCI)的主流平台。GUI风格的交互让用户使用计算机时更为方便 ,尤其对于办公自动化应用。然而 ,随着人们使用计算机方式的变化以及计算任务种类和数量的大量增加 ,GUIs已经很难实现满足用户需求所必需的所有交互形式。为了适应更多更广的情况 ,人们需要一种更自然、更直观、能自适应、更易为人们接受的界面形式。于是 ,感知用户界面 (PUIs—PerceptualUserInterfaces)成为人机界面中的新热点 ,其主要目的是使人机交互更像人与人之间的交互以及人与世界的交互。本文介绍了蓬勃发展的PUI领域 ,然后简要介绍了三个基于视觉技术的实际系统     

A portable toolkit for supporting end-user personalization and control in context-aware applications

A context-aware application in the pervasive computing environment provides intuitive user centric services using implicit context cues. Personalization and control are important issues for this class of application as they enable end-users to understand and configure the behavior of an application. However most development efforts for building context-aware applications focus on the sensor fusion and machine learning algorithms to generate and distribute context cues that drive the application with little emphasis on user-centric issues. We argue that, to elevate user experiences with context-aware applications, it is very important to address these personalization and control issues at the system interface level in parallel to context centric design. Towards this direction, we present Persona, a toolkit that provides support for extending context-aware applications with end-user personalization and control features. Specifically, Persona exposes a few application programming interfaces that abstract end-user customization and control mechanisms and enables developers to integrate these user-centric aspects with rest of the application seamlessly. There are two primary advantages of Persona. First, it can be used with various existing middlewares as a ready-to-use plug-in to build customizable and controllable context-aware applications. Second, existing context-aware applications can easily be augmented to provide end-user personalization and control support. In this paper, we discuss the design and implementation of Persona and demonstrate its usefulness through the development and augmentation of a range of common context-aware applications.     

基于笔交互的表格制作

利用笔交互技术实现了表格的正式制作和草图制作,满足不同用户和不同应用的需要.提出了一种基于推理的自适应字线分离方法,首先通过上下文分析和全局分析来获取笔画的字特征和框线特征,然后对这2个特征进行综合评判来分离字线,通过交互来纠正分离错误.该方法实现了草图表格到正式表格的转换,增强了表格制作的灵活性.