基于场景的笔式界面设计工具的设计和实现*

设计实现了一个基于数字笔的用户界面设计工具,该工具以面向笔式界面领域,基于场景的设计思想来设计系统中的界面场景组织关系以及场景之间的动态切换方式,设计者与工具间的交互自然流畅、快捷高效。通过手势识别技术,该工具可以将场景的设计结果转换为内部的界面描述语言,并通过相应的解释最终构造生成笔式用户界面。该工具可以快速生成界面原型,从而有效地提高了笔式交互系统的设计和开发效率。     

面向指-笔混合输入的交互原语和交互模型研究

随着触摸设备的普及, 指、笔输入已成为移动办公的一种主流输入方式. 然而现有的应用主要以手指或笔通道中的一种作为输入, 限制了用户的交互空间. 同时, 现有的指-笔混合研究主要关注串行的指-笔分工协作和特定交互任务的并行处理, 并没有系统地考虑并行协作机制和不同通道输入之间的意图关联. 为此, 提出一种面向指-笔混合输入的交互模型; 结合用户指-笔协作的行为习惯定义指-笔混合交互原语, 拓展指、笔交互空间; 继而利用部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法, 用以增量式地提取多义性交互原语的交互意图. 最后通过一个用户实验说明指-笔混合输入的优势.     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标，以笔式交互在虚拟家居设计系统中的应用为主要研究内容，将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合，并利用已有的手势识别技术，系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术，具体包括：建立了手势知识库，研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等，为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用，并取得较好的效果。     

UPIM:以用户为中心的笔式交互系统设计

笔式用户界面是Post-WIMP界面的一种重要形态，有自然、易学、易用等潜在性优点，但是在开发笔式交互系统时，以应用为中心的设计方法无法保证笔式用户界面继续拥有这些优点．为此，首先分析了软件设计的交流模型，在此基础上提出了一种以用户为中心的笔式交互系统的设计方法，并结合科学跳水训练管理系统对该方法进行了详细描述．从实际应用系统的评估结果来看，该设计方法在提高笔式交互系统的可用性方面非常有效．     

基于场景方法的笔式界面软件设计工具

为缩短的笔式用户界面软件的开发周期,让设计人员对软件的整体构思在开发过程中得以保持,提高团队人员的交流效率,提出了有关笔式界面软件的文档描述规范PUIML(pen-based user interface modeling language),并设计实现了一个笔交互的笔式用户界面软件设计工具.以笔式操作平台为软件平台,以PUIML为数据模型,采用基于场景设计的开发方法,为设计人员和用户提供自然的纸笔交互方式,设计结果形成PUIML形式的文档,通过主控程序执行.实践结果表明,使用PUIMaker可以解决笔式用户界面开发中存在的以开发人员为中心,原始设计与开发结果不一致等问题,提高了笔式界面软件的开发效率.     

协作笔式用户界面开发工具研究

笔式用户界面是一种重要的Post-WIMP(window icon menu pointer)界面,它给用户提供了自然的交互方式.然而,当前的笔式用户界面工具箱大多是面向单用户任务的,不能很好地支持协作应用场景.通过对笔式交互特征和协作环境功能需求的分析,设计并实现了一个工具箱CoPen Toolkit,用于支持协作笔式用户界面的开发.它提供了灵活的架构和可扩展的组件,支持笔迹描述、事件处理和网络协作等功能.基于CoPen Toolkit,构造了多个原型系统,实践表明,它能够很好地支持协作笔式用户界面的开发.     

笔式几何学习系统的设计与实现

基于现有的几何学习软件存在着交互方式不自然,不智能的缺点,设计并实现了一个笔式几何学习系统,用以模拟初中几何教学过程中,教师出题,学生答题的情境.笔式几何学习系统运用约束求解技术动态展示几何属性,运用草图识别技术将草图识别为几何图形,通过笔手势帮助用户更加方便地操作使用软件.评估表明,用户以笔交互的方式进行书写、绘图和操作,体现了和谐自然的人机交互模式.     

一种新的笔式交互范式的可用性评估

笔式用户界面是Post—WIMP界面的一种重要形态，具有自然、和谐的交互特性。尽管笔式用户界面广泛应用于无处不在计算环境中，但很少专门对它的可用性进行评估。针对笔式用户界面的特征，提出了一种新的笔式用户界面范式，基于此范式设计并实现了一个面向教学的笔式交互系统(PenOffice)，利用此系统对范式从易学性、效率、出错率和用户满意度这几个方面进行了可用性评估，从中分析了笔式用户界面以及这种新的界面范式的优点和不足。     

基于笔的电子表单设计工具

笔式用户界面以纸笔为隐喻,有着广泛的应用范围.提出了一种基于笔交互的电子表单设计工具,用户可以使用数字笔自然、高效地设计表单.介绍了笔式电子表单工具的设计思路以及其中的关键技术,包括笔手势的设计、笔迹处理的流程以及相关的识别技术.基于设计思路和关键技术,实现了一个原型系统.用户测试表明,基于笔交互的表单设计工具比传统的表单设计工具更加自然、高效.     

一种模型驱动的笔式表单界面软件开发方法

由于用传统的开发方法开发笔式表单界面软件,开发周期长、成本高且难以适应需求变更,难以提供用户概念模型和系统实现模型相一致的软件,针对此问题,提出了一种模型驱动的笔式表单界面软件开发方法,首先提出笔式表单用户界面模型——PFUIM.然后,基于PFUIM提出模型驱动的笔式界面软件的开发框架.该框架描述了笔式用户界面软件的开发模型,详细论述了各个模型的结构以及模型之间的关系;最后,在开发框架的基础上,提出了开发笔式表单界面软件的建模方法和系统自动生成方法,并通过一个实例说明该框架指导笔式表单界面软件开发的指导作用.     

笔式界面软件资源管理模型及其实现*

针对目前文档管理模式和WIMP界面交互范式对笔式交互的不足,提出了笔式界面软件文档资源管理的统一模型,能够有效地管理笔式界面软件所产生的文档数据,并且根据此模型实现了笔式界面的文档资源管理系统,采用了PIBG交互范式和实物界面.评估结果表明,根据此模型设计的系统,能够提高用户工作效率,降低用户的认知负担.     

笔式用户界面开发工具研究

笔式用户界面提供给用户更为自然的交互方式,然而,笔式用户界面的构造是一项非常困难的工作,一个可用的笔式用户界面系统往往需要多领域、多学科的知识.系统地论述了一个支持笔式用户界面开发的工具系统Penbuilder的设计实现.它基于笔交互的特性以及无处不在的计算环境的要求而设计,为笔式用户界面的开发提供高级的支持.基于Penbuilder的支持,设计开发了一批典型的笔式用户界面原型系统.该研究为笔式用户界面的构造与快速原型提供了有力的支持.     

GI—一个图形交互用户接口生成器

用户接口管理程序UIMS是一类软件开发工具。GI是根据VLSI/CAD软件用户接口的特点而设计和实现的一个图形交互式UIMS。它基于简化事件响应模型,以使用简便为主要目标,由用户说明而自动生成相应的应用程序用户接口。它支持菜单、 键盘、窗口等输入方式,以异步并行方式为应用程序服务。它不仅有较好的交互性能,还保持了应用程序的独立和完整性。     

Gaze-based prediction of pen-based virtual interaction tasks

In typical human–computer interaction, users convey their intentions through traditional input devices (e.g. keyboards, mice, joysticks) coupled with standard graphical user interface elements. Recently, pen-based interaction has emerged as a more intuitive alternative to these traditional means. However, existing pen-based systems are limited by the fact that they rely heavily on auxiliary mode switching mechanisms during interaction (e.g. hard or soft modifier keys, buttons, menus). In this paper, we describe how eye gaze movements that naturally occur during pen-based interaction can be used to reduce dependency on explicit mode selection mechanisms in pen-based systems. In particular, we show that a range of virtual manipulation commands, that would otherwise require auxiliary mode switching elements, can be issued with an 88% success rate with the aid of users׳ natural eye gaze behavior during pen-only interaction.     

Symbol design: a user-centered method to design pen-based interfaces and extend the functionality of pointer input devices

A method called “SymbolDesign” is proposed that can be used to design user-centered interfaces for pen-based input devices. It can also extend the functionality of pointer input devices, such as the traditional computer mouse or the Camera Mouse, a camera-based computer interface. Users can create their own interfaces by choosing single-stroke movement patterns that are convenient to draw with the selected input device, and by mapping them to a desired set of commands. A pattern could be the trace of a moving finger detected with the Camera Mouse or a symbol drawn with an optical pen. The core of the SymbolDesign system is a dynamically created classifier, in the current implementation an artificial neural network. The architecture of the neural network automatically adjusts according to the complexity of the classification task. In experiments, subjects used the SymbolDesign method to design and test the interfaces they created, for example, to browse the web. The experiments demonstrated good recognition accuracy and responsiveness of the user interfaces. The method provided an easily-designed and easily-used computer input mechanism for people without physical limitations, and, with some modifications, has the potential to become a computer access tool for people with severe paralysis.