基于混合自动机的Post-WIMP界面的建模

Post-WIMP界面作为继当前的主流界面范式——WIMP界面后的下一代界面范式,它和WIMP界面有着很大的不同,通过使用虚拟现实、语音交互、手势交互等技术,它能够提供更加自然高效的交互方式.然而,它却难以构造.为了有效地构造Post-WIMP界面,在构造之前不考虑实现细节,而在一个抽象的层次上描述它是一个较好的方法.首先,分析了Post-WIMP界面的交互本质,交互混合性是Post-WIMP界面一个最为重要的特点.从形式化系统的角度分析Post-WIMP界面,通过将Post-WIMP界面抽象为混合系统能够更为准确和严格地分析Post-WIMP界面的特性.混合自动机是用于描述混合系统的形式化工具,将Post-WIMP界面建模为一组相互协作的混合自动机.设计了一基于混合自动机理论的半形式化语言LEAFF作为Post-WIMP界面的描述工具.LEAFF通过结合文本描述和图形描述描述Post-WIMP界面中的交互行为,能够准确地反映交互中的控制关系、时序关系.给出了对两个典型Post-WIMP界面——虚拟现实交互和笔式交互的描述实例,同时讨论了Post-WIMP界面中交互并行性的描述、交互实时性的验证和从描述到实际交互系统构造的转换.     

Post-WIMP界面隐式交互特征研究

首先从认知心理学的角度对Post-WIMP界面下的隐式交互特征进行分析和描述。然后通过对传统界面的交互任务生成结构和Post-WIMP界面的交互任务生成结构进行比较,分析Post-WIMP界面交互任务的生成特点。根据这些特点提出了利用识别技术、上下文感知技术和用户修正技术(User Mediation)相结合的方法来支持Post-WIMP界面的隐式交互,并构造了Post-WIMP界面的交互任务生成框架。这些隐式交互特征的研究将为建立Post-WIMP界面软件框架和交互平台提供底层支持。     

以交互为中心的Post-WIMP界面模型

随着硬件设备和软件技术的发展,国内外开展了大量基于Post-WIMP界面的新型交互技术的研究.面对多种交互设备以及使用环境,在界面设计的过程中,根据上下文选择适当的交互组件或技术,并有效地进行组合与评估,成为构造Post-WIMP界面的关键问题.将界面设计与应用语义分离,使设计者能够灵活地置换各种交互技术.通过对Post-WIMP界面交互过程与界面设计层次的分析,建立起以交互为中心的分层Post-WIMP界面模型,将交互的各个层次进行分离.在模型的基础上,描述一个了Post-WIMP界面生成工具.借助该工具,设计者能够在设计过程中方便地引入新的交互技术,并能在最终的软件系统中加以灵活应用,从而可以快速、有效地进行界面原型实现和迭代评估.应用实例表明,Post-WIMP模型的建立以及生成工具的实现,有利于设计者确定设计方案及对方案的整体评估.     

笔式用户界面交互信息模型研究

笔式用户界面是Post-WIMP界面的重要形态,在许多领域得到广泛应用.笔式界面设计需要设计者和用户的共同参与.捕获用户使用意图是设计笔式用户界面的前提,连接交互信息的表示与控制则是成功构造界面的关键.依据笔式交互信息连续性及模糊性特征,从设计参与者与交互信息管理两个维度建立了笔式用户界面交互信息模型OICM(orthogonal interaction information architecture coordinate model).从问题知识域、交互任务、规则集合以及上下文关联4个不同的象限对模型进行了详细的描述,并给出了基于XML的实现方法.在对模型进行分析后,介绍了基于OICM模型的开发平台和应用系统实例.     

协作笔式用户界面开发工具研究

笔式用户界面是一种重要的Post-WIMP(window icon menu pointer)界面,它给用户提供了自然的交互方式.然而,当前的笔式用户界面工具箱大多是面向单用户任务的,不能很好地支持协作应用场景.通过对笔式交互特征和协作环境功能需求的分析,设计并实现了一个工具箱CoPen Toolkit,用于支持协作笔式用户界面的开发.它提供了灵活的架构和可扩展的组件,支持笔迹描述、事件处理和网络协作等功能.基于CoPen Toolkit,构造了多个原型系统,实践表明,它能够很好地支持协作笔式用户界面的开发.     

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型．首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例．实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求．     

基于经验感知的自适应用户界面模型

针对传统自适应界面缺乏自主学习用户交互历史、难以根据用户经验有效预测用户意图的现状,基于认知心理学相关理论,该文提出了基于经验感知的自适应用户界面模型,从界面静态组成元素、动态交互行为和自适应策略三个方面建立了该模型的统一描述,然后研究了自适应界面模型的实现架构、关键技术和建模方法.最后开发了一个个性化的虚拟家居定制原型系统,并进行了实验评估.实验结果表明,该模型能够根据用户交互历史和上下文环境,准确预测用户意图,实时调整界面布局和交互行为以主动地适应用户.     

基于草图界面的应用系统框架研究与实现

现有的草图系统重在设计对象外形的表达,忽略了隐含在设计过程中用户思维活动的信息;另一方面,目前笔的交互方式尚不能自然、流畅地表达用户设计意图.通过分析草图界面信息对象和交互过程的特点,提出面向构思设计的应用系统框架ISF,以满足设计意图原型的快速生成;同时结合交互的任务、环境和用户偏好等上下文信排息,建立从物理设备到逻辑工具映射的交互模型,旨在为此类系统的交互设计提供一定指导的方法.最后给出面向轻纺行业服装设计的应用实例--草图图板系统.应用结果表明,ISF能够为此类草图应用系统的设计给予一定的指导,满足自然、流畅的交互设计要求.     

一种支持MDA的PIM建模方法

为解决MDA开发过程中平台无关模型(PIM)的描述方面存在的问题，从软件体系结构建模出发，通过对UML进行扩展并引入界面展示视图，提出了一种平台无关的Web应用建模方法。该方法保持了PIM平台无关的特性，并能充分利用体系结构在软件开发各阶段间保持的良好可追踪性，能够对模型驱动的软件开发提供有力的支持。以J2EE目标平台为例说明了用该方法建立的PIM模型到平台相关模型(PSM)的转换。     

基于自动机的构件实时交互行为的形式化模型

采用形式化方法对复杂实时构件系统交互行为进行描述和验证,对于提高系统的正确性、可靠性等可信性质具有重要意义.分析了基于进程代数和自动机的构件交互行为形式化建模方法各自的优缺点,在此基础上提出了基于时间构件交互自动机的建模方法,给出了时间构件交互自动机的相关定义、组合和验证算法.时间构件交互自动机引入了时间限制、时间代价、时间代价计算半环、构件组合层次等概念,既能够描述构件交互情况,又能够清楚地表示出构件系统的体系结构信息和实时信息,便于对系统进行描述和验证.最后,结合具体应用给出了应用示例.     

一种移动个人信息管理系统的存储解决方案

移动个人信息管理系统是运行在掌上电脑、智能手机等移动设备上的个人信息管理系统。为实现其对各种类型的个人信息的强大管理功能,必须要有一个适宜的底层存储方案作为保障。本文基于COM的结构化存储机制和实验室自主研发的嵌入式移动数据库管理系统SwiftDB的数据管理功能,提出了一种信息项存储方案,能够解决个人信息项种类繁多和移动设备上资源有限等系统存储难点,以较小的代价和较快的存取速度实现用户对信息项的访问操作。     

ECMail:基于实体发现、查找和管理的中文邮件管理系统

随着个人用户的数据和信息级数增长,个人信息管理的研究成为热点.电子邮件作为个人信息的重要载体在个人信息业务中占据着重要的地位.随着个人信息的增加,用户在对邮件进行查询时经常遇到遗忘关键字的困扰,对此普通的邮件工具很难为用户组织和管理个人信息提供帮助.提出了一个基于实体发现、查找和管理的中文邮件管理系统--ECMail,有效改善了以上问题,同时对关键技术-中文分词、实体挖掘和实体关联管理的实现提出了自己的想法和处理机制,最终达到了提高用户邮件管理效率的目的.     

Post-WIMP环境下笔式交互范式的研究

提出了一种在Post-WIMP环境下的笔式交互范式：PIBG．PIBG范式采用纸笔隐喻，与WIMP范式相比，承载应用信息的交互组件由Window变为Paper和Frame，用户的交互动作由鼠标的点击变为笔的手势．对PIBG范式中静态的界面形式和动态的交互手势进行了研究和设计．结合认知心理学，从信息呈现和交互方式两个方面对该范式的特点进行了阐述．利用GOMS模型，从界面呈现方式、手势的效率、用户满意度三个方面对该范式进行了心理学评估．从评估结果可以看出，PIBG范式通过模拟日常纸笔环境，利用用户原有的知识，可以明显地减轻认知负担，提高操作效率．     

基于混合输入的场景设计工具

笔式用户界面作为Post-WIMP界面中的一种，以触控技术为依托，摒弃了物理键盘和鼠标，在一定程度上改变了人机交互的方式.草图绘制和识别软件不断涌现，但是却一直没有成熟的笔式界面设计开发工具.基于PGIS交互范式，利用场景设计方法，开发了基于笔式交互原语的图形和草图混合输入的场景设计工具SDT.首先，基于软件工程领域的高内聚低耦合原则提出了"分离-融合"设计方法，并据此提出了系统的总体架构；其次，从界面形式化描述、笔式交互原语和单字符、混合输入这3个方面介绍了关键技术；再次，通过一个完整示例对该工具进行了更具体的展示，同时佐证了该系统的可用性和可行性；最后，通过两个评估实验，验证了该工具的先进性和有效性.     

以活动为中心的个人信息管理

通过分析用户执行多任务的交互场景,基于活动理论,将任务、任务相关的信息以及任务问的关系统一纳入活动研究的框架,提出了以活动为中心的个人信息管理方式;从活动的静态结构、动态演变过程以及活动间的关系3个方面对活动进行建模:针对多活动场景中的用户交互和活动对象的内容提出了计算活动相关性的方法;并在此基础上,实现了以活动为中心的个人信息管理工具——ACPIM(activity-centered personal information management),评估结果显示:以活动为中心的个人信息管理有助于用户减轻认知和记忆负担,降低交互努力,从而提高工作效率.     

Software agents and agency: A personal information management perspective

This paper considers the concept of agency and the applications of software agents within the field of Personal Information Management (PIM). PIM addresses the complex activities undertaken by individuals when organising their personal information. In the context of Personal Information Management, effective software agents may allow users to obtain information relevant to their tasks, and present it in a form that is directly targeted to the needs of the user.This paper concentrates on the notion of agency and its direct application to PIM tasks. A user-driven approach to the design of agent-based systems is presented. We argue that agent systems will only be successful if both usersand their tasks act as the bases for the design of such systems. An example task domain (searching the World-Wide Web) is introduced and a taxonomy of Web agents for the domain is discussed. Technical issues raised during the preliminary implementation of Web agents are also introduced.