面向儿童的多通道交互系统

设计和实现了一个基于笔和语音的面向儿童的多通道三维交互系统.系统中包含了基于笔和语音的交互信息整合框架,用来整合儿童输入的笔和语音信息.同时,系统中定义了一些基于笔和语音的交互技术,可以支持孩子们以自然的方式,通过笔和语音同系统进行交互.用笔来勾画三维的场景和小动物等实体,同时用笔和语音同场景和场景中的实体进行一定的交互.     

面向指-笔混合输入的交互原语和交互模型研究

随着触摸设备的普及, 指、笔输入已成为移动办公的一种主流输入方式. 然而现有的应用主要以手指或笔通道中的一种作为输入, 限制了用户的交互空间. 同时, 现有的指-笔混合研究主要关注串行的指-笔分工协作和特定交互任务的并行处理, 并没有系统地考虑并行协作机制和不同通道输入之间的意图关联. 为此, 提出一种面向指-笔混合输入的交互模型; 结合用户指-笔协作的行为习惯定义指-笔混合交互原语, 拓展指、笔交互空间; 继而利用部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法, 用以增量式地提取多义性交互原语的交互意图. 最后通过一个用户实验说明指-笔混合输入的优势.     

基于笔的电子表单设计工具

笔式用户界面以纸笔为隐喻,有着广泛的应用范围.提出了一种基于笔交互的电子表单设计工具,用户可以使用数字笔自然、高效地设计表单.介绍了笔式电子表单工具的设计思路以及其中的关键技术,包括笔手势的设计、笔迹处理的流程以及相关的识别技术.基于设计思路和关键技术,实现了一个原型系统.用户测试表明,基于笔交互的表单设计工具比传统的表单设计工具更加自然、高效.     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

支持笔输入的虚拟家居设计系统

介绍人机交互技术的概况和家居设计软件的开发现状，总结笔交互技术的特点，根据三维场景中的交互任务定义了常用的交互手势集，给出笔交互应用的层次结构，设计了一个虚拟家居设计系统的总体框架，并成功开发了一个基于笔输入的家居设计系统，最后给出了一个设计实例，取得了满意的设计效果。     

一种Post-WIMP界面：PGIS的实现

笔式用户界面作为Post-WIMP界面的一种重要形式,成为当前研究的热点之一。基于笔交互的应用程序通常有如下需求：自然统一的风格、个性化界面定制的支持,以及各种终端设备上的移植。为了支持笔交互应用程序快速稳定的开发,提出了一种新的笔交互范式PGIS,以及基于PGIS的应用程序开发平台。PGIS交互范式包含了纸、小工具等交互组件, 定义了各种组件的显示及交互形式。PGIS平台采用模型驱动构架的设计方法,主要包括3个部分：界面的设计工具,PGIS交互引擎,PGIS底层核心库。目前,已经在PGIS平台上开发了几款优秀的笔式交互软件,完全满足上述笔式交互应用程序的需求。PGIS的可行性也因此得到了很好的验证。     

虚拟家居设计系统的笔式交互应用研究

以虚拟家居设计系统为应用目标，以笔式交互在虚拟家居设计系统中的应用为主要研究内容，将基于笔交互的自由勾画技术和概念设计过程中的草图设计技术相结合，并利用已有的手势识别技术，系统研究了虚拟家居系统中笔式交互的交互任务、交互过程模型和交互技术，具体包括：建立了手势知识库，研究了虚拟家居系统中从草图绘制到三维漫游过程中的约束求解技术等，为笔式交互在家居设计系统中应用提供了参考原型。基于笔交互的虚拟家居设计展示系统已经投入应用，并取得较好的效果。     

移动设备笔式编辑系统PenEditor的结构设计

随着移动计算和便携式设备的出现以及笔交互设备的普及,迫切需要研究适用于笔交互方式的应用软件。研究实现了一个基于笔输入方式的文本输入、编辑系统,利用人们日常生活中的纸笔交互方式和编辑习惯,完成文本输入、修改等任务,试图建立一个以用户为中心,符合人们日常生活、交流方式的工作环境。由于移动设备跨平台使用的特点,文件存取采用XML格式,所有笔迹信息统一存储在同一个结构已预定义的XML文件中。     

笔式交互和触摸交互的融合策略

针对笔输入能力弱和触摸输入精度低的问题,提出笔式交互与触摸交互的融合策略,并设计了笔+触摸输入技术.首先定性考察笔输入和触摸输入的特性和优劣势,提出2种笔+触摸输入的融合策略;其次基于融合策略设计3种笔+触摸输入技术以及用于参照对比的单笔和单触摸输入技术;再通过3个实验比较这些输入技术的性能.实验结果表明,与单笔或单触摸相比,在颜色改变的直线轨迹任务中,笔+单指触摸、笔+多指触摸和笔+触摸手势的性能分别提升至少90.909%,80.165%和148.209%;在颜色和粗细均改变的圆形轨迹任务中,笔+触摸和笔+手势的任务完成时间比单笔分别减少16.552%和19.705%,而错误率不存在显著差异;在颜色和粗细均改变的绘画任务中,笔+单指触摸、笔+多指触摸和笔+触摸手势的综合指标分别为5.933, 3.333和4.700.最后给出面向笔+触摸输入的交互设计建议、应用场景和改进思路,对笔和触摸的混合输入与界面设计具有指导意义.     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

互动课堂

“互动课堂”是一个以有奖问答为形式的设计交流栏目,通过《智能制造》杂志、智造网idnovo.com.cn、智能制造官方微博以及微信等多个平台联动开展。每期刊出一道设计试题,向读者广泛征集试题答案,并于次期《智能制造》杂志刊载标准答案,每位答对问题的读者都将会获得由《智能制造》提供的10元充值卡一份。     

一个基于“恶意对抗”的公平交互机制的研究

由于多代理交互环境中检测机制、仲裁机制的有限性,合法代理将注定要遭受损失。针对上述现象,该文提出了一个恶意对抗机制（Malice-Antagonized Interaction Mechanism,MAIM),即在该机制下,交互代理双方都允许表现出恶意行为,以期实现交互的公平性,为了分析MAIM机制的可行性,文中应用游戏理论对MAIM在几种典型的游戏中实现交互公平性的情况进行了分析和证明。最终得出结论：在完善信息的纯策略游戏中,MAIM无法实现交互的公平性,而在完美信息的混合策略游戏、不完美信息的顺序游戏和同时决策游戏中,能实现交互的公平性。从而从理论上证明了恶意对抗机制的可行性。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

Interaction Unit Analysis: A New Interaction Design Framework

ABSTRACT

A pragmatic approach to interaction modeling is presented by which a designer can describe how the user gets tasks done with a newly developing system. The notation proposed allows an interaction designer to make explicit both how user actions cause visible or noticeable changes in the state of the machine and how the user is expected to use this feedback to generate the next action. Interaction Unit (IU) scenarios are constructed where each IU specifies one step in the cycle of interaction. Each IU specifies the visible system state that leads the user to take some action. In addition, the IU makes explicit the state of the goal stack at the start and end of the unit and the mental processes (recall, recognition, or affordance) required. In this way one can describe the intimate connection between goal, action, and the environment in user–machine interaction.

To demonstrate the completeness of IU scenario analysis, IU models are presented for some well-known problems in interaction design: hidden and partially hidden modes leading to unexpected system effects, insufficient cues for subgoal construction, insufficient cues for subgoal elimination, and inappropriate affordances for action. These scenarios are accompanied by procedures that designers can use to detect similar problems in putative interaction designs.

To demonstrate the feasibility of using IU scenario analysis in design, 4 graduate students were taught to use IU scenario analysis in a 3-hr session. They then worked as a group to evaluate a prototype handheld warehouse application. A comparable group was taught and then applied Cognitive Walkthrough. Both groups successfully completed the task and detected several problems rated as being of high severity by the designers of the prototype. Analysis of the problems detected by each group suggests that the two techniques are complimentary. IU scenario analysis may be most cost-effective for devices using new interaction paradigms, whereas Cognitive Walkthrough may be most cost-effective for designs using established interaction paradigms.     

分布交互式仿真

该文对分布交互式仿真技术的发展及特点作了分析，并详细介绍了目前较为成熟的几种分布交互式仿真技术及其优缺点，最后对国内外利用分布式仿真技术开发的几个主要仿真系统进行了介绍。     

Abstract Interaction Objects

The concept of an ‘interactor’ has been introduced by Faconti and Paterno' [6] as an abstraction of an entity in interactive graphics capable of both input and output. However the notion of interaction object need not be confined to graphics systems; it represents a useful structure for thinking and reasoning about the behaviour of interactive systems in general. As part of Esprit Basic Research Action 7040 (Amodeus-2) we are using the concept of interactor, and existing work on state-based processes and agents, to develop a model and theory of interactive systems. In this paper we describe two formal models for interaction objects and sketch how they can be used to build a small vocabulary of operators to support the rigorous specification of a graphics system. Our model differs from the approach of Faconti and Paterno' in that it abstracts away from any specific graphics framework and is thus suited to the level of abstraction demanded by formal approaches to system development.