手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

三维交互任务的描述和结构设计

主要讨论了三维交互中交互任务的归纳描述和结构设计问题.首先归纳出三维交互中的基本交互任务和普遍交互任务,对二者之间的联系进行了描述,提出了一个三维交互任务的产生框架,最终建立起三维交互中通用的核心模块.三维交互核心模块描述了三维交互中通用的底层结构,模块中定义了三维交互中通用的一系列交互原语和交互任务,实现了原语的产生和任务的整合工作.在开发三维用户界面构造系统(3D UI toolkit或3D UIMS)或具体的三维/虚拟现实应用时,可以直接用它来建立系统的底层交互结构,而程序员将只关注于交互风格的建立等高层工作.     

电子沙盘应用的多通道交互系统设计与实现

多通道交互技术是人机交互研究领域的一个重要方面。将多通道交互技术应用于电子沙盘中,为指挥人员提供自然、高效的交互方式,必将大大提高指挥人员的指挥效率。文中采用模块化的思想描述以电子沙盘为平台的多通道交互系统架构,重点阐述了任务分析验证和多通道整合方法。其中任务分析与验证主要实现基于原子操作的交互任务模板构建和操作安全验证;多通道整合则基于任务模板最优匹配方法实现桌面协作机制。并基于上述设计实现了一个态势研讨原型系统。     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

多通道延时遥交互研究综述

多通道遥交互(Multimodal Tele-interaction,MMTI)旨在通过使用多种交互设备和协作方式,并利用多交互通道间的互补特性,以便有效传达和理解用户交互信息,提高交互效率,增进交互自然性,最终使用户能够以“预期的想法”完成遥交互任务。近年来,随着多通道遥交互的发展,人们对深空、深海和远程医疗的探索和开发不断增强,由于通信时延的约束,多通道遥交互面临着交互异步和通道缺失等问题,对用户行为、心理和认知等人素特性产生了根本影响,切断和阻碍了交互通道的连续性、实时性和自然性,降低了交互的用户体验,并进一步影响了系统的有效性,因此迫切需要对大时延约束下的多通道遥交互技术进行研究。分析了国内外研究现状,给出了遥交互的一个定义,讨论了遥交互研究问题和关键技术(包括时延、异步和缺失问题),讨论了其关键应用领域,最后展望了遥交互的发展趋势和研究挑战。     

多通道整合的相关问题及算法

多通道界面旨在充分利用一个以上的感觉和动作通道来捕捉用户的意向,提高人机交互的自然性和高效性,其核心问题就是通道整合的问题。该文针对该问题提出了一个基于分层的任务模型的整合算法,该算法处理中涉及到程序运行状态表示、任务结构的设计和交互原语相关性表示等问题。针对以上3个问题展开讨论,在此基础上得到最后的算法。     

面向虚拟装配的三维交互平台

针对当前装配领域的特点，提出一个面向虚拟装配的三维交互平台（Virtual Assembly Toolkit,VAT），VAT中包含了新的三维交互思想，定义了装配领域中常有的三维交互原语，设计和实现了交互原语的捕获，解释和处理框架，同时，VAT封装了三维图形构造，零件间的约束和碰撞检测等功能，VAT可以大大简化虚拟装配应用的构造，便于应用的快速生成。     

移动环境下神经功能评价多通道交互模型

随着平板电脑、智能手机、智能手表等智能移动设备的普及,利用便携的智能移动设备随时随地进行健康评价受到了国内外学者的广泛关注.人机交互特有的多通道、交互式、人机协同的计算能够有效地提高移动环境下神经功能评价的准确度.然而,目前很少有研究对人机交互在这一应用场景上发挥的作用进行过充分讨论,更没有形成统一的多通道交互模型.为此,首先分析了目前移动设备上主流的神经功能评价方法,归纳总结出了一套适用该应用场景的交互原语和交互任务.然后,在此基础上提出了移动环境下神经功能评价多通道人机交互模型——MINA（multimodal human-computer interaction model for nerve function assessment in mobile environment),并对该模型的移动医学评价和多通道融合特点进行了分析.最后,依据此模型给出神经系统疾病检测的应用实例.实践证明,MINA能够较好地指导交互式神经功能评价应用的设计和开发,多通道融合的方式能够有效地提高医学评价的准确度.     

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

基于视频与语音的多通道游戏用户界面系统

设计和实现了一套基于视频和语音的多通道游戏用户界面系统，以增强计算机游戏的交互性和游戏用户的沉浸感．系统新创建并有效地整合了基于视频与语音两种交互通道，其中包含脸部模型重建、头部姿态估计、汉语语音识别三个模块，可快速实现个性化的游戏角色脸部模型，并允许游戏用户使用头部姿态和语音命令实时控制游戏角色和游戏进展．测试和应用结果表明：该系统适用于普通游戏用户和实际游戏环境．     

Multimodal interfaces

In this paper, we present an overview of research in our laboratories on Multimodal Human Computer Interfaces. The goal for such interfaces is to free human computer interaction from the limitations and acceptance barriers due to rigid operating commands and keyboards as the only/main I/O-device. Instead we move to involve all available human communication modalities. These human modalities include Speech, Gesture and Pointing, Eye-Gaze, Lip Motion and Facial Expression, Handwriting, Face Recognition, Face Tracking, and Sound Localization.     

Multimodal control of sensors on multiple simulated unmanned vehicles

The use of multimodal (speech plus manual) control of the sensors on combinations of one, two, three or five simulated unmanned vehicles (UVs) is explored. Novice controllers of simulated UVs complete a series of target checking tasks. Two experiments compare speech and gamepad control for one, two, three or five UVs in a simulated environment. Increasing the number of UVs has an impact on subjective rating of workload (measured by NASA-Task Load Index), particularly when moving from one to three UVs. Objective measures of performance showed that the participants tended to issue fewer commands as the number of vehicles increased (when using the gamepad control), but, while performance with a single UV was superior to that of multiple UVs, there was little difference across two, three or five UVs. Participants with low spatial ability (measured by the Object Perspectives Test) showed an increase in time to respond to warnings when controlling five UVs. Combining speech with gamepad control of sensors on UVs leads to superior performance on a secondary (respond-to-warnings) task (implying a reduction in demand) and use of fewer commands on primary (move-sensors and classify-target) tasks (implying more efficient operation).

Statement of Relevance: Benefits of multimodal control for unmanned vehicles are demonstrated. When controlling sensors on multiple UVs, participants with low spatial orientation scores have problems. It is proposed that the findings of these studies have implications for selection of UV operators and suggests that future UV workstations could benefit from multimodal control.     

Multimodal Interaction for Information Access: Exploiting Cohesion

Multimodality is a powerful concept for dealing with dialogue cohesion in a human–computer natural language (NL)‐centered system. This work is a modest step toward more effective exploitation of the potentially large bandwidth of communication provided by this situation. The relations between exploration, navigation, and NL‐based communication are discussed in general and with reference to two prototypes. Light cognitive load feedback and direct manipulation are proposed so that user and system can cooperate in mutually establishing the structure of the ongoing dialogue. The main points are: (i) use of an appropriate dialogue structure to constrain inference in the anaphora resolution process; (ii) use of a graphical representation of the structure, to limit the problem of opacity; (iii) allowance for the possibility of direct manipulation on this representation, to avoid the necessity of operating linguistically at the metalevel. The context of the work is within NL‐centered multimodal information access systems, in which basic entities are pairs (most commonly question and answer). A dialogue model is provided by a modified version of the centering model; it is both sufficiently simple to be displayed in an intuitive fashion on the screen, and sufficiently powerful to give accurate results. An extension of the discourse model, oriented to the treatment of deixis, is also proposed. Finally, steps toward an overall approach to the integration of navigational and mediated aspects of interaction are discussed.     

Hand Motion Gesture Frequency Properties and Multimodal Discourse Analysis

Gesture and speech are co-expressive and complementary channels of a single human language system. While speech carries the major load of symbolic presentation, gesture provides the imagistic content. We investigate the role of oscillatory/cyclical hand motions in ‘carrying’ this image content. We present our work on the extraction of hand motion oscillation frequencies of gestures that accompany speech. The key challenges are that such motions are characterized by non-stationary oscillations, and multiple frequencies may be simultaneously extant. Also, the duration of the oscillations may be extended over very few cycles. We apply the windowed Fourier transform and wavelet transform to detect and extract gesticulatory oscillations. We tested these against synthetic signals (stationary and non-stationary) and real data sequences of gesticulatory hand movements in natural discourse. Our results show that both filters functioned well for the synthetic signals. For the real data, the wavelet bandpass filter bank is better for detecting and extracting hand gesture oscillations. We relate the hand motion oscillatory gestures detected by wavelet analysis to speech in natural conversation and apply to multimodal language analysis. We demonstrate the ability of our algorithm to extract gesticulatory oscillations and show how oscillatory gestures reveal portions of the multimodal discourse structure.     

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

一个基于Web浏览器的多通道网上购物界面NetShop

介绍了一个基于Web浏览器的多通道网上购物界面NetShop原型系统的系统结构及设计特点,这一系统是在对通用Web浏览器的多通道扩充的基础上,以网上购物为背景设计的多通道交互系统,系统通过采取基于上下文的查询,基于主通道的整合策略,语音反馈及补偿性输入等手段,为网上购物提供了一个自然的交互环境,在系统结构上采用了软插件技术,使得设计更为灵活,并为第三方的开发提供了一个开发性的接口。