融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

手持移动设备中多通道交互的通用开发框架

提出的多通道交互通用开发框架可以快速地开发出支持多通道交互的应用,也可以将已经存在的应用快速更改为多通道交互应用;基于此理论,设计和实现了一种支持手写笔和语音输入的多通道家电开关控制系统.具体地阐明了实际开发中应该重点注意的环节,希望能够对当前手持移动设备的多通道交互化有所借鉴.     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

多通道界面软件结构模型及整合算法

多通道界面是利用多个输入通道进行人机交互的新一代人机界面，旨在提高人机交互的自然性和高效性，本文首先阐述了多通道界面的概念和研究问题，然后提出评价多通道界面人机交互效率的一种机制，结合面向任务的观点提出了一种多通道界面的软件结构模型，在此基础上实出一个具有多通道界面特点的原型系统（ＭＭＬ＿ＰＲＯ）并给出相应的通道整合算法，最后利用指出的评价机制对ＭＭＩ＿ＰＲＯ交互效率进行了定量评价。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

云计算平台下移动商务交互模型设计与实现

在云计算平台下,设计并实现了移动商务的交互模型,通过集群的分布式计算,对前端客户需求实现资源的统一调度和分配,服务器的计算能力得到明显提高,实现了轻客户端的目的。依靠云计算的按需调用实现信息交互,服务器和客户端成为两个独立的单元,在客户端只需要一个浏览器就可以完成整个交易过程,保证了双方设计上的灵活性。经实验验证,采用交互模型实现移动商务,能够使服务资源得到最优分配,从而改善了交易方式,提升了用户体验。     

新型交互环境下移动数据库复制技术研究

随着移动手持设备的普及,人们对移动数据的实时处理和管理要求不断提高.提出一种新型的交互环境下针对关系型数据库的移动数据复制技术模型.利用该复制模型实现移动应用不需要处理复制的物理操作环节,而由现有的数据库管理系统来完成,其移动应用程序通过客户端与服务器间接口来定义、修改数据和功能.实例说明了该复制模型的可行性.     

基于多通道的B2C电子商务交互模型

在B2C电子商务中,一个有效的人机交互模型是吸引用户参与的重要手段。提出一个基于多通道信息的电子商务交互模型,将视觉、听觉及WIMP等多个信息通道结合起来,利用虚拟现实技术,通过使用虚拟的购物环境、顾客替身、导购员及商品的三维展示等来增强用户的购物体验     

多通道延时遥交互研究综述

多通道遥交互(Multimodal Tele-interaction,MMTI)旨在通过使用多种交互设备和协作方式,并利用多交互通道间的互补特性,以便有效传达和理解用户交互信息,提高交互效率,增进交互自然性,最终使用户能够以“预期的想法”完成遥交互任务。近年来,随着多通道遥交互的发展,人们对深空、深海和远程医疗的探索和开发不断增强,由于通信时延的约束,多通道遥交互面临着交互异步和通道缺失等问题,对用户行为、心理和认知等人素特性产生了根本影响,切断和阻碍了交互通道的连续性、实时性和自然性,降低了交互的用户体验,并进一步影响了系统的有效性,因此迫切需要对大时延约束下的多通道遥交互技术进行研究。分析了国内外研究现状,给出了遥交互的一个定义,讨论了遥交互研究问题和关键技术(包括时延、异步和缺失问题),讨论了其关键应用领域,最后展望了遥交互的发展趋势和研究挑战。     

普适计算环境下基于移动Agent的分布式交互方法

为提高普适计算环境下人机交互的透明性和持久性,提出一种基于移动Agent的分布式交互方法,用户通过由移动Agent实现的交互Agent在网络中进行交流。交互Agent代表用户作为交互的对等实体,根据需要在网络中迁移并保持交互状态,通过可定制的各种行为和协同运作方式实现不同的交互应用。该方法能够实现交互实体之间透明的、智能的、可移动的交互过程,提供及时的交互服务和灵活的信息共享方式。     

人机交互的进展及面临的挑战

叙述了人机交互的最近进展,尤其是我国的一些优秀成果,包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化;并论述了无所不在计算等对人机交互提出的挑战．最后发表了若干看法。     

人机交互中的视点跟踪技术

首先介绍了视点跟踪技术的基本概念及其分类,然后对视点跟踪技术的现状和主要技术进行了详细的描述,最后给出了视点跟踪技术的应用前景.     

人机交互中的场景开发

场景是人机交互HCl(Human—Computer Interaction)中的重要技术。文章针对交互系统设计中通常存在的问题，比较深入地分析了基于模型的人机交互过程，对任务分析中场景的作用、应用、包含内容作了较深入的探讨。结果说明场景开发是交互系统深入研究、成功开发的关键步骤之一。     

移动分布式环境下的可信构件模型

讨论当前构件模型在移动分布式环境中的缺陷,在此基础上,将反射技术与软件契约式设计思想相结合,提出一种在移动分布式环境下具有上下文感知功能的可信构件模型——MDETCM,并对其进行描述。给出该模型的具体实例,并对其进行性能测试,结果表明,构件执行任务的成功率得到提高。     

空间增强现实中的人机交互技术综述

空间增强现实是增强现实的三大形式之一,它利用投影等方式在物理空间中增强显示虚拟内容.在空间增强现实系统中,用户可以在物理空间与虚拟内容交互,具有良好的环境感知、空间感知与协同感知,交互任务执行过程中认知负荷低.首先以空间增强现实显示方式为例,通过其系统架构介绍空间增强现实的技术原理;然后将空间增强现实中的人机交互技术分...     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

面向儿童的多通道交互系统

设计和实现了一个基于笔和语音的面向儿童的多通道三维交互系统.系统中包含了基于笔和语音的交互信息整合框架,用来整合儿童输入的笔和语音信息.同时,系统中定义了一些基于笔和语音的交互技术,可以支持孩子们以自然的方式,通过笔和语音同系统进行交互.用笔来勾画三维的场景和小动物等实体,同时用笔和语音同场景和场景中的实体进行一定的交互.     

工业环境下的人机交互状态数据仿真研究

传统人机交互状态数据模拟过程数据视域特征采集不准确、数据模拟不连续,导致人机交互状态数据检测能力偏低,提出基于模糊关联聚类分析的人机交互状态数据模拟及挖掘方法.采用定量递归分析法完成数据模糊关联聚类.利用关联特征分布序列调度法,得到人机交互状态数据的规则训练集.在模糊扰动约束下,得到人机交互状态数据的聚类目标函数.采用...     

Multimodal Interfaces for Cell Phones and Mobile Technology

By modeling users' natural spoken and multimodal communication patterns, more powerful and highly reliable interfaces can be designed that support emerging mobile technology. In this paper, we highlight three different examples of research that is advancing state-of-the-art mobile technology. The first is the development of fusion-based multimodal systems, such as ones that combine speech and pen or touch input, which are substantially improving the robustness and stability of system recognition. The second is modeling of multimodal communication patterns to establish open-microphone engagement techniques that work in challenging multi-person mobile settings. The third is new approaches to adaptive processing, which are able to transparently guide user input to match system processing capabilities. All three research directions are contributing to the design of more reliable, usable, and commercially promising mobile systems of the future.     

用改进的ART-2网络建立移动机器人环境模型的研究

本文应用自适应共振理论中ART-2 神经网络进行移动机器人环境障碍模式识别.ART-2 神经网络在处理单方向渐变的模式输入时具有模式漂移的特点,机器人在静态环境中运动依赖这种特点,但在动态环境中模式漂移的特点却会对机器人的安全造成威胁.为此,设计了一种改进的ART-2 神经网络,使得移动机器人同时适应在静态和动态环境中安全运动.􀁱 􀁾