手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

无菌条件非接触式多通道自然交互手术环境

无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,以及主治医生和助理间可能存在的意图理解不准确,容易导致护士或者手术助理在手术室和计算机操作室往返多次,这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险,尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求,借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别,多模态信息处理与融合技术,构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中,建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下,可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证.     

多通道用户界面

随着近年来计算机技术和INTERNET技术的飞速发展,用户界面由于其对最终用户使用的影响及对计算机推广应用的影响,已经越来越显现出它的重要性.多通道用户界面使用多种交互设备,通过多种交互方式的协作和互补,提高了交互效率,增进了交互自然性.首先介绍了多通道用户界面的概念以及各种交互技术,最后介绍了多通道用户界面的发展前景.     

面向自然交互的多通道人机对话系统

人们在对话过程中,除了使用口语交互外,还会很自然地利用表情、姿态等多模态信息辅助交流。重点分析并阐述了如何将这些多模态交互方式有效地融合到人机对话模型中,并实现一个面向自然交互的多模态人机对话系统。首先根据不同通道(如情感、头姿)对语音交互的影响,将它们主要分为信息互补、信息融合和信息独立3种模式,并针对3种模式分别采用不同的方式实现输入信息的多模态融合。信息融合后的对话管理,采用有限自动机、填槽法和混合主导方式的对话管理策略。针对对话中的情感处理,提出一种情感状态预测网络来记录用户的情感变化,并根据话语的轮转的不同对话上下文对用户情绪变化进行及时反馈,该对话模型能比较灵活地处理用户在对话过程中呈现的多模态信息。信息输出方面,针对人机对话中较为常用的数字虚拟人的行为控制,提出了一种简化的多模态协同置标语言,实现了虚拟人的包括情感、姿态与语音的同步表达,提高了虚拟人的表现力。最后基于以上关键技术,实现了一个面向城市路况信息查询的多模态自然人机对话系统。多个用户的体验表明,相对于传统的语音人机对话模型,多通道自然人机对话系统能有效提高用户交互的自然度。     

基于多模态交互的智能车载助手设计研究

为探究多模态交互方式在智能车载助手设计中应用的可能性及其流程与方法，提升用户驾驶过程中的情感体验，文章以当下互联网与物联网技术的智慧交通趋势和多模态交互方式为背景，通过对多模态交互方式的元素进行分析和调研，总结用户驾驶过程中的行为需求，构建用户体验旅程图。并进一步探究多模态交互方式在智能车载助手中的设计应用触点，建立智能车载助手的多模态交互设计框架。该框架基于用户在驾驶过程中的行为痛点，充分采用多模态交互方式，将面部识别、视觉呈现、语音交互、触控交互、手势交互等多元的表征方式进行了有效的组合，在保证多模态交互平衡的条件下充分调动用户视听触嗅等多感官属性协调作用，使智能车载助手在与人交互的过程中更加趋于真实自然，为智能车载助手未来的用户体验设计创新提供了新的思路。     

普适计算环境中基于群组特性的业务流程管理

局限于桌面设备的交互模式是制约业务流程管理在普适计算环境中广泛应用的主要因素.此外,日趋复杂和灵活的群组活动已成为当前企业业务流程的一个突出特点.传统的工作流管理系统从建模到运行对以上特性难以提供有效的支持.对通用工作流模型的表达能力和工作流运行机制进行扩展,设计并实现了一个具备用户多通道交互能力、支持多种群组协同活动的工作流管理系统.介绍了多通道交互的设计原理和针对群组活动的建模方法和运行机制,然后对应用中的一些结果和发现进行了讨论.     

普适计算环境下一种目标驱动的服务组合方法

普适计算环境的服务对用户来说是透明的,为了简化用户与环境的交互,提出了一种目标驱动的服务组合方法,建立面向任务目标的服务语义表示模型,并在此模型下进行动态的目标驱动的服务组合,实现用户目标.描述了一个模拟的应用场景,并结合应用场景说明了任务定义和服务组合的过程.该方法简化了用户与环境的交互,提高了普适环境下服务组合和协同的灵活性.     

基于多通道交互技术的计算机辅助需求分析系统的研发

近年来,人机交互向着认知系统方向发展,以便提供自然与有效的交互原则。认知系统依靠来自多个传感器的数据的处理和融合算法的结合,通过动态地适应外界环境来改善人机交互体验。本原型作品在现有的面向问题的计算机辅助软件需求工程(Computer-Aided Requirements Engineering,CARE)工具的基础上,以及在人机交互理论和设计原则的指导下,针对需求展示的场合,提出了一种基于手势操作的自然交互方式,并在追踪识别手势的过程中运用多通道技术辅助追踪,从而大大加快了追踪与识别的速度,提高了精确度,提供了更好的用户体验。     

基于MAS的智能用户界面建模

提出一种基于多Agent系统(MAS)的智能用户界面分层模型和交互框架。采用基于互信息的“化学键”模型解决多通道融合和多媒体展现问题,使用基于环境感知的“变色龙”机制实现移动的普适访问策略,利用经济学“市场”模型和Web服务技术实现P2P协同网格计算,并给出系统动态交互模拟的化学抽象机定义。应用实例表明,该模型能提供自然高效的交互模式,减少人机隔阂。     

面向普适计算环境的Android平台服务编排框架

普适计算环境下的智能移动设备是面向终端用户的服务资源聚集和编排的主要载体。普适计算环境中的服务资源具有多种不同的形态,包括基于互联网提供的Web服务、终端设备自身服务和资源(例如本地应用、自带传感器)以及所处环境中可访问的服务(例如环境传感器)。此外,不断变化的上下文环境对软件本身的自适应能力提出了新的要求,而移动设备上的服务编排受设备计算能力和资源的限制。为了解决上述问题,提出了一个面向普适计算环境的Android平台服务编排框架ASOF。通过ASOF,移动终端可在运行时获取所需业务流程的服务模板,并对该模板中的抽象服务进行服务绑定,实现轻量级的混合服务编排,使终端能够动态获得调用普适计算环境中各种类型的服务的能力。随后,基于OSGi Felix框架给出了一套ASOF的标准实现,并以一个具体案例验证其有效性。     

普适计算中间件技术的研究与进展

当前，普适计算已经成为计算机科学中一个极具活力和影响力的研究领域。普适计算环境规模很大并且具有高度异构性，如网络架构的异构性、硬件平台的异构性、操作系统的异构性、应用服务的异构性等，而普适计算中间件技术可以解决异构性和跨平台特征，提供不同服务的集成应用，因此成为普适计算中的一个研究热点。基于此，本文对于目前国外关于普适计算中间件技术的研究现状做了一个总结；通过分析和比较，给出了普适计算中间件的设计原则；探讨了普适计算中间件技术的未来发展方向。     

一种普适计算环境下基于语义的服务匹配算法

在普适计算环境中通过语义本体来表示环境中的概念进行服务发现可以提高服务发现的鲁棒性。给出了一种基于语义的服务匹配算法,根据不同的服务请求可以通过服务类型匹配、服务输入输出参数匹配和QoS参数匹配,实现了分层次、逐步过滤不匹配的服务。同时通过服务相似度的计算为服务请求者提供最满足需求的服务。实验结果证明该算法具有较高的匹配率和较好的匹配速度,完全适用于普适计算环境。     

普适计算环境下的虚拟机技术研究

普适计算环境中资源和服务利用率较低,传统应用程序在该环境下无法兼容。为此,提出一种适用于普适计算环境的虚拟机技术。使用设备请求代理屏蔽复杂的普适计算网络环境,对上层应用提供统一硬件平台,支持多个普适计算应用同时运行。实验结果表明,该虚拟化技术能兼容传统应用,提高普适计算资源和服务的利用率。     

A novel approach to visualize web anomaly attacks in pervasive computing environment

These days, a pervasive computing environment is a rapidly changing trend towards increasingly always-on connected computing devices in the convergence environment. In a pervasive computing environment, there are various multimedia web services and communications for various devices in order to provide interesting and invaluable information to users. Meanwhile, providing a wide variety of the web-based multimedia services and communications may cause various security threats and abnormal behaviors. In this paper, a multimedia visualization approach for pervasive computing environment is proposed which analyzes HTTP request and response header information to detect and visualize multimedia web attacks based on the Bayesian method. We conducted a few cases’ experiment for the verification of the proposed approach in a real environment. The experimental results such as web attack detection visualization, scanning and password attack visualization, and attacker’s position tracking visualization verify the usability of the proposed approach.     

普适计算软件体系结构研究

普适计算强调人、计算机以及环境的相互融合，这就对传统的软件技术提出了挑战。需要新型的软件架构与之相适应。本文以普适计算环境下的通用软件架构设计为目标，采用面向服务组件和分层次的设计原则，通过中心服务器的管理机制和服务整合的方法，提出了一种基于Kerberos认证机制的、面向服务的普适计算软件体系结构。这个软件架构的提出，解决了普适计算环境下设备的本地资源受限性、任务多样性、运行环境的异构性和访问的安全性等一系列问题；并将此软件架构应用于“普适计算智能办公系统”的软件实现中。     

基于信任的普适计算安全机制

在普通计算环境中，用户能够在任何时间任何地点访问资源，获得服务。但是这种无处不在性和移动性的环境带来了新的安全问题。资源的拥有者和请求者一般互相不知道。该文给出了主体的信任策略以及基于信仟的普适计算环境认证方法和访问拧制模型。     

普适计算环境下的网络管理

本文首先介绍了普适计算的基本概念;然后对当前经典的SNMP、CMIP等几种网络管理模型的基本原理和特点进行分析。在此基础上总结普适环境下网络管理的特点,建立了基于SOA、支持管理服务组合的普适网络管理参考模型。最后介绍了当前国内外有关普适计算的研究热点及未来的发展方向。     

面向普适计算的服务构件动态部署问题及算法

有限的资源是嵌入式应用的一个局限性,因此越来越多的嵌入式设备联网,通过共享资源为用户提供灵活的服务以适应普适计算的要求.以构件化嵌入式操作系统Liquid为背景,研究普适计算环境下多个服务构件动态部署问题,合理分配利用资源,克服单个嵌入式设备的资源局限性.首先对部署问题进行描述,然后给出服务构件动态部署的基本算法和启发式算法,并对启发式算法优化,最后通过算法模拟及数据分析算法的性能.虽然在Liquid系统上进行模拟实现,但算法具有通用性,启发式算法的效率分析表明,它适合设备或者服务构件数目较多的普适计算环境,在部署服务构件的同时提高服务准入成功率和资源的利用率.