普适计算模式下的人机交互

普适计算使得信息空间与人们生活的物理空间相融合,与此相应人机接口也将随之扩展到人们生活工作的整个三维物理空间.因此需要研究物理空间中的人机交互方式.在传统的计算模式下,交互环境的物理因素不影响人机交互.而在普适计算的模式下,用户和环境的物理因素将成为交互的重要因素,这将使人机交互的性质产生一系列的变化,其中包括:人机交互本质上是与信息空间的交互;交互接口扩展到日常生活的用品和环境;动态的人机交互上下文;蕴含人机交互.     

普适计算的人机交互框架研究

普适计算通过向用户提供透明的计算服务使其注意力回归到任务本身．它正在逐步发展成主流的计算模式．人机交互的效率和自然性是影响其发展的关键因素之一．文章从认知心理学的角度分析了用户在普适计算环境中的认知特征，论证了人类有限的认知是普适人机交互中的瓶颈，计算系统的交互模式必须适应用户的认知特征．据此提出了普适计算模式的Multimodal context-sensitive交互框架，对上下文信息和用户多通道主动输入信息进行无缝融合，作者将其在移动导游导航系统TGH中加以实现．用户评测结果初步证明该框架对于提高普适计算人机交互效率和自然性具有良好的效果。     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

无处不在的人机交互——下一代可见和不可见的用户界面

微软中国研究院王坚主任研究员多年从事人机交互作用、多通道用户界面及人类认知等方面的研究,他将为我们阐述这样一个观念:虽然至今还没有一种新的人机交互模式代替图形用户界面成为主流,但人们对新一代人机交互技术有了更深入的理解。我们可以相信,无论采用笔计算、言语计算或视觉计算,下—代可见与不可见的交互计算一定会以无所不在的人机交互方式来支持任何时候、任何地点的个人计算。     

虚拟装配中面贴合感知构造研究

人机交互是虚拟装配的一个重要特性和瓶颈技术，基于碰撞检测的交互无法满足桌面虚拟装配的实时需要，让虚拟环境感知复杂对象关系是解决人机交互问题的一条重要途径，提出了面贴合感知的实现机制，面贴合的感知模式和相应的感知算法，基于面贴合感知的人机交互摆脱了虚拟装配基于碰撞检测的交互模式，从而避免了碰撞检测算法的复杂度，实验证明面贴合感知增强了虚拟环境对装配过程中人的交互意图的理解，同时有效地保证了交互的实时性，是虚拟装配人机交互的有效手段。     

面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。     

多通道肺音数据分析的人机界面设计

多通道界面是利用多个输入通道而进行人机交互的接口，用来提高人机交互的自然性、和谐性和高效性。本文以作者承担的省基金项目“肺音识别与软件测试系统的研究”为背景，结合任务的具体特点，提出了一种面向对象的多通道界面的软件结构模型，在此基础上详细描述了肺音数据分析的人机交互的对话结构，讨论了一种多通道人机界面的设计方法，实现了具有多通道界面特点的肺音分析与处理的人机交互设计，结果表明本界面有较好的交互自然性和较高的交互效率。     

手持移动计算中的人机交互技术研究

叙述了在手持移动计算设备上的基于上下文感知的多通道交互模型、多通道汉字输入、移动计算中的小屏幕网络浏览策略等方面的研究成果。实现了一个智能导游系统TGH，对这些模型和方法进行了应用和测试。最后总结了手持移动计算中人机交互技术研究的一些结论。     

面向虚拟环境的装配体模型研究

人机交互是虚拟装配的本质特性和技术瓶颈，能反映交互过程的装配体模型构造，是虚拟装配领域的一个关键问题，给出一种时序的装配体模型，对时序的聚合关系、时序的约束关系以及时序的行为结构给出定义和分析，为实现该模型，还给出了零件的中间模型和对象复杂行为构造，同时对虚拟装配直接操作的交互过程、交互模式及装配工艺知识给出了时序的形式描述，这是连接人机交互与装配体模型以及模型与工艺生成的桥梁．一致的表示模型减少了交互装配信息的冗余性，有利于提高交互信息的复用，为交互生成工艺提出了新方法。     

基于3D Widgets的三维人机交互平台的设计与实现

随着人机交互技术的不断发展，对三维人机交互的支持在三维图形软件中占有越来越重要的地位，而在医学影像处理与分析领域，它对于更方便、准确地使用可视化的结果辅助医生进行诊断具有重要意义。该文针对医学影像处理与分析领域中三维交互的需求与特点，设计并实现了一个基于3D Widgets的三维人机交互软件平台，包括以3D Widgets为核心的交互框架、各功能模块以及一些实用的Widgets的设计和实现，并给出了一组应用实例。其最终目的是为医学影像处理与分析领域提供一个灵活可靠和可扩展的三维交互平台。     

移动环境下神经功能评价多通道交互模型

随着平板电脑、智能手机、智能手表等智能移动设备的普及,利用便携的智能移动设备随时随地进行健康评价受到了国内外学者的广泛关注.人机交互特有的多通道、交互式、人机协同的计算能够有效地提高移动环境下神经功能评价的准确度.然而,目前很少有研究对人机交互在这一应用场景上发挥的作用进行过充分讨论,更没有形成统一的多通道交互模型.为此,首先分析了目前移动设备上主流的神经功能评价方法,归纳总结出了一套适用该应用场景的交互原语和交互任务.然后,在此基础上提出了移动环境下神经功能评价多通道人机交互模型——MINA（multimodal human-computer interaction model for nerve function assessment in mobile environment),并对该模型的移动医学评价和多通道融合特点进行了分析.最后,依据此模型给出神经系统疾病检测的应用实例.实践证明,MINA能够较好地指导交互式神经功能评价应用的设计和开发,多通道融合的方式能够有效地提高医学评价的准确度.     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

面向动态交互场景的计算模型

随着人机交互技术不断发展,包含动态内容的交互系统,如虚拟/增强/混合现实、视频监控系统 等,逐渐占据主要地位。面向动态交互场景的计算模型受到了越来越多的关注,大量的计算模型被提出,加强了 人们对动态用户界面的认识和理解。然而,现阶段,面向动态交互场景的计算模型研究仍在问题复杂度、解释性、 交互底层机制描述上存在诸多问题,极大地限制了动态模型研究的发展和应用。本文通过对面向动态交互场景的 计算模型的研究现状进行分析,对当前存在且急需解决的问题进行了梳理,并给出了领域未来发展的看法,旨在 抛砖引玉,为今后面向动态交互场景的计算模型研究提供参考。     

人机交互中的智能体情感计算研究

机器的情感是通过融入具有情感能力的智能体实现的,虽然目前在人机交互领域已经有大量研究成果,但有关智能体情感计算方面的研究尚处起步阶段,深入开展这项研究对推动人机交互领域的发展具有重要的科学和应用价值。本文通过检索Scopus数据库选择有代表性的文献,重点关注情感在智能体和用户之间的双向流动,分别从智能体对用户的情绪感知和对用户情绪调节的角度开展分析总结。首先梳理了用户情绪的识别方法,即通过用户的表情、语音、姿态、生理信号和文本信息等多通道信息分析用户的情绪状态,归纳了情绪识别中的一些机器学习方法。其次从用户体验角度分析具有情绪表现力的智能体对用户的影响,总结了智能体的情绪生成和表现技术,指出智能体除了通过表情之外,还可以通过注视、姿态、头部运动和手势等非言语动作来表现情绪。并且梳理了典型的智能体情绪架构,举例说明了强化学习在智能体情绪设计中的作用。同时为了验证模型的准确性,比较了已有的情感评估手段和评价指标。最后指出智能体情感计算急需解决的问题。通过对现有研究的总结,智能体情感计算研究是一个很有前景的研究方向,希望本文能够为深入开展相关研究提供借鉴。     

交互式桌面及其相关技术研究

交互式桌面Tabletop现已成为人机交互领域的一大研究热点。在对现有Tabletop硬件平台和交互技术全面调查和深入分析的基础上,深入探讨Tabletop的发展方向及其关键技术,其中着重分析了物理仿真和空间交互技术在提高Tabletop自然交互方面的重要性。该课题的研究有助于新型Tabletop交互系统的设计和评估,同时也将对普适计算、自然用户界面等相关研究领域起到重要的借鉴作用。     

基于肌肉感知的手势交互模型

在人机交互技术由以计算机演化为以人为中心的背景下,通过感知肌肉活动的手势识别方法,因其可穿戴性、隐式交互性和可靠性的特点在近几年得到了人机交互研究领域的高度关注.但目前的相关研究缺乏统一的语义分析模型和系统模型支持研究和开发.为此,分析讨论了交互手势的分类并归纳总结出适合肌肉感知方法的输入原语,提出基于肌肉感知的手势交互语义分析模型和分层处理的系统结构模型,旨在提高该类型交互应用的研究和开发工作效率.最后分析了办公室环境下的操作手势交互应用场景,给出了该语义分析模型和分层系统结构模型的应用实例.     

感知媒体--机器感知与人机交互

1　IntroductionThe interface between people and computershas progressed over the years from the early daysof switches and LEDs to punched cards,interactivecommand- line interfaces,and the directmanipula-tion style of graphical user interfaces.The“desk-top metaphor” of graphical user interfaces,a.k.a.WIMP interfaces (for Windows,Icons,Menus,and Pointing devices) ,has been the standard inter-face between people and computers for manyyears.Of course,software and technology for hu-man- compu…     

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.