普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

电子沙盘应用的多通道交互系统设计与实现

多通道交互技术是人机交互研究领域的一个重要方面。将多通道交互技术应用于电子沙盘中,为指挥人员提供自然、高效的交互方式,必将大大提高指挥人员的指挥效率。文中采用模块化的思想描述以电子沙盘为平台的多通道交互系统架构,重点阐述了任务分析验证和多通道整合方法。其中任务分析与验证主要实现基于原子操作的交互任务模板构建和操作安全验证;多通道整合则基于任务模板最优匹配方法实现桌面协作机制。并基于上述设计实现了一个态势研讨原型系统。     

基于上下文的多通道语义融合

多通道交互已经成为人机交互领域一个重要的研究方向,对多通道输入的信息进行语义融合是其中的关键问题.提出了一种将上下文与传统语义融合相结合的方法,并将这一方法应用在面向儿童使用的讲故事原型系统中.儿童通过受限的自然语言、笔的勾画等方式进行故事创作.结果表明,笔和语音结合的多通道交互方式能够使得儿童更方便、自然地与计算机进行交互,结合上下文的语义融合方法能够在一定程度上修正输入错误.     

任务制导的多通道分层整合模型及其算法

多通道整合是多通道交互系统的核心,旨在对来自不同通道的信息进行合一化处理,最终向计算机正确传达用户意图。围绕多通道整合问题,通过分析多通道输入信息流的特点,提出了一种任务制导的、分层的整合模型及相应算法,改变了通道间输入信息对时间的依赖方式,使人机交互更为自然和高效,该整合机制与宿主系统及交互设备无关,具有良好的通用性。     

多通道人机界面设计及应用

人机界面设计和开发已经成为国际计算机界最为活跃的研究方向,多通道交互作为人机界面的一种技术,因为适应"以人为中心"的自然交互准则而得到了迅速发展.在图形用户界面基础上进行多通道设计,提出了"基于剧情的设计"方法,以ATM取款操作为例进行介绍,操作顺序有所改进,相比传统的ATM系统具有更好的易用性.     

浅析以用户为中心基于情况的人机界面设计方法和应用

人机界面设计和开发已经成为国际计算机界最为活跃的研究方向,多通道交互作为人机界面的一种技术,因为适应"以人为中心"的自然交互准则而得到了迅速发展.在图形用户界面基础上进行多通道设计,提出了"基于剧情的设计"方法,以ATM取款操作为例进行介绍,操作顺序有所改进,相比传统的ATM系统具有更好的易用性.     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

用户认知驱动的VR自然交互认知负荷研究

针对目前虚拟现实自然交互系统中用户认知负荷难以量化问题,以量化认知负荷为目的,提出一种基于概率神经网络的多通道信息融合模型。首先根据认知理论建立“认知—行为—环境”框架,并在此基础上研究用户认知的数学表征（方法,过程,机理）,构建多通道认知模型;然后将多通道信息融合方法引入虚拟现实自然交互系统,建立一种面向虚拟现实自然交互系统的认知负荷模型;通过VR隧道应急救援系统实验对系统中用户认知进行验证。验证结果表明,具体提出的认知负荷模型具有一定的可行性。     

手持移动设备中多通道交互的通用开发框架

提出的多通道交互通用开发框架可以快速地开发出支持多通道交互的应用,也可以将已经存在的应用快速更改为多通道交互应用;基于此理论,设计和实现了一种支持手写笔和语音输入的多通道家电开关控制系统.具体地阐明了实际开发中应该重点注意的环节,希望能够对当前手持移动设备的多通道交互化有所借鉴.     

基于任务的多通道整合设计与实例

多通道人机交互技术的研究旨在为计算机用户提供一个方便高效的人机交互环境。     

城市规划中基于IS的多通道分层整合方法

提出一种基于交互语义的多通道分层整合方法,该方法结合概率以及时间约束等内容,从多通道的输入信息中捕获用户交互意图,形成交互任务。将其应用于虚拟环境中,根据实际需求设计并实现多种多通道交互技术,同时举例分析其整合过程。仿真实验结果表明,该方法是有效可行的。     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

多通道界面软件结构模型及整合算法

多通道界面是利用多个输入通道进行人机交互的新一代人机界面，旨在提高人机交互的自然性和高效性，本文首先阐述了多通道界面的概念和研究问题，然后提出评价多通道界面人机交互效率的一种机制，结合面向任务的观点提出了一种多通道界面的软件结构模型，在此基础上实出一个具有多通道界面特点的原型系统（ＭＭＬ＿ＰＲＯ）并给出相应的通道整合算法，最后利用指出的评价机制对ＭＭＩ＿ＰＲＯ交互效率进行了定量评价。     

一个基于Web浏览器的多通道网上购物界面NetShop

介绍了一个基于Web浏览器的多通道网上购物界面NetShop原型系统的系统结构及设计特点,这一系统是在对通用Web浏览器的多通道扩充的基础上,以网上购物为背景设计的多通道交互系统,系统通过采取基于上下文的查询,基于主通道的整合策略,语音反馈及补偿性输入等手段,为网上购物提供了一个自然的交互环境,在系统结构上采用了软插件技术,使得设计更为灵活,并为第三方的开发提供了一个开发性的接口。     

面向图像文本的多模态处理方法综述

在深度学习领域,解决实际应用问题往往需要结合多种模态信息进行推理和决策,其中视觉和语言信息是交互过程中重要的两种模态。在诸多应用场景中,处理多模态任务往往面临着模型架构组织方式庞杂、训练方法效率低下等问题。综合以上问题,梳理了在图像文本多模态领域的近五年的代表性成果。首先从主流的多模态任务出发,介绍了相关文本和图像多模态数据集以及预训练目标。其次,考虑以Transformer为基础结构的视觉语言模型,结合特征提取方法,从多模态组织架构、跨模态融合方法等角度进行分析,总结比较不同处理策略的共性和差异性。然后从数据输入、结构组件等多角度介绍模型的轻量化方法。最后,对基于图像文本的多模态方法未来的研究方向进行了展望。     

An evaluation of multimodal interaction techniques for 3D layout constraint solver in a desktop-based virtual environment

We propose a new approach to the 3D layout problems based on the integration of constraint programming and virtual reality interaction techniques. Our method uses an open-source constraint solver integrated in a popular 3D game engine. We designed multimodal interaction techniques for the system, based on gesture and voice input. We conducted a user study with an interactive task of laying out room furniture to compare and evaluate the mono- and multimodal interaction techniques. Results showed that voice command provided the best performance and was most preferred by participants, based on the analysis of both objective and subjective data. Results also revealed that there was no significant difference between the voice and multimodal input (voice and gesture). Our original approach opens the way to multidisciplinary theoretical work and promotes the development of high-level applications for the VR applications.