基于用户认知能力的自助服务终端界面交互设计方法

大众用户认知能力的多样性问题一直是自助服务终端界面交互设计领域的一大挑战。基于分布式认知理论对自助服务终端界面交互活动进行分析和建模, 确定人机交互过程中交互活动和信息呈现之间的关系, 并在此基础上提出基于用户认知能力的自助服务终端界面交互设计方法。采用这种方法, 设计人员首先要进行用户调研, 识别出需要照顾的用户群体, 然后进行认知能力分析, 建立用户认知负荷模型, 接下来描述用户的交互行为, 确定基本的交互框架, 再运用通用可用性设计方法建立交互设计矩阵, 提出交互设计方案。以酒店自助服务终端为实例, 采用该方法制定设计方案, 通过与传统方法形成的设计方案进行对比, 验证所提设计方法的有效性。这种交互设计方法能够帮助设计人员开发易于大众用户理解和使用的自助服务终端界面, 降低用户的认知负荷, 更好地满足自助服务终端用户的认知多样性需求。     

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.     

VR 系统信息可视化模型

针对虚拟环境中用户认知负荷较重和资源分配不协调问题,综合分析了人脑认知 活动中信息的显性化表达,提出一种基于分布式认知的信息可视化资源模型。通过计算机感知 虚拟环境中用户动作、行为、任务等信息,依据资源分配方案确定资源和信息之间映射关系, 并以信息表象的形式贮存;通过对信息表象进一步精致化,实现交互界面视觉元素的优化布局; 本文结合眼动追踪设备对VR 系统原型进行可用性评估实验,实验结果表明该可视化模型能够 降低用户认知负荷,改善用户体验。     

认知Wi-Fi 2.0 无线网络多用户动态分层功率控制算法

具有认知性、自主性和适变性等特点的认知Wi-Fi 2.0无线网络技术,作为提高无线网络容量的重要技术不断引起学术界、标准组织和工业界的关注.针对现有功率控制技术不能刻画多个认知节点存在分层决策的现象,提出一种认知Wi-Fi 2.0无线网络中多用户动态分层功率控制算法.基于提出的斯坦科尔伯格(Stackelberg)容量最大化博弈模型,为认知Wi-Fi 2.0无线网络中感知信息不对称的多用户分别设计了分布式功率控制方法,实现领导者用户和跟随者用户的多阶段动态交互在保证个体效用的同时实现网络整体性能.该算法根据当前认知Wi-Fi 2.0无线网络中多个认知节点接入频谱顺序的不同,确定领导者用户和跟随者用户;然后,对于领导者和跟随者分别采用不同的功率控制策略,并多次交互实现多用户分层算法的动态交互收敛.蒙特卡洛仿真验证了算法的有效性.     

面向自然交互的多通道人机对话系统中答句自动生成方法

多通道自然人机对话系统要求计算机能够对用户的语句产生智能应答,传统的人机对话系统由于知识库的限制以及用户话语的随意性,当对话内容超出知识库范围时,系统将无法应答或产生与用户期望不符的回答,这在一定程度上影响了人机对话系统用户的体验感.为了解决该问题,提出了一种融合多模态历史交互信息和面向数据的句法分析(data-oriented parsing,简称DOP)模型的最优答句生成方法:首先从大规模句法树库中提取上下文无关文法的语法规则,然后结合对话过程中用户呈现的表情、姿态等多模态历史交互信息,融合DOP模型对上下文无关文法生成的汉语句子进行过滤,最终生成一个符合语法规则且符合语义的答句返回给用户,让计算机在无法获得知识库支撑时,根据交互历史信息生成应对当前对话的语句,有效地提升了多通道自然人机交互系统用户的体验感.该方法应用于交通信息查询以及咖啡厅的多主题多模态人机自由对话系统.用户的体验表明,该方法能够有效提高用户交互的自然度和体验感.     

基于具身认知的博物馆自然交互设计研究

具身认知强调了身体-环境-认知之间的相互联系，主张在特殊环境中身体的感知状态与物理属性对认知的形成有根本影响，为传统展示形式造成用户感知受限的博物馆环境中的自然交互设计研究提供理论参考。文章从具身认知视角出发探索博物馆中的自然交互设计方法，首先采用VOSViewer软件分析具身认知设计近几年相关研究热点与发展趋势，结合用户旅程图法分析现阶段博物馆自然交互展示的痛点与触点，利用具身认知理论提出情景重构、行为沉浸和知觉延伸的具身交互设计策略，最终通过新加坡天福宫具身交互设计作品验证博物馆自然交互设计方法。     

一类面向多目标决策的分层情感认知模型

决策者的情感认知对于复杂多目标决策具有关键的作用, 为了能使计算机掌握决策者的决策情感认知规律, 提升计算机辅助多目标决策的能力, 提出一种融合了性格特征、心境状态和情感状态的多层情感认知模型. 描述决策者在处理复杂决策问题时的情感状态量化关系, 运用分层情感认知模型构建集感性和理性于一身的虚拟人, 代替决策者完成对多目标优化问题的交互决策求解. 实例分析验证了所提出模型的有效性.

     

面向自然交互的多通道人机对话系统

人们在对话过程中,除了使用口语交互外,还会很自然地利用表情、姿态等多模态信息辅助交流。重点分析并阐述了如何将这些多模态交互方式有效地融合到人机对话模型中,并实现一个面向自然交互的多模态人机对话系统。首先根据不同通道(如情感、头姿)对语音交互的影响,将它们主要分为信息互补、信息融合和信息独立3种模式,并针对3种模式分别采用不同的方式实现输入信息的多模态融合。信息融合后的对话管理,采用有限自动机、填槽法和混合主导方式的对话管理策略。针对对话中的情感处理,提出一种情感状态预测网络来记录用户的情感变化,并根据话语的轮转的不同对话上下文对用户情绪变化进行及时反馈,该对话模型能比较灵活地处理用户在对话过程中呈现的多模态信息。信息输出方面,针对人机对话中较为常用的数字虚拟人的行为控制,提出了一种简化的多模态协同置标语言,实现了虚拟人的包括情感、姿态与语音的同步表达,提高了虚拟人的表现力。最后基于以上关键技术,实现了一个面向城市路况信息查询的多模态自然人机对话系统。多个用户的体验表明,相对于传统的语音人机对话模型,多通道自然人机对话系统能有效提高用户交互的自然度。     

面向智能电视的隐式手势交互建模与算法

针对基于视觉的智能电视手势交互中用户认知负荷和操作负荷较重的问题,提出融合显式交互和隐式交互的手势交互算法.通过对基于视觉的智能电视手势交互场景分析,首先建立了基于用户行为和智能电视状态的多层次上下文模型,实现上下文的数据融合与特征提取;其次设计并实现了CDL-DFCM推理模型和显隐信息融合的隐式交互模型,识别交互情景事件并感知用户意图;最后实现用户与智能电视的隐式交互.实验结果表明,与现有算法相比,该算法在操作准确率、时间开销和手势移动距离等方面得到了明显改善,并有效地提升了用户体验.     

基于认知负荷的雷达任务编排系统交互设计研究

本文从交互设计要素入手,以降低用户的认知负荷水平、提高人机系统工作绩效为目的,对雷达任务编排系统界面的设计展开研究。以某雷达任务编排系统为研究载体,提出了交互设计策略和方法,并进行交互设计实践。最后通过NASA-TLX主观量表和任务绩效法对设计前后的系统分别进行对比测试。实验结果显示,在重新设计的任务编排系统中,被试的认知负荷明显低于原系统,证明了设计策略的有效性。     

多模态人机交互综述

多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。本文系统地综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的研究进展以及国内外研究进展比较。本文认为拓展新的交互方式、设计高效的各模态交互组合、构建小型化交互设备、跨设备分布式交互、提升开放环境下交互算法的鲁棒性等是多模态人机交互的未来研究趋势。     

ACL重建手术增强现实导航系统的人机交互技术

为避免人机界面的多余信息给医生带来的“失控感”,以医生在手术中的认知模型为基础,提出了增强现实手术导航系统中的人机交互的准则。针对AR导航界面的多感官信息融合问题,提出基于eGOMS模型的人机交互范式。为客观评价AR导航系统的人机交互可用性,采用层次分析法构建人机交互的可用性评价指标体系,并采用模糊理论对AR导航系统的人机交互可用性进行综合评价。该系统的评价结果为较好,可以进行实际应用。     

引入力触觉的数字文物多模交互方法

目的 针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要。通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架。在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合。方法 在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建"旋转"和"选择-移动-释放"两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感.结果 使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评。实验结果表明：运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效。结论 本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果。     

Two-handed tangible interaction techniques for composing augmented blocks

Modeling tools typically have their own interaction methods for combining virtual objects. For realistic composition in 3D space, many researchers from the fields of virtual and augmented reality have been trying to develop intuitive interactive techniques using novel interfaces. However, many modeling applications require a long learning time for novice users because of unmanageable interfaces. In this paper, we propose two-handed tangible augmented reality interaction techniques that provide an easy-to-learn and natural combination method using simple augmented blocks. We have designed a novel interface called the cubical user interface, which has two tangible cubes that are tracked by marker tracking. Using the interface, we suggest two types of interactions based on familiar metaphors from real object assembly. The first, the screw-driving method, recognizes the user??s rotation gestures and allows them to screw virtual objects together. The second, the block-assembly method, adds objects based on their direction and position relative to predefined structures. We evaluate the proposed methods in detail with a user experiment that compares the different methods.     

虚拟现实中手重映射的偏移检测阈值研究

针对虚拟现实交互（virtual reality interaction,VRI）中环境限制导致使用手的操作效率较低的问题,提出了虚拟现实中手重映射的固定偏移检测阈值估计方法以提高使用手的操作效率,该方法从人的心理感知出发,引入心理测量函数计算出偏移检测阈值从而提升交互体验。首先,根据双选择强制选择（two alternative forced choice,2AFC）理论设计实验,记录被试者使用不同偏移的虚拟手完成目标抓取任务过程中的感觉差异作为评价标准,同时记录被试者完成任务的时间,根据心理测量函数（Quickpsy）对感觉差异进行计算,估计重映射交互的检测阈值;通过协方差确定虚拟手偏移量超过阈值后的方向、幅度和轴向及其相互作用是影响触碰任务性能的显著因素,若在阈值范围内,上述因素就不再影响任务性能;最后,以某VR（virtual reality,虚拟现实）医院物资智能配送系统为例验证所提方法的可行性。研究结果表明,适当的偏移缩短了用户完成触碰任务的时间,能够在提升交互效率的同时降低传统偏移量计算方法对VR的交互保真度的影响。     

基于虚拟现实技术的车床仿真系统

基于开发CA6132型车床虚拟教学软件的目的,采用了虚拟仿真的方法,开发了带有虚拟现实特征的车床教学系统软件.提出了虚拟车床开发的一般流程,阐述了矫正图像的立面分割技术,开发了基于Unity3D引擎软件的虚拟车床仿真系统,解释了虚拟现实的基本原理,建立了CA6132型车床的三维模型,提出了在Unity3D下车床加工的仿真方法,开发了基于虚拟现实设备zSpace虚拟现实车床仿真系统,提出了虚拟现实的场景交互方式,降低了实际车床操作的危险.     

基于云模型的人—虚拟角色思想交互模型

基于情感、动机的非语言交互是影响人—虚拟角色交互效果的重要因素,提出了基于云模型的人—虚拟角色非语言交互模型。以尊敬的交互为例,设计了基于云模型的三级尊敬分级模型,提出了基于云模型的交互按钮设计方法。提出了尊敬按钮云滴归属算法,使虚拟角色理解尊敬的过程符合人类认知的不确定性;提出了基于二维鞠躬尊敬云的鞠躬控制算法,随机产生鞠躬最大角和低位保持时间,刻画鞠躬表达尊敬的不确定性。算法分析和交互合成效果表明,所提方法能够刻画交互双方对非语言信息理解的模糊性和随机性。     

3DGIS与多视频融合系统的设计与实现

针对目前基于视频融合的增强现实系统不能为用户提供感兴趣点及其周围综合地理信息的问题,开发一种3 DGIS与多视频融合的系统.介绍3DGIS与多视频融合的系统的框架,研究基于投影纹理映射的虚实融合技术、三维重建技术,实现多路视频信息与三维场景模型、地理信息、地物的各种属性信息的融合.