手势操控车载信息交互系统研究

目的对驾驶过程中的交互任务进行分析。方法通过车载场景下的基于RGBD传感器的手势识别方法和多通道反馈分析方法进行分析。结果以手势操控作为车载信息系统的交互方式,采用多通道的反馈方式来反馈交互过程中的状态、结果以及错误,设计手势操控车载交互系统的多通道反馈方案,以及车载交互系统的手势操控集。结论实验结果表明,基于手势操控的车载信息交互系统可以有效提高操作效率和驾驶安全。     

晃动环境下触摸屏手势操作的可用性研究

研究晃动环境下触摸屏手势的可用性。该实验通过两因子组内组间混合设计的人因实验,测试不同空间感知能力的受测者(N=24)在三种晃动环境(静态、轻微和中度晃动)完成五种不同触摸手势任务(即拖动、放大、缩小、单指旋转和双指旋转)的操作绩效和心智负荷。实验数据通过重复测量的方差分析方法处理。结果表明,晃动环境下触摸手势操作绩效与静态条件下保持一致,晃动环境下手势操作的心智负荷高于静态条件。空间感知能力对放大手势操作绩效有显著影响,对其他触摸手势操作影响不大。晃动环境和空间感知能力之间的交互作用不明显。实验结果可为晃动环境下触屏系统触摸手势的使用和配置提供参考依据。     

面向VR放置任务的自然手势交互时间的预测

为了在虚拟现实（virtual reality，VR）环境中准确模拟用户的放置任务和避免由交互设备抖动等因素导致的放置精度低的问题，利用自然手势进行交互，并提出一种基于改进Fitts定律的面向VR放置任务的自然手势交互时间的预测方法。首先，构建了“手势交互—VR环境—VR交互任务”的交互逻辑，建立了自然手势与交互任务之间的语义映射关系；其次，根据自然手势设计原则，进行了面向VR放置任务的自然手势交互实验；然后，结合VR放置任务的特点，将移动距离、目标物容差和移动物体大小融入经典Fitts定律，建立了基于改进Fitts定律的自然手势交互时间预测模型；最后，对实验数据进行回归分析。回归分析结果显示：基于经典Fitts定律拟合得到的相关系数R²=0.515，交互时间的预测值与真实值存在较大偏差，表明经典Fitts定律不适用于面向VR放置任务的自然手势交互时间的预测；基于改进Fitts定律拟合得到的相关系数R²=0.970，交互时间的预测值与真实值相吻合，表明改进Fitts定律具有良好的适用性，可准确预测面向VR放置任务的自然手势交互时间。研究结果丰富了VR交互方式，并可为VR环境中人机交互界面的设计提供指导。     

基于人类行为学的触屏手机手势交互设计研究

目的 从人类行为学角度对产品的使用特点进行研究,探讨符合使用者操作触屏手机习惯的人性化交互设计方法。方法 对志愿者的手部尺寸及其对触屏手机手势交互操作进行统计分析,完成从定量到定性的实验及分析;根据实验及分析结果,以用户体验为中心,遵循人类行为学原则,提出触屏手机手势交互设计人性化存在的问题,并研究得出优化设计方案。结论 给出两个基于人类行为学的触屏手机虚拟键盘设计方案,将触控面积提高到现有手机的2.19倍;简化操作步骤,增强键盘录入的效率、准确性和易用性。     

面向自然交互的声音通感设计研究

目的基于通感认知探究声音要素对用户感知的影响,为人机交互中的声音反馈提供设计指导。方法基于通感的意向图式理论,设置三维手势对声音的同步运动实验,以量表对声音指向性进行评价,并以手势动作对声音的主观感知进行表达,统计分析实验数据,结合用户手势分析声音要素变化对用户体验的影响。结果声音的要素变化导致用户对声音的感知发生变化,从而影响用户的交互行为,响度和音调是主要影响因素。结论低音音调和中度响度要素的声音能给予用户较好的声音感知体验,自然交互中,声音反馈的应用可以引导用户进行有效的交互,提升用户的交互效率和操作体验。     

混合现实电子沙盘虚拟对象的手眼协同交互设计研究

目的 面向混合现实电子沙盘虚拟3D对象,开展3D交互性能与用户体验研究与评估,提出交互设计原则和设计建议。方法 针对混合现实环境下双手可触范围外的虚拟对象“选择”任务开展交互设计研究,引入虚拟对象布局排列方式作为评估变量,在3种典型的虚拟对象布局情况下,分别进行手控光线、头动、眼动与手势协同的3种交互方式性能及用户体验对比研究。通过设计原型实验系统,进行用户体验测试,实验数据分析与评估,验证交互设计原则,提出交互设计建议。结论 实验结果显示眼动与捏合手势结合的手眼协同交互方式在时间、任务负荷及用户偏好方面都具有显著优势。手控光线与手势协同交互的准确性最优,并且这一优势在任何一种布局方式中都有所体现。建议混合现实环境下的“选择”任务交互设计要注重功用性、持续性和愉悦性原则,提出了降低“选择”任务交互的工作负荷与疲劳及增强新颖交互提升愉悦性的设计建议。     

全息显控界面中多通道人机交互技术研究

目的解决传统座舱显控方式信息量大且操控复杂容易造成交互效率低的问题。方法提出了一种在全息显控界面下融合手势及语音的多通道人机交互系统设计方法,根据三维数字地图全息展示及交互特性,进行了任务划分和整体设计。通过构建全息界面多通道交互系统实验台,完成了基于Kinect的手势及语音模块和交互接口的设计,实现了三维数字地图全息展示中多通道人机交互的准确控制。结论工效实验表明,该交互方法比传统操控方法的效率提高了约17.5%。     

多通道融合下的手势识别算法研究及船舶虚拟交互平台设计

为促进船舶虚拟交互平台的人机交互方式向智能化转变,提出了一种多通道融合下的手势识别算法。在不同视角下采集手势图像并建立手势数据集;搭建基于YOLOv4目标检测算法的手势识别框架,分别对多视角手势图像进行识别,将多个识别结果通过一种多数据融合算法决策出最终手势识别结果。同时,设计了基于Unity3D的船舶航行虚拟场景,通过手势识别输出的指令实现对虚拟船舶稳定度平台的操作。实验测试了手势在复杂环境下该手势识别算法的鲁棒性,与基于YOLOv4的单视角手势识别方法的准确率进行了对比。实验结果显示:该手势识别算法能通过多数据融合剔除错误候选结果并保留最大置信度,在复杂环境下对手势的平均识别准确率达到95.06%。     

面向混合现实教学的空中手势交互体验设计应用研究

目的 对混合现实教学中的空中手势交互体验进行深入研究,设计创新的教学体验模式,通过空中手势交互体验设计来提升教学体验。方法 采用文献研究、田野观察、深度访谈及实验研究法,以理论研究为基础,结合教学体验需求,围绕场景、用户、产品构建设计方法,定义满足教学需求的空中手势类型,最终结合有效技术手段,搭建混合现实教学场景、设计个性化教学体验环节、完成空中手势交互界面设计。结果 构建了针对混合现实教学的空中手势交互体验设计方法,定义了满足教学需求的八类空中手势类型,提出用户自定义空中手势的手势交互方式,设计了“教学指引”“徒手绘画”等具有教学指导意义的交互体验环节,适用于远程和线下的混合现实STEM教学场景,也形成了丰富的混合现实STEM课程教学资源。结论 通过用户实验论证了八类默认空中手势类型和用户自定义手势的整体可用性,为混合现实教学领域的交互体验设计研究开辟了新路径。     

航空航天虚拟装配培训情境下的情感交互设计

目的将虚拟现实和情感交互设计应用于航空航天装配培训场景,提高培训效率,改善培训体验。方法通过调研多模态情感交互研究现状,构建航空航天虚拟装配培训情境下的情感交互模型,使用基于生理信号的情感识别、语音提示、高亮提示、视频指导等进行情感交互。以航空航天球阀的虚拟装配培训为例,构建具有情感交互的培训系统。通过用户手指上佩戴皮肤电导传感器收集的生理数据进行情感实时监测,根据情感不同提供语音提示、高亮提示、视频指导3种交互方案。结果通过在虚拟环境中完成装配任务的效率,验证情感交互在虚拟装配培训系统中的有效性。实验结果表明,在航空航天虚拟装配培训场景下的情感化交互设计能够有效缩短培训时间,有助于培训用户体验目标和可用性目标的达成。结论研究成果促进了生理信号、语音交互、视觉交互等多模态情感交互范式的构建,并验证了在航空航天虚拟装配培训应用中的有效性,具有广泛的学术意义和应用前景。     

治疗PTSD的VR设备交互设计研究

目的以VR技术在PTSD症状的应用为出发点,研究相应的VR设备在治疗过程中的交互设计方法和流程,旨在促进VR设备治疗PTSD的交互创新,以及在满足患者需求的前提下提高PTSD患者的治愈机率。方法首先在剖析PTSD症状及患者特性的基础上,归纳VRET治疗PTSD的优势;其次在选取合适的VR设备后,定义与治疗PTSD相关的实际环境、患者及医护人员、设备情境四要素,建立交互设计模型,并以此为原型引导后续设计,从多通道感官入手,提炼治疗过程中的人机交互方式;再以简洁易操作为原则,设计手势交互过程和内容;并考虑治疗空间氛围和患者情感表现,确定界面色彩;最后落脚于PTSD的治疗过程,制定出治疗交互流程。结论通过研究治疗PTSD的VR设备的交互设计,提高患者治疗体验,相对于传统的PTSD治疗方法,有效的VR应用治疗和人机交互能大大提高治疗效果,对医学界研究治疗PTSD的方法具有一定参考价值。     

多模态交互中的目标选择技术

目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论 在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。     

环境智能下老龄用户方向性手势交互偏好研究

目的 方向性手势指用空间中肢体运动的方向来表示其含义的一类交互手势语言.考虑到老龄用户自身的认知习惯,需要研究该群体对面向环境智能交互的方向性手势在任务语义——运动方向映射上的偏好.方法 根据认知语言学基本理论,通过快速反应实验、用户自我评价和实景评价3个阶段,让老年被试评判从特定任务的词义联想到三维空间运动方向的程度,从而得到其对于方向性手势的偏好.结果 老龄用户认为某些任务和特定方向的关联性更显著,这些任务更适合用朝该方向划动的手势来表达;老龄用户对方向性手势的总体偏好与年轻群体差别不大.结论 通过判定偏好的基础分和差异显著性,可以得出一些任务——方向的语义关联度较高的手势,从而为智能环境下老年人群交互方式的研究提供有益的建议.     

可穿戴设备中手势交互的设计原则

目的对可穿戴设备在设计中的手势交互的设计原则进行研究。方法对国内外手势交互设备进行分析,总结了手势交互系统中技术的演进和手势交互的应用趋势,从而采用类比和归纳演绎法对手势在可穿戴设备中的应用进行研究。结论对可穿戴设备中手势交互的设计原则进行探究,将可穿戴设备的特性与手势操作的便捷性结合,融合多感官的协同作用,来获得积极的手势交互反馈结果,让用户获得更好的操作体验,从而提高用户对可穿戴设备的信任度和粘度,开拓可穿戴设备更广阔的市场空间。     

基于虚拟现实的遥控型无人特种车辆交互设计研究

目的 探索虚拟现实技术下遥控型无人特种车辆交互范式,提升遥控型无人特种车辆作业效率和用户体验。方法 通过eGOMS模型分别对虚拟现实场景和真实场景的遥控型无人特种车辆交互流程进行建模,并对所得模型进行操作时间的预测与分析,采用RoboMaster平台对用户在两种不同场景下开展绩效实验与NASA-TLX问卷访谈。结合主客观两个方面,对交互过程进行综合评价。结果 量化作业绩效实验数据与用户脑负荷问卷感受数据对比结果同时呈现虚拟现实交互更具有优势,但具体作业时间与模型预测有差异;实验的结果显示,无论是虚拟现实还是真实场景,基于eGOMS模型预测的交互操作时间均大于用户实际交互操作时间。结论 虚拟现实技术可以有效提升遥控型无人特种车辆交互的用户体验与作业效率,提升车辆控制交互系统的易学性;研究也进一步发现eGOMS模型中的标定与插入规则需要适当更新以适应专家用户。虚拟现实技术将有效地提升遥控型无人特种车辆的作业效能,大幅降低高危岗位人员的作业风险,从而促进遥控型无人特种车辆在消防、抢险救灾、国防等领域的普及应用。     

"任务-人"匹配对人-信息系统交互效率影响的探讨

从任务与人匹配出发，研究信息系统的任务匹配性对人-信息系统交互效率的影响机理，从理论上阐述了任务的五个维度（任务负荷、自主性、依存性、非常规性和任务目标）对人-信息系统交互效率的影响，并通过实验验证了任务的目标导向性对人-信息系统交互效率的影响。     

面向复杂加工装备的功能聚合与作业手势交互设计

目的 为了解决当前复杂加工装备人机交互过程中存在手势和功能映射模糊、缺少规范等问题,研究将人机交互技术赋能复杂加工装备的智能化升级。方法 首先,采用谱系聚类法进行复杂加工装备的人机交互功能聚合,为手势映射提供基础;其次,基于手势交互定义原则对作业手势进行规范性定义,完成手势库的设计;最后,根据作业场景进行调整并完成人机交互功能与作业手势的映射。结果 通过聚类将40个子功能元聚合为16个二级功能和4个一级功能,依据手势定义规则设计出一套动、静态结合的混合手势库,实现了人机交互功能映射。结论 该研究为交互服务识别与计算提供基础的理论支持,可方便、自然地对复杂加工装备进行远程操作与监控。     

基于中老年用户的移动设备触摸屏手势操作可用性研究

目的本研究希望通过基于中老年用户的移动设备触摸屏手势操作可用性研究建立一套适用于中老年人触摸屏交互的手势集合。方法首先借鉴前人研究结果,确定触屏手势操作的可用性评价指标,然后从现有移动设备触摸屏手势操作进行归纳总结。最后通过实验室实验对典型操作的不同手势操作绩效进行研究,并结合中老年用户的认知、运动技能特征进行原因分析。结果针对"返回"任务,"单击‘返回’按钮"手势操作是最佳操作;针对"确定"和"取消"任务,"单指下拉对话框"和"单指上拉对话框"操作是最佳操作;针对"移动"任务,"单指长按+拖动"手势操作是最佳操作;针对"删除"任务,"右划目标条+单指点击删除按钮"手势操作是最佳操作;针对"返回主页"和"呼出多任务"任务,"单击Home键"和"长按Home键"手势操作是最佳操作;针对"缩放"和"旋转"任务,"单手两指张合"和"单手两指同时旋转"手势操作是最佳操作。结论通过本实验研究最终得到了一套适用于中老年人,具有较好操作绩效的触摸屏交互手势集合,可以作为中老年用户移动设备触摸屏手势操作的设计参照。     

基于智慧工厂的语音交互设计研究

目的在人工智能高速发展,自然语言处理技术得到显著提高的背景下,探讨语音识别技术对智慧工厂类系统中交互设计范式的影响。方法从形式层面、内容层面、操作层面对语音交互的要素进行剖析,结合公理化设计理论,得出语音交互研究框架,基于"中国石油智慧油库设备管理系统"的相关研发设计的实际验证,通过对四十名熟练操作人员的GUI与VUI输入交互方式进行对比测试分析,评估语音识别技术在智慧工厂交互设计中的应用可行性。结论研究结果表明,选择多通道交互技术并行、随场景转换交互方式、感官语义的有效引导和构建虚拟人物角色的语音交互设计原则,能够降低用户的学习成本和使用智慧工厂系统的操作时间,提升操作效率,为语音交互在智慧工厂中的应用提供参考依据。     

基于发光织物的交通指挥手套智能交互设计

目的 在恶劣天气下,有效增强交通指挥手势辨识度,准确传递指挥信息,降低交通事故发生率。方法 分析交通指挥产品的现状和不足,构建交警与驾驶者的交通情境交互关系模型,洞察关键设计问题,优化交通指挥手套功能设计。探索智能织物与人体的交互方式,设计发光织物动态数字符号,增强交通手套的手势可视性,提升手套交互效果,提高交警与驾驶者之间的信息互动效率。最后根据以上分析提出设计方案。结果 基于可控发光织物的交通手套,可以有效增强手势可视性,提高交警工作效率。结论 交互关系模型有助于人们快速发现产品使用的问题点、获取相应的设计目标,为交通指挥产品设计提供新的思路,为相关研究及设计实践提供参考。