隔空手势交互的设计要素与原则

目的阐述隔空手势交互的特点、构成要素、构建过程及设计原则。方法从隔空手势交互的优缺点和适用性出发,分析不同类型的手势交互的构建要素和过程,并针对手势交互的特点提出设计原则。结论隔空手势交互的设计需从其本身特征、应用场景、交互原则等多方面进行考量。     

环境智能下老龄用户方向性手势交互偏好研究

目的 方向性手势指用空间中肢体运动的方向来表示其含义的一类交互手势语言.考虑到老龄用户自身的认知习惯,需要研究该群体对面向环境智能交互的方向性手势在任务语义——运动方向映射上的偏好.方法 根据认知语言学基本理论,通过快速反应实验、用户自我评价和实景评价3个阶段,让老年被试评判从特定任务的词义联想到三维空间运动方向的程度,从而得到其对于方向性手势的偏好.结果 老龄用户认为某些任务和特定方向的关联性更显著,这些任务更适合用朝该方向划动的手势来表达;老龄用户对方向性手势的总体偏好与年轻群体差别不大.结论 通过判定偏好的基础分和差异显著性,可以得出一些任务——方向的语义关联度较高的手势,从而为智能环境下老年人群交互方式的研究提供有益的建议.     

车内三维交互手势可用性评价研究

目的通过建立评价模型对手势进行评价,以此提高车内三维手势的可用性。方法研究三维手势的可用性基本理论及其在汽车中的应用现状,采用模糊综合评价法对车内三维手势的可用性进行评价,实现手势可用性的量化评价。通过对驾驶环境中的任务、用户、环境及用户参与等方面进行分析,提取可用性影响因素,经过删选合并确定评价指标,建立模糊综合评价模型。对车内音量调节功能的手势进行评价实践,通过对比评价结果,从备选手势集中确定最终手势。构建场景模拟实验,通过对比评价和实验两种方式对手势备选集的评价结果进行分析,证明评价模型的有效性。结论建立车内三维交互手势可用性评价指标体系和模型,对手势可用性进行量化评价,为车内手势的设计提供可参考的理论依据。     

航空航天虚拟装配培训情境下的情感交互设计

目的将虚拟现实和情感交互设计应用于航空航天装配培训场景,提高培训效率,改善培训体验。方法通过调研多模态情感交互研究现状,构建航空航天虚拟装配培训情境下的情感交互模型,使用基于生理信号的情感识别、语音提示、高亮提示、视频指导等进行情感交互。以航空航天球阀的虚拟装配培训为例,构建具有情感交互的培训系统。通过用户手指上佩戴皮肤电导传感器收集的生理数据进行情感实时监测,根据情感不同提供语音提示、高亮提示、视频指导3种交互方案。结果通过在虚拟环境中完成装配任务的效率,验证情感交互在虚拟装配培训系统中的有效性。实验结果表明,在航空航天虚拟装配培训场景下的情感化交互设计能够有效缩短培训时间,有助于培训用户体验目标和可用性目标的达成。结论研究成果促进了生理信号、语音交互、视觉交互等多模态情感交互范式的构建,并验证了在航空航天虚拟装配培训应用中的有效性,具有广泛的学术意义和应用前景。     

基于符号学的车载手势交互的手势轨迹研究

目的 手势交互作为一种非接触式的自然交互方式,将广泛应用于车载交互中。通过研究符号学理论结合感性研究方法,分析符号学与车载手势交互的手势轨迹之间的关系,从而形成一个从手势轨迹角度研究车载手势交互的设计流程,更好地辅助车载手势设计。方法 以符号学理论为基础,运用符号学的外延意义和内涵意义,结合语义差异法、意象尺度法、层次分析法等,收集并分析车载功能手势轨迹样本偏好,挖掘用户对手势轨迹符号所产生的深层次需求,将分析和提炼出来的关键手势轨迹符号应用于手势轨迹设计,探索符号学与车载手势交互的手势轨迹之间的关系。结论 运用符号学理论对手势轨迹符号进行研究,提出了一种基于符号学理论研究手势轨迹的方法和流程,验证了符号学可以有效地应用于车载手势交互的手势轨迹设计。     

多通道融合下的手势识别算法研究及船舶虚拟交互平台设计

为促进船舶虚拟交互平台的人机交互方式向智能化转变,提出了一种多通道融合下的手势识别算法。在不同视角下采集手势图像并建立手势数据集;搭建基于YOLOv4目标检测算法的手势识别框架,分别对多视角手势图像进行识别,将多个识别结果通过一种多数据融合算法决策出最终手势识别结果。同时,设计了基于Unity3D的船舶航行虚拟场景,通过手势识别输出的指令实现对虚拟船舶稳定度平台的操作。实验测试了手势在复杂环境下该手势识别算法的鲁棒性,与基于YOLOv4的单视角手势识别方法的准确率进行了对比。实验结果显示:该手势识别算法能通过多数据融合剔除错误候选结果并保留最大置信度,在复杂环境下对手势的平均识别准确率达到95.06%。     

手势操控车载信息交互系统研究

目的对驾驶过程中的交互任务进行分析。方法通过车载场景下的基于RGBD传感器的手势识别方法和多通道反馈分析方法进行分析。结果以手势操控作为车载信息系统的交互方式,采用多通道的反馈方式来反馈交互过程中的状态、结果以及错误,设计手势操控车载交互系统的多通道反馈方案,以及车载交互系统的手势操控集。结论实验结果表明,基于手势操控的车载信息交互系统可以有效提高操作效率和驾驶安全。     

基于虚拟试验箱的康复手势识别算法研究

研究了基于自主研发的手部康复训练系统的康复手势识别方法。针对现有手势识别算法识别手势过于单一、不具备针对性的问题,通过对手部功能障碍患者的手部运动及控制力的分析,提出了一种新的基于虚拟试验箱的康复手势识别算法。该算法的核心是利用摄像头捕捉不同的康复手势,并通过辅助训练标志板来实现手和辅助康复器械定位。基于改进的形状上下文识别算法的处理器实现了康复手势识别功能,并进一步控制虚拟场景中的物体做出相应的反应。该算法可以完成推、拉、悬垂、托举、二指捏等典型康复手势的准确识别,并与现有的手势识别算法进行了准确的对比。实验结果表明,该算法在识别率上有一定的提高,并且在识别的手势上更具有针对性。     

面向混合现实教学的空中手势交互体验设计应用研究

目的 对混合现实教学中的空中手势交互体验进行深入研究,设计创新的教学体验模式,通过空中手势交互体验设计来提升教学体验。方法 采用文献研究、田野观察、深度访谈及实验研究法,以理论研究为基础,结合教学体验需求,围绕场景、用户、产品构建设计方法,定义满足教学需求的空中手势类型,最终结合有效技术手段,搭建混合现实教学场景、设计个性化教学体验环节、完成空中手势交互界面设计。结果 构建了针对混合现实教学的空中手势交互体验设计方法,定义了满足教学需求的八类空中手势类型,提出用户自定义空中手势的手势交互方式,设计了“教学指引”“徒手绘画”等具有教学指导意义的交互体验环节,适用于远程和线下的混合现实STEM教学场景,也形成了丰富的混合现实STEM课程教学资源。结论 通过用户实验论证了八类默认空中手势类型和用户自定义手势的整体可用性,为混合现实教学领域的交互体验设计研究开辟了新路径。     

多模态交互中的目标选择技术

目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论 在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。     

基于双重优化的连续手势识别方法

基于计算机视觉的连续手势识别因为其自然性和便捷性在大型互动娱乐、互动教育等方面得到了广泛应用.在连续手势识别过程中,解决手势分割问题的已有方案多存在计算量大效率低的缺点;解决独立手势识别问题的已有方案多存在训练参数设定过程复杂的缺点.针对这两个问题做出两点优化:其一,提出一种基于隐状态模式归一化的方法对连续手势进行分割,提高了手势分割的效率;其二,提出一种基于参数自反馈调节的独立手势训练和识别方法,降低了独立手势训练的难度,并提高了识别的精度.实验证明,提出的基于双重优化的连续手势识别方法与原有方法相比在精度和效率上都有较大提升.     

基于意象图式的智能手机操控手势研究

目的意象图式过去常常被运用在语言学的研究中,使用人类所共有的经验假设,来揭示语言学中的种种认知现象。在智能手机的发展过程中,其操纵手势所面临的问题,也是一种认知现象,而使用意象图式可以进行分析并提出解决问题的相关建议。方法阐述了意象图式的典型案例,以及其在研究手势时的设计流程和分析的角度,并介绍了意象图式作为智能手机操控手势的研究方法时所需的编码策略,确定在此基础上的手势设计方法,对已有的手势设计案例进行分析。结论阐明了优秀的设计案例和欠佳的设计案例具体表现的方式和特点,同时在意象图式视角下讨论了其可行性与不足,以对应的相关成功案例和不足案例,检验了该方法在手势设计研究中的可行性,并对手势设计给出了基于意象图式的相关建议。     

面向自然交互的声音通感设计研究

目的基于通感认知探究声音要素对用户感知的影响,为人机交互中的声音反馈提供设计指导。方法基于通感的意向图式理论,设置三维手势对声音的同步运动实验,以量表对声音指向性进行评价,并以手势动作对声音的主观感知进行表达,统计分析实验数据,结合用户手势分析声音要素变化对用户体验的影响。结果声音的要素变化导致用户对声音的感知发生变化,从而影响用户的交互行为,响度和音调是主要影响因素。结论低音音调和中度响度要素的声音能给予用户较好的声音感知体验,自然交互中,声音反馈的应用可以引导用户进行有效的交互,提升用户的交互效率和操作体验。     

汽车手势交互设计研究

目的汽车手势交互是一个较新的交互设计领域,目前国内外都还缺乏与其相关的整体性研究。将现有的汽车交互设计研究加以总结,从而为后续的汽车手势交互设计研究与实践提供指导。方法研究以理论综述和案例交叉的方式,介绍了手势交互与汽车手势交互的产生背景和意义,汽车手势交互的设计特征,以及汽车手势交互的设计原则和设计方法。结论最终指出了良好的汽车手势交互设计需要注意用户需求与技术的平衡。以上研究对于汽车手势设计乃至创新交互设计具有指导性和前瞻性的意义。     

面向复杂加工装备的功能聚合与作业手势交互设计

目的 为了解决当前复杂加工装备人机交互过程中存在手势和功能映射模糊、缺少规范等问题,研究将人机交互技术赋能复杂加工装备的智能化升级。方法 首先,采用谱系聚类法进行复杂加工装备的人机交互功能聚合,为手势映射提供基础;其次,基于手势交互定义原则对作业手势进行规范性定义,完成手势库的设计;最后,根据作业场景进行调整并完成人机交互功能与作业手势的映射。结果 通过聚类将40个子功能元聚合为16个二级功能和4个一级功能,依据手势定义规则设计出一套动、静态结合的混合手势库,实现了人机交互功能映射。结论 该研究为交互服务识别与计算提供基础的理论支持,可方便、自然地对复杂加工装备进行远程操作与监控。     

基于单目视觉的手势识别系统

在交互式图形学和虚拟现实的应用领域中,用户界面变得越来越重要。由于视觉是人类从外界获取信息的主要器官,人们希望计算机视觉在人机交互技术中发挥重要的作用。本文描述一个实时的基于视觉的手势识别系统,用于替代鼠标与计算机进行交互。与以前的工作不同,该系统仅用一个摄像机来实现多个手势的识别与跟踪,避免了多目视觉的特征匹配问题,进而提高了系统的稳定性和识别速度。进一步的实验证明,基于视觉的交互系统是一种自然舒适,符合人体器官的用户界面。     

VR环境中产品设计手势的定义与合成

在ＶＲ－ＣＡＤ中设计得可以通过多种方式与虚拟环境中的物体进行交互,其中,手势是一种自然、易于学习的设计交互手段。本文介绍了虚拟现实环境中设计手势的理解与合成。设计得通过手势进行圆柱、圆锥、棱柱 、棱锥、球等基本体的创建与管理,在产品设计中具有自然、直观等优点。