手势语言在自然用户界面中的应用

自然交互方式的概念首先起源于人机交互的研究领域,即所谓的自然用户界面。自然用户界面指的是一种对用户隐形计算机用户界面,它基于用户最自然的操作方式,比如动作、手势、语言等来操作计算机,摆脱鼠标和键盘的束缚。手势语言在自然交互界面中的应用较于传统的输入方式优势相当明显,并且已经得到了广泛应用。     

基于计算机视觉的手势识别人机交互技术

随着数字媒体技术的广泛应用及飞速发展,人们希望能够更有效更自然地与计算机进行交流。虽然新的硬件和应用领域不断涌现,而人们熟悉和熟练掌握的人机交互方式仍然局限于键盘、鼠标等,但它们限制了人机交流的速度和自然性。基于视觉的手势识别就成为了实现新一代人机交互不可缺少的一项关键技术。借助计算机视觉,数字图像处理,模式识别等理论与技术,使得计算机通过视觉通道(摄像机)正确感知输入的手势语,同时作出用户所需要的响应,以实现自然的人机交互。     

鼠标手势的工效学研究进展

鼠标手势作为鼠标输入和手势输入的结合体,在基于WIMP的人机交互环境中开始得到日益广泛的关注和应用。文章在简要回顾鼠标手势的发展历程基础上,重点介绍鼠标手势近年来用户体验相关研究成果,总结了典型的鼠标手势识别模型及算法,并探讨了鼠标手势的商业应用和发展前景。     

车载信息系统三维手势交互产品设计研究

目的车载信息系统设计已成为汽车人机交互界面设计的核心,体感技术的应用作为一种更为自然的交互方式是汽车人机交互界面设计的重要研究领域。方法车载信息系统三维手势产品设计在已有的研究及应用基础上,以车载信息系统为载体,体感技术为工具,着重研究了三维手势交互在汽车驾驶环境下的操控方式,经过多次三维手势设计的迭代和相关技术平台的开发,设计搭建了可操作实体并进行了实车环境测试及技术调试。结论设计出了一套完整的基础性三维手势和与之相适应的车载信息系统产品实体。     

基于触控手势操作的情境界面

目的探索一种与基于触摸屏的手势操作相配合的新型界面形式与结构,以实现触控手势操作方式的优化。方法分析触控手势操作的过程性特征与人机交互中的信息传达过程,对支持用户使用自然动作与系统进行交互、弱化不适应于手势操作的界面控件以及支持用户在界面中随处操作等内容进行讨论,使用类比的方法提出界面行为的概念,结合实例分析人机交互过程中界面行为与用户行为的关系。结论归纳出情境界面的概念与特征以及在情境界面中的界面行为与用户行为的关系,总结通过基于界面行为的动态启示来实现情境化的人机交互的方法。     

多模态交互中的目标选择技术

目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论 在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。     

面向VR放置任务的自然手势交互时间的预测

为了在虚拟现实（virtual reality，VR）环境中准确模拟用户的放置任务和避免由交互设备抖动等因素导致的放置精度低的问题，利用自然手势进行交互，并提出一种基于改进Fitts定律的面向VR放置任务的自然手势交互时间的预测方法。首先，构建了“手势交互—VR环境—VR交互任务”的交互逻辑，建立了自然手势与交互任务之间的语义映射关系；其次，根据自然手势设计原则，进行了面向VR放置任务的自然手势交互实验；然后，结合VR放置任务的特点，将移动距离、目标物容差和移动物体大小融入经典Fitts定律，建立了基于改进Fitts定律的自然手势交互时间预测模型；最后，对实验数据进行回归分析。回归分析结果显示：基于经典Fitts定律拟合得到的相关系数R²=0.515，交互时间的预测值与真实值存在较大偏差，表明经典Fitts定律不适用于面向VR放置任务的自然手势交互时间的预测；基于改进Fitts定律拟合得到的相关系数R²=0.970，交互时间的预测值与真实值相吻合，表明改进Fitts定律具有良好的适用性，可准确预测面向VR放置任务的自然手势交互时间。研究结果丰富了VR交互方式，并可为VR环境中人机交互界面的设计提供指导。     

面向复杂加工装备的功能聚合与作业手势交互设计

目的 为了解决当前复杂加工装备人机交互过程中存在手势和功能映射模糊、缺少规范等问题,研究将人机交互技术赋能复杂加工装备的智能化升级。方法 首先,采用谱系聚类法进行复杂加工装备的人机交互功能聚合,为手势映射提供基础;其次,基于手势交互定义原则对作业手势进行规范性定义,完成手势库的设计;最后,根据作业场景进行调整并完成人机交互功能与作业手势的映射。结果 通过聚类将40个子功能元聚合为16个二级功能和4个一级功能,依据手势定义规则设计出一套动、静态结合的混合手势库,实现了人机交互功能映射。结论 该研究为交互服务识别与计算提供基础的理论支持,可方便、自然地对复杂加工装备进行远程操作与监控。     

基于单目视觉的手势识别系统

在交互式图形学和虚拟现实的应用领域中,用户界面变得越来越重要。由于视觉是人类从外界获取信息的主要器官,人们希望计算机视觉在人机交互技术中发挥重要的作用。本文描述一个实时的基于视觉的手势识别系统,用于替代鼠标与计算机进行交互。与以前的工作不同,该系统仅用一个摄像机来实现多个手势的识别与跟踪,避免了多目视觉的特征匹配问题,进而提高了系统的稳定性和识别速度。进一步的实验证明,基于视觉的交互系统是一种自然舒适,符合人体器官的用户界面。     

基于情境模型的可穿戴设备手势交互设计

目的 以可穿戴设备人机交互系统与手势交互特点为出发点,研究并提出以情境模型为基础的可穿戴设备手势交互设计的方法,指导可穿戴设备的手势交互设计创新。方法 在情境设计理论研究和相关专业研究上,提取出与手势交互有关的环境情境、用户情境和设备情境等基本要素,以此梳理在可穿戴设备的人机交互过程中所包含的主体与客体因素,并立足用户体验,对可穿戴设备手势交互过程的信息输入与设备输出环节,分别提取手势交互的设计内容,阐述上述3种情境要素与可穿戴设备手势交互设计内容之间的映射关系,以可穿戴设备为目标对象,提出系统性和技术实现性并存,同时可以让用户达到较好使用体验的手势交互设计情境模型。结论 以某移动通信设备企业的手势交互定义项目为例,初步验证了以情境模型为基础的可穿戴设备手势交互设计的方法的有效性。     

触屏手机中手势交互种类和设计原则的研究

手势交互的使用使触屏手机的人机交互变得更加自然直观,更为人性化。主要针对目前触屏手机中的手势交互的种类和设计原则进行总结性的研究,为交互设计师在手势设计的运用中提供一定的理论参考。     

多通道融合下的手势识别算法研究及船舶虚拟交互平台设计

为促进船舶虚拟交互平台的人机交互方式向智能化转变,提出了一种多通道融合下的手势识别算法。在不同视角下采集手势图像并建立手势数据集;搭建基于YOLOv4目标检测算法的手势识别框架,分别对多视角手势图像进行识别,将多个识别结果通过一种多数据融合算法决策出最终手势识别结果。同时,设计了基于Unity3D的船舶航行虚拟场景,通过手势识别输出的指令实现对虚拟船舶稳定度平台的操作。实验测试了手势在复杂环境下该手势识别算法的鲁棒性,与基于YOLOv4的单视角手势识别方法的准确率进行了对比。实验结果显示:该手势识别算法能通过多数据融合剔除错误候选结果并保留最大置信度,在复杂环境下对手势的平均识别准确率达到95.06%。     

基于语音识别的脑瘫康复数字训练系统设计

基于语音识别设计了针对脑瘫患儿的数字语音训练系统。应用人机交互(HRI)技术与仿生机械手动作控制相结合达到提升脑瘫(CP)康复训练效果的目的。该系统中控制器采用Arduino MEGA 2560为主控制器,显示屏LCD1602作为人机交互数据显示界面,通过LD3320语音芯片实现人机语音交互功能。人机交互功能是通过Labview环境展开,可实现人、机器人的手势与动作的实时交互训练与评价。该系统可训练脑瘫患者反应能力、语言表述能力以及认识手势动作数字动作能力,为提升脑瘫康复训练系统提供关键技术。     

VR环境中产品设计手势的定义与合成

在ＶＲ－ＣＡＤ中设计得可以通过多种方式与虚拟环境中的物体进行交互,其中,手势是一种自然、易于学习的设计交互手段。本文介绍了虚拟现实环境中设计手势的理解与合成。设计得通过手势进行圆柱、圆锥、棱柱 、棱锥、球等基本体的创建与管理,在产品设计中具有自然、直观等优点。     

基于人体动作识别的类人机器人动作模仿

基于模仿学习以及人机交互技术,借助Kinect深度相机传感器对类人机器人上半身动作模仿问题进行了研究。首先,将改进的D-H模型应用于NAO机器人的手臂完成了手臂运动学模型的精确建立及求解,解决了传统建模方法两相邻关节平行时出现的奇异性问题。其次,提出了一种改进的基于深度图像的手势识别算法,完成了对于示教者手势的判定及模仿,与传统基于彩色图像的手势识别相比,不受光照影响的同时提升了识别准确率,改进算法的平均识别准确率达到96.2%。最后将NAO机器人作为试验平台的实验表明:NAO机器人对于示教者上半身动作的实时在线模仿运动轨迹平滑且稳定,并且在抓取实验中也显现出了较好的准确性。     

交互系统中实时手势分割及指尖检测方法

为满足人机交互系统中手势识别与理解的需要,提出一种快速、鲁棒的手势分割与指尖检测方法.手势分割通过肤色阈值分割、链码轮廓搜寻、自适应的边缘拟合三个步骤完成,可实现手势由粗到细的逐步精确分割.在手势分割基础上再通过手轮廓边缘的几何特征制定指尖检测算法,可实现多个手指的快速精确检测.实验结果表明,系统方法可行,在各种复杂背景、不同于手指指向和运动速度下均能实现快速准确的手势分割与指尖检测,可为下一步人机交互系统中的手势识别和理解打下良好的基础.     

基于MEMS传感器和Unity3D的人体运动捕获系统

随着人机交互技术的发展,人与计算机之间自然、多模态交互将成为人与计算机之间交互的主要方式,而这首先需要计算机可以正确地理解和捕捉人的行为特征,运动捕获技术正是在这种背景下提出来。通过运动捕获技术,计算机可以理解人体动作,用户就可以通过体态、方位、手势和表情等模态向计算机发出指令、传达信息等,因此运动捕获是新一代人机交互中的关键技术之一。目前基于MEMS惯性传感器的动作捕获研究主要针对动漫和电影制作,价格昂贵;随着传感器的集成度变高,价格逐渐降低带来了新的系统设计需求。在原有动作捕获技术基础上,设计并实现一种普适性更好的人体动作捕获系统原型,原型系统实现了基于惯性传感节点的人体运动信息的采集与融合、节点与汇聚节点的数据传输、虚拟人体模型实时动作呈现程序;实现了从数据测量到采集,再到模拟呈现的全过程。     

一种计算机辅助工艺路线设计系统

介绍了一种新的计算机辅助工艺路线设计系统。系统以专家决策为主，人机交互、集专家决策式与人机交互式于一身，系统采用选择性输入信息的方法，使信息输入灵活、简便，开辟了复杂信息输入的新途径。     

基于人工鱼群算法-极限学习机的多手势精准识别

手势作为人机交互的重要方式,因灵活性与便捷性强,已成为控制领域的研究重点。针对上肢康复机器人手势识别技术存在的不足,结合特征组合与滑动窗口法,提出一种基于人工鱼群算法（artificial fish swarm algorithm,AFSA）优化的极限学习机（extreme learning machine,ELM）的多手势精准识别方法,以提高手势识别的准确率。首先,运用表面肌电测量系统采集人体常用的8种手势对应的表面肌电信号（surface electromyography,SEMG）,作为后续分类模型的信号源,并运用去噪技术与起止点检测技术对SEMG进行预处理;然后,选取通过主成分分析（principal components analysis,PCA）降维处理后的最优特征组合与最优滑动窗口;接着,采用AFSA搜寻ELM的最优输入权值和隐含阈值,以提高其分类准确率;最后,对AFSA优化的ELM（AFSA-ELM）分类模型、反向传播（back propagation,BP）神经网络分类模型和未优化的ELM分类模型进行比较,以验证所提出方法的精准性。实验结果表明,结合最优特征组合与最优滑动窗口设计的AFSA-ELM分类模型对多种手势的平均识别准确率高达97.4%,比BP神经网络分类模型和未优化的ELM分类模型分别高3.5%和1.6%,验证了所提出方法的识别精准性。研究结果可为手势识别提供新思路,进而为人体上肢动作的深度分析和上肢康复机器人手势识别算法的优化提供理论基础和参考。     

空间三维非接触式多点触摸系统的设计与实现

针对现有大屏幕触摸定位系统必须通过接触屏幕表面实现触摸控制,而且难以识别触摸体的颜色、大小和形状,更难识别操作者的手势动作意图,设计一种空间三维非接触式多点触摸定位的人机交互系统,能够识别空间和大屏幕表面多个触摸体的运动轨迹、颜色和形状,实现在二维和三维显示屏上写字,模拟鼠标操作,还能够对显示内容进行缩放、旋转等多种手势输入识别。本系统成功实现在大屏幕前方空间三维区域内非接触式的触摸控制。