动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用：首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.     

基于视觉感知的图形化人机交互界面分层模型

由于传统方法没有通过特征提取方法获取图像关键滤波纹理系数,导致人机交互界面图像存在增强效果不佳,非平缓区域、曲面区域等不同层次信息量不丰富的问题,为解决上述问题,设计了基于视觉感知的图形化人机交互界面分层模型.构建图像处理模型,采用边缘轮廓特征提取方法,获取关键滤波纹理系数与边缘轮廓信息分量等特征信息.使用层次分析方法对交互界面视觉传达效果进行优化.以交互界面各个区域视觉感知强度和边缘轮廓内视觉感知元素重要度为基础,建立基于视觉感知强度的图形化人机交互界面分层优化模型,并通过遗传算法求解该模型,实现图形化人机交互界面的分层优化.实验结果显示,上述模型的图像亮度增强效果更优,符合人眼视觉感知要求;信息熵始终处在较高数值,具有较好的图像融合效果,信息量丰富.     

概念设计中基于笔式手势的交互计算研究

基于笔式手势的自然交互是支持概念设计创新的有效方式.提出了一种笔式手势的层次概念模型,结合基于约束的自由勾画和上下文感知技术描述了手势设计方式,进一步讨论了手势内部的约束建立和求解算法;基于手势应用的范式,给出了概念设计中特征手势建模的应用实例,通过与传统建模和交互方式的对比,验证了特征手势建模的方便性.给出一个自然、高效的方法,以基于手势的方式来完成概念设计构思过程,采用笔式交互快速自然地记录下设计思路,所实现的系统方便了用户的创新设计,改善了人机交互模式.     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

基于手势和草图的概念设计协同交互的研究

基于手势和草图的交互模式提供了一种自然和谐的方式来支持概念设计协同操作,促进协同工作系统的发展与应用．基于以用户为中心的设计,比较了不同方式的概念设计过程,提出了基于手势和草图的协同设计方法,进一步讨论了以草图为设计过程中的信息载体,分析了草图信息模型;基于手势操作,提出了协同上下文感知的概念和协同设计上下文描述模型;最后分析并给出面向同步编辑的草图交互设计和双向约束求解方法．所提出的协同设计方法自然简便,提高了设计效率,改善了人机交互方式．     

基于多指触摸的指挥空间用户操作模型

以未来指挥所中的自然手势交互为应用背景,研究用户操作的概念抽取与表述,提出从语法、语义层次上整合实现用户操作到双手多指触摸交互控制的映射方法。旨在从操作层面上解决多指触摸交互技术融入指挥所人机交互空间的现实问题,为下一步多通道、多模式的人机对话系统开辟新的研究思路。     

沉浸式所触即所得网络可视分析方法

沉浸式网络可视化在空间沉浸、用户参与、多维感知等方面具有天然的优势。受用户与日常物体交互方式所启发,基于所触即所得(WYTIWYG)的理念提出一种沉浸式网络可视分析方法来挖掘网络特征和关联模式。首先提出手势舒适度评估模型来指导手势动作设计,并引入窗口状态模型来优化手势识别稳定性。此外,将网络分析交互需求与手势动作语义绑定,定义沉浸式网络手势交互范式。与真实世界中抓取交互类似,用户可利用自然交互手势在沉浸式环境下执行移动、高亮、布局维度变换、边绑定等操作。最后,案例研究验证了方法的有效性。     

3D交互输入新技术——手势识别

本文从分析人机交互研究的目的出发 ,介绍了用户产生手势到系统“感知”手势的过程 ,包括手势的建模及识别的原理和方法 .本文在对手结构和手关节运动分析的基础上 ,提出了基于数据手套和基于视觉(摄象机 )的手势输入方式 ,通过手势图象的分析 ,采用模糊神经网络方法对手势图象进行识别 ,取得了较好的效果 ,实现了一种在虚拟环境中具有广阔运用前景的 3D交互输入新技术——手势识别     

基于自适应遗传算法的手势识别

基于小样本库的手势识别是先进人机交互研究中的一个重要分支.根据Tortoise人手模型训练手势模式库并结合交互者的具体手部特征进行手形训练,生成适用于特定交互者的手势模式库.在交互过程中,根据来自一个或多个同步摄像头的视频信息进行基于自适应遗传算法的手势识别.实验结果表明,在环境光照基本稳定的条件下,文中算法可以实现鲁棒的实时手势识别.     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

基于视觉的互动游戏手势界面工具箱

分析了视觉手势的交互特征,提出了非接触型设备交互模型,基于数据流图方法建立了支持连续信息输入的数据流模型来描述视觉手势信息的处理流程,基于"paint-view-correct"隐喻构建了手势界面开发工具IEToolkit.系统的主要特点包括:使用插件设计思想提供了可扩展的接口,方便开发人员对系统进行扩展:实现了对平台...     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于DSSD的静态手势实时识别方法

手势识别作为一种自然和谐的人机交互方式,具有广泛的应用前景,而传统手势识别方法准确率不高、实时性较差。为此,在DSSD网络模型的基础上,提出一种静态手势实时识别方法。自制手势数据集,通过K-means算法及手肘法选取先验框的宽高比,采用迁移学习的方法解决数据量小导致的检测精度低的问题,同时根据识别精度选择ResNet101为DSSD模型的基础网络,经DSSD模型的反卷积模块融合各个特征提取层的语义信息,加强对小手势目标的检测能力。实验结果表明,该方法识别静态手势的识别率达到95.6%,较基于Faster R-CNN、YOLO和SSD的手势识别方法分别提高了3.6%、4.5%及2.3%,其检测速度为8 frame/s,能够满足实时检测要求。     

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型．首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例．实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求．     

基于手势识别的机器人控制系统

研究了一种基于人体手势识别的机器人控制系统.首先,利用图像识别技术,通过YCr Cb皮肤颜色模型提取手掌并分析指尖和手心的相关信息;其次,利用帧差法对手掌运动趋势和简单的手势信息进行识别;最后,通过无线蓝牙串口将识别出来的手势信号发送给机器人,以达到手势控制机器人的目的.系统是在VS2010下利用Open CV计算机视觉库进行编译完成的,实现了通过简单的手势信息控制机器人的目的,从而摆脱了人机交互时必须依靠物理接触的限制.实验结果表明,该系统可以实现对机器人前进、后退、左转、右转、停止、加速的实时控制,对手势信息的识别率在90%以上.对进一步探索机器学习、自主识别等相关领域有着较高的参考价值.