基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

基于3D卷积神经网络的CSI跨场景手势识别方法

手势识别在人机交互中有着广泛的应用前景,近年来随着无线通信与物联网的飞速发展,几乎任何地方都部署了WiFi设备,并涌现了大批关于WiFi信道状态信息(Channel State Information,CSI)的手势识别方法,目前大多数基于CSI手势识别的研究仅针对了已知场景下的手势识别研究,对于未知场景,需要增加未知场景中的新数据进行额外的学习训练,否则识别精度将会大幅下降,限制了其实用性.针对这一问题,提出了一种基于3 D卷积神经网络的CSI跨场景手势识别方法,该系统通过提取与场景无关的特征,并结合3D卷积神经网络学习模型来实现跨场景手势识别,在实验中使用网络公开数据集来验证该方法,结果显示该方法对于6个不同动作手势,在已知场景中的平均识别准确率达到了86.50％,在未知场景中的平均识别准确率达到了84.67％,能够实现跨场景的手势识别.     

基于范例集实现复杂场景下的动态手势跟踪

范例集作为近年来视觉跟踪器的一种表示方法,已应用于手势跟踪与识别。但是基于范例集的手势跟踪往往不能实现复杂场景下手部轮廓特征的精确提取,并且不能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪,极易造成手部动作的不准确预测,从而影响手势跟踪效果与手势识别率。本文提出一种新的基于范例集的跟踪器：CEE(CAMSHIFT Embedded Exemplar)跟踪器,实现复杂场景下的动态手势跟踪。在学习阶段,利用ICAMSHIFT（Improved CAMSHIFT）算法提取手部轮廓特征并生成范例集,同时建立手势的动态HMM模型;在跟踪阶段,首先利用由ICAMSHIFT算法获取的手部特征和HMM概率模型预测手势动作,然后根据学习所得范例集获取当前手部轮廓。实验结果表明,算法能实现复杂场景下的准确手势跟踪,并能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪。此外,在严重遮挡情况下也能取得不错的跟踪效果。     

一种信道状态信息下的复杂动态手势识别方法

传统动态手势识别方法中存在硬件成本高,推广难度大等局限性.文章提出一种基于信道状态信息的复杂动态手势识别方法CSI-Num,该方法可用来实现对空中数字手势的高效识别.CSI-Num识别过程主要分为两个阶段:数据提取处理阶段与手势匹配识别阶段.提取处理阶段,是将采集到的数据,选取能够反映手势动作的子载波特征值作为被选信号,通过小波阈值函数和五点三次平滑方法对信号进行降噪平滑;匹配识别阶段,提取有效手势数据,使用k均值聚类算法和动态时间规整算法特性相融合的K-DTW匹配算法识别出不同数字的手势动作.实验结果表明,针对不同环境的室内场景,相应地调整参数设置,CSI-Num可以高效地识别出不同数字的手势动作,且具有较高鲁棒性.     

Kinect在Unity平台上的开发实例

文章介绍了Kinect结合Unity的交互方法,以及利用手势移动场景、控制人物动作以及控制模型的开发实例,为Kinect与Unity的程序开发提供一个参考。     

基于单振元超声传感器的手势识别系统

手势识别是人机接口应用的一个重要场景,当前的手势识别方法大多基于表面肌电信号(sEMG).为了探索新的传感方式,设计了一种新颖的基于超声传感器的手势识别系统.系统利用多个布置在前臂的单振元超声传感器检测肌肉界面的回波信息,对其进行特征提取和模式识别,识别手腕和手指的动作.实验结果表明:系统对于手指精细动作有良好的识别效果,5个手指动作的平均识别率为(91.1±4.73)％.     

智能人机交互中第一视角手势表达的一次性学习分类识别

在智能人机交互中, 以交互人的视角为第一视角的手势表达发挥着重要作用, 而面向第一视角的手势识别则成为最重要的技术环节. 本文通过深度卷积神经网络的级联组合, 研究复杂应用场景中第一视角下的一次性学习手势识别(One-shot learning hand gesture recognition, OSLHGR)算法. 考虑到实际应用的便捷性和适用性, 运用改进的轻量级SSD (Single shot multibox detector)目标检测网络实现第一视角下手势目标的快速精确检测; 进而, 以改进的轻量级U-Net网络为主要工具进行复杂背景下手势目标的像素级高效精准分割. 在此基础上, 以组合式3D深度神经网络为工具, 研究提出了一种第一视角下的一次性学习手势动作识别的网络化算法. 在Pascal VOC 2012数据集和SoftKinetic DS325采集的手势数据集上进行的一系列实验测试结果表明, 本文所提出的网络化算法在手势目标检测与分割精度、分类识别准确率和实时性等方面都有显著的优势, 可为在复杂应用环境下实现便捷式高性能智能人机交互提供可靠的技术支持.     

面向手势动作捕捉的传感器设计及主从手运动映射

本文针对人手和机器人灵巧手在运动学上尺寸的不一致现象带来的主从手指尖运动空间映射的不一致性进行研究.基于聚氨酯拉伸应变传感器构建了测量手指关节弯曲角度的数据手套.通过建立主从手的运动学模型,基于旋转矩阵理论及正向运动学提出了一种指尖运动轨迹计算方法及手势动作捕捉算法.基于正向运动学及逆向运动学的指尖运动映射算法建立了主从手的指尖运动空间轮廓.建立虚拟实验场景,分别针对关节角度映射算法、手势动作捕捉算法及指尖运动映射算法进行了一系列试验.通过实验得出基于聚氨酯的拉伸应变传感器具有良好的时间响应特性及电学稳定性,基于手势动作捕捉算法能够获取主从手的指尖运动空间轮廓,指尖运动轨迹的计算误差控制在2.8 mm以内.结果证明了基于手势动作捕捉算法以及指尖运动映射算法能够实现主从手指尖运动空间的一致性.     

卷积神经网络在动态手势跟踪中的应用

为了解决复杂场景中对动态手势目标进行跟踪的问题,提出了一种动态手势的改进YOLOv3实时跟踪算法。算法首先针对YOLOv3网络检测实时性较差的问题,利用对手势这样的单类目标检测的特性对YOLOv3的主干网络结构进行改进。其次提出一种适合于复杂场景下手势跟踪的规划区域的检测跟踪方法,对手势目标进行检测,过滤掉背景中非当前跟踪目标造成的影响,完成对手势的实时跟踪。最后在设计的手势数据集中进行训练和测试。实验结果表明,算法在复杂场景中的手势跟踪性能均优于YOLOv3算法和一些相关目标跟踪算法。     

基于加速度轨迹图像的手势特征提取与识别

针对手势加速度识别中存在数据维度高、计算量大等问题,提出一种基于加速度轨迹图像的手势NMF特征提取与识别方法。通过Wiimote手柄获取手势动作的加速度信号,经过实时有效手势动作分割后,将加速度数据转换为手势轨迹图像,并用非负矩阵分解对手势加速度轨迹图像提取特征向量,最后构建离散隐马尔科夫模型实现目标手势识别。加速度手势轨迹图像转换及采用非负矩阵分解的特征提取方法将未知手势轨迹特征转换为低维子特征序列,降低了计算复杂度,实验表明,该方法能有效识别手势动作。     

基于加锁机制的静态手势识别方法

基于RGB-D（RGB-Depth）的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据流和Depth数据流融合成人体骨骼数据流;然后,在静态手势方法中引入加锁机制,并与之前建立好的骨骼点特征模型手势库进行比对计算;最后,设计一款“程序员进阶之路”益智类网页游戏进行应用与实验。实验验证在6种不同运动手势情况下,该方法与纯静态手势识别方法相比,平均识别准确率提高了14.4%;与动态手势识别相比,识别速度提高了14%。实验结果表明,提出的基于加锁机制的静态手势识别方法,既保留了静态识别的速率,实现了实时识别;又能很好地剔除冗余手势和重复手势,提高了识别正确性。     

Gesture Spotting and Recognition for Human–Robot Interaction

Visual interpretation of gestures can be useful in accomplishing natural human-robot interaction (HRI). Previous HRI research focused on issues such as hand gestures, sign language, and command gesture recognition. Automatic recognition of whole-body gestures is required in order for HRI to operate naturally. This presents a challenging problem, because describing and modeling meaningful gesture patterns from whole-body gestures is a complex task. This paper presents a new method for recognition of whole-body key gestures in HRI. A human subject is first described by a set of features, encoding the angular relationship between a dozen body parts in 3-D. A feature vector is then mapped to a codeword of hidden Markov models. In order to spot key gestures accurately, a sophisticated method of designing a transition gesture model is proposed. To reduce the states of the transition gesture model, model reduction which merges similar states based on data-dependent statistics and relative entropy is used. The experimental results demonstrate that the proposed method can be efficient and effective in HRI, for automatic recognition of whole-body key gestures from motion sequences     

基于Petri网和BPNN的多重触控手势识别

为解决多重触控技术的手势识别问题,提出一个多重触控手势描述与识别框架,给出其描述和识别方法。多重触控手势可分为原子手势和组合手势,在手势描述过程中,利用BP网络对原子手势进行建模,然后在将用户的意图映射为原子手势逻辑、时序和空间关系关联而成的组合手势,并在Petri网引入逻辑、时序和空间关系描述符对组合手势进行描述。在手势识别过程中,根据BP网络分类器检测出原子手势,并触发组合手势Petri网模型的转移,实现组合手势的识别。实验结果表明该方法对不同用户操作习惯有鲁棒性,能有效解决多重触控手势识别问题。     

触觉手势情感识别的超限学习方法

为了解决声音和图像情感识别的不足,提出一种新的情感识别方式:触觉情感识别。对CoST（corpus of social touch）数据集进行了一系列触觉情感识别研究,对CoST数据集进行数据预处理,提出一些关于触觉情感识别的特征。利用极限学习机分类器探究不同手势下的情感识别,对14种手势下的3种情感（温柔、正常、暴躁）进行识别,准确度较高,且识别速度快识别时间短。结果表明,手势的不同会影响情感识别的准确率,其中手势“stroke”的识别效果在不同分类器下的分类精度均为最高,且有较好的分类精度,达到72.07%;极限学习机作为触觉情感识别的分类器,具有较好的分类效果,识别速度快;有的手势本身对应着某种情感,从而影响分类结果。     

基于多传感器融合的动态手势识别研究分析

研究利用三类传感器（表面肌电仪、陀螺仪和加速度计）信号的特点进行信息融合,提高可识别动态手势动作的种类和准确率。将动态手势动作分解为手形、手势朝向和运动轨迹三个要素,分别使用表面肌电信号（sEMG）、陀螺仪信号（GYRO）和加速度信号（ACC）进行表征,利用多流HMMs进行动态手势动作的模式识别。对包含有5个运动轨迹和6个静态手形的识别实验结果表明,该方法可以有效地从连续信号中识别动态手势,三类传感器组合使用获得的全局平均识别率达到92％以上,明显高于任意两个传感器组合和仅采用单个传感器获得的平均识别率。实验表明该方法是一种有效的动态手势识别方法,并且相较于传统的动态手势识别的方法更具有优势。     

基于关键姿势的双人交互行为识别

针对双人交互行为识别应用领域广但效率低的问题,提出一种基于关键姿势的双人交互行为识别方法。首先,利用帧间差异比较来提取关键帧;然后,利用骨骼点角度变化的方差和空间关系来确定关键帧中的关键姿势;接着,利用关节距离、角度和关节运动等特征表示关键姿势,每一个关键姿势表示为一个特征矩阵;最后,利用不同的降维和分类组合,选取识别率最优的组合。在SBU交互数据集和自建的交互数据集上评估所提出的识别方法,该方法的识别率分别达到92.47%和94.14%。实验结果表明,通过提取关键姿势的特征形成特征矩阵来表示动作的方法可以有效地提高双人交互行为识别结果。     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。