基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题, 本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法. 设计了一种残差双注意力模块, 该模块对ResNet50网络提取的低层特征进行增强, 能够有效学习关键信息并更新权重, 提高对高层特征的注意力, 然后由跨级特征融合模块对不同阶段的高低层特征进行融合, 丰富高级特征图中不同层级之间的语义和位置信息, 最后使用全连接层的Softmax分类器对手势图像进行分类识别. 本文在ASL美国手语数据集上进行实验, 平均准确率为99.68%, 相比基础ResNet50网络准确率提升2.52%. 结果验证本文方法能充分提取与复用手势特征, 有效提高手势图像的识别精度.     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

深度残差收缩网络下的定位与行为联合识别

基于WiFi信道状态信息（channel state information,CSI）的人体感知方法在许多物联网场景得到了应用,但现有大部分基于CSI人体感知的系统仅进行定位或行为识别其中一项工作,而物联网的发展对两者能同时识别提出了新的要求。针对这一问题,提出一种基于深度残差收缩网络的定位与行为联合识别方法。通过普通商用WiFi设备获取两种场景（暗室、会议室和走廊）的CSI数据,将预处理后的数据输入结合了深度残差收缩网络的学习模型,进行12个位置与和6种日常行为（站起、坐下、跳跃、深蹲、跌倒、捡起）的联合任务识别。实验结果显示,针对在暗室、会议室和走廊三种场景下的室内定位的平均识别率达到97.29%,行为识别的平均识别率达到90.02%。能够实现定位与行为的高精度联合识别。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

基于ＷｉＦｉ信号和深度学习的身份识别技术研究

随着价格低廉WiFi设备的广泛部署,无处不在的WiFi信号在人体感知和身份识别方面得到了应用。现有基于WiFi的人体身份识别大多依赖人的步态特征,需要人在WiFi收发设备间来回走动,这种方法限制了识别的速度、规模和应用场景。针对这一不足,本文提出了一种静态、非接触式快速人体身份识别方法,首先基于人体生物特征影响的射频信号生成特有的信道状态信息(CSI)指纹,这种静态的特征可以提高多人识别的效率;然后对信号进行数据增强和主成分分析（PCA)以减少训练时间和存储空间;最后将预处理后的数据进行多层深度卷积神经网络(DCNN)处理,提取出辨别性特征并进行身份识别。实验结果表明,所提方法可以在多达35人场景下进行快速识别,平均识别精度为95%,优于现有的方法。     

服务机器人的触觉手势识别

为了实现机器人在人机交互过程中的触觉感知,提出了一种用于服务机器人的触觉手势识别方法。首先,将电子皮肤安装在服务机器人上,通过采集15位被试者的10种手势动作信号,构建了情感手势数据集。然后,使用时空分离卷积神经网络,对被试者触摸服务机器人时做出的触摸手势进行分类。结果表明,被试内手势识别率为90.25%,跨被试手势识别率为83.44%。通过调节模型中的时空通道调节因子,在几乎不降低识别率的同时,可以大幅减少模型参数量。基于电子皮肤的触觉手势识别实验,初步认为使用时空分离卷积神经网络能够以较高的准确率和较低的计算代价实现对人的触觉手势识别,这为服务机器人通过电子皮肤与人实现情感交互提供了可能。     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式.基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点.传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集.与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量.为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能.该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别.同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集.实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38％,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％.