基于卷积神经网络的手势识别

手势识别是人机交互,智能语义识别和远程人机 交流领域的热门研究课题。目前基于 视觉的手势识别问题仍是研究的难点,在多变背景下的手势姿态识别仍然存在较大问题。近 年来,随着深度神经网络技术的快速发展,利用网络自主学习的方法来提取手势姿态有关特 征得到了广泛关注。由于卷积神经网络具有较强的学习能力和个体特征的表达能力,本文针 对传统手势识别算法精度低,鲁棒性差的问题,提出了基于卷积神经网络的TensorFlow框架 下加入扁平卷积模块的FD-CNN网络手势识别算法。在预处理数据集后,基于FD-CNN网络的 手 势识别方法可以直接将预处理后的图像输入网络进行训练,最终输出测试结果的识别精度为 99.0％。与传统方法和经典卷积神经网络方法相比,本文方法提高了 网 络系统对样本数据的多样性和复杂性的有效识别,具有较高的识别率和较好的鲁棒性效果。     

基于RDATM数据集的毫米波雷达动态手势识别系统设计

针对现有毫米波雷达手势识别研究中手势信息提取不充分的问题,提出一种基于RDATM三维参数数据集的手势识别方法。该方法先对获取的雷达手势回波数据进行预处理并进行动态手势检测,然后利用回波信号频谱信息构造距离-时间图(Range-Time Map, RTM),多普勒-时间图(Doppler-Time Map, DTM)和角度-时间图(Angle-Time Map, ATM),最后利用RTM、DTM、ATM构建RDATM数据集并送入基于VGG16网络改进的单分支卷积神经网络进行手势特征提取和分类。实验结果表明,利用RDATM数据集对6种手势的平均分类准确率可高达99.17%。且文中改进的网络相较于原VGG16模型对同类型数据集训练时间更短、分类准确率更高。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一化(BN)技术优化网络,使优化后网络的训练时间缩短。同时与多种双流3D卷积方法在开源中国手语数据集(CSL)上进行了实验对比,实验结果表明,该文所提方法能很好地识别动态手势,识别率达到了90.76%,高于其他动态手势识别方法,验证了所提方法的有效性和可行性。     

融合双流三维卷积和注意力机制的动态手势识别

得益于计算机硬件以及计算能力的进步,自然、简单的动态手势识别在人机交互方面备受关注。针对人机交互中对动态手势识别准确率的要求,该文提出一种融合双流3维卷积神经网络(I3D)和注意力机制(CBAM)的动态手势识别方法CBAM-I3D。并且改进了I3D网络模型的相关参数和结构,为了提高模型的收敛速度和稳定性,使用了批量归一...     

基于时空压缩特征表示学习的毫米波雷达手势识别算法

针对现有无线射频信号的手势识别研究中的数据预处理和特征利用问题,该文提出一种用于调频连续波(FMCW)雷达的时空压缩特征表示学习的手势识别算法。首先对手部反射的毫米波雷达回波信号的距离-多普勒(RD)图进行静态干扰去除和动目标点筛选,减少杂波对手势信号的干扰,同时减少计算数据量;然后提出一种压缩手势时空特征的表示方法,利用动目标点的主导速度来表示手势的运动特征,实现多维特征的压缩映射,并保留手势运动的关键特征信息;最后设计了一个单通道的卷积神经网络(CNN)来学习和分类多维手势特征信息并应用于多用户和多位置的手势识别。实验结果表明,与现有其他手势识别算法相比,该文提出的手势识别方法在识别精度、实时性以及泛化能力上都具有明显的优势。     

基于多通道调频连续波毫米波雷达的微动手势识别

该文提出一种基于多通道调频连续波(FMCW)毫米波雷达的微动手势识别方法,并给出一种微动手势特征提取的最优雷达参数设计准则。通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱。设计固定帧时间长度拼接的距离-多普勒-时间图特征,与距离-时间特征、多普勒-时间特征、水平方向角度-时间图特征和三者联合特征等,分别对7类微动手势进行表征。根据手势运动过程振幅和速度差异,进行手势特征捕获和对齐。利用仅有5层的轻量化卷积神经网络对微动手势特征进行分类。实验结果表明,相较其他特征,设计的距离-多普勒-时间图特征能够更为准确地表征微动手势,且对未经训练的测试对象具有更好的泛化能力。

     

基于卷积神经网络的手势识别算法研究

基于实现小样本数据集下手势识别的目的,采用了深度卷积神经网络GoogLeNet模型以及PNN神经网络进行分类,同时结合了迁移学习的方法将深度学习模型进行迁移而构建所用模型.用公共数据集Keck Gesture进行实验,通过对数据集图像进行简单的图像预处理,使得图像特征更为明显,将预处理后的图像作为网络输入进行手势识别实...     

基于深度卷积神经网络的手势识别

在手势识别的过程中,手势变化的多样性和手势本身的复杂性会对手势识别的精确性和可靠性带来很大的影响。为了能够实现高准确率的手势识别,文章提出了一种基于深度卷积神经网络(CNN, Convolutional neural network)的手势识别方法。该方法针对22个英文字母(排除了G、S、J和Z)实现静态手势识别,首先选用合适的手势数据集,通过使用Keras(神经网络的高级API)实现卷积神经网络,最终获得较高的识别率,可以达到97%。实验表明,该方法可实现背景单一手势图像的精确识别。     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂.该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法.首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和池化操作对手势特征进行提取,并将这些特征信息输入1维Inception v3结构.最后在网络的末端接入长短期记忆(LSTM)网络来聚合1维特征,充分利用动态手势的帧间相关性,提高识别准确率和训练收敛速度.实验结果表明,该方法实现过程简单,收敛速度快,识别准确率可以达到96.0％以上,高于现有基于数据谱图的手势分类方法.     

基于串联式一维神经网络的毫米波雷达动态手势识别方法

现有的基于雷达传感器的手势识别方法,大多先利用雷达回波对手势的距离、多普勒和角度等信息进行参数估计,得到各种数据谱图,然后再利用卷积神经网络对这些谱图进行分类,实现过程较为复杂.该文提出一种基于串联式1维神经网络(1D-ScNN)的毫米波雷达动态手势识别方法.首先基于毫米波雷达获取动态手势的原始回波,然后利用1维卷积和...     

基于数据增强算法和CNN-LSTM的高精确度手势识别

近年来,基于雷达的手势识别技术在工业和生活中得到了广泛应用,但愈加复杂的应用场景对手势识别算法的准确率和鲁棒性提出了更高要求。对此,设计了一种基于毫米波雷达的高精确度手势识别算法。通过对已有分类算法的研究对比,构建了一种用于手势识别的卷积神经网络-长短期记忆网络(CNN-LSTM)深度学习算法模型;同时,运用布莱克曼窗抑制手势信号处理中的频谱泄露问题,并联合运用小波阈值和动态补零算法实现高效杂波抑制和数据增强。实测结果表明,设计的手势识别算法正确分类率达到97.29%,在不同的距离和角度情况下也可以保持较好的识别准确率,具有良好的鲁棒性。     

基于FMCW雷达的多维参数手势识别算法

该文提出一种基于调频连续波(FMCW)雷达多维参数的卷积神经网络手势识别方法。通过对雷达信号进行时频分析,估计手势目标的距离、多普勒和角度参数,构建出手势动作的多维参数数据集。同时,为了进行手势特征提取和精确分类,提出多分支网络结构和高维特征融合的方案,设计出具有端到端结构的RDA-T多维参数卷积神经网络。实验结果表明,结合手势动作的距离、多普勒和角度信息进行多维参数学习,所提方法有效解决了单维参数手势识别方法中手势描述信息量低的问题,且手势识别准确率相较于单参数方法提高了5%～8%。

     

基于CNN的手势识别技术研究

手势操作作为一种全新的操作方式,在智能设备中得到了广泛应用。传统的手势识别方法需要复杂的预处理过程,识别速度与准确度比较差。文章提出一种基于CNN的手势识别技术,取得了较好的识别效果,识别速度也有明显的提升。     

基于深度卷积神经网络的多特征融合的手势识别

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。     

基于深度卷积神经网络的手势动作识别

针对传统手势识别方法中人工特征提取信息不完整导致的识别率较低以及识别手势类别较少的问题,基于卷积神经网络(Convolutional Neural Network,CNN)的原理,设计了一种深度CNN框架,对多通道的表面肌电信号进行手势动作识别。所应用的表面肌电信号数据来自Ninapro数据库中DB2健康个体数据集,分别识别9种手指动作和49种手势动作(49种手势动作包含9种手指动作),另外40种手势动作是17种基本手势动作和23种手腕动作。对数据集的表面肌电信号数据进行提取均方根值特征,生成12通道的训练集、验证集和测试集。将处理过的表面肌电信号送入到深度CNN中,经过卷积、批次归一化、池化、梯度下降及dropout层处理,仿真测试后,DB2数据集的9种手势动作识别率是99.10%,49种手势动作手势不识别率是64.58%。     

融合双层注意力与多流卷积的肌电手势识别记忆网络

针对表面肌电信号(surface electromyography, sEMG)手势识别使用卷积神经网络(convolutional neural network, CNN)提取特征不够充分,且忽略时序信息而导致识别精度不高的问题,本文创新性地提出了一种融合双层注意力与多流卷积神经网络(multi-stream convolutional neural network, MS-CNN)的sEMG手势识别记忆网络模型。首先,利用滑动窗口生成的表面肌电图像作为该模型的输入;然后在MS-CNN中嵌入通道注意力层(channel attention module, CAM),弱化无关信息,使网络能够更加专注sEMG的有效特征;其次,通过长短期记忆网络(long short term memory network, LSTM)对输入的特征进行时序上的激励,关注更多sEMG的时序信息,让网络在时间维度上拥有更强的学习能力;最后,采用时序注意力(time-sequence attention, TSA)层对LSTM的状态进行关注,从而更好地学习重要肌肉信息,提高手势识别精度。在NinaPro数据集上...     

基于双视角时序特征融合的毫米波雷达手势数字识别研究

疫情常态化背景下,非接触式人机交互在医疗、健康领域蕴藏着巨大的应用前景,其中利用手势识别方法实现非接触式的仪器操控逐渐成为研究热点。对此,该文提出一种利用毫米波雷达双视角时序特征融合来实现手势数字识别的方法,以提高手势识别的鲁棒性和准确性。首先,该文同步采集正面、侧面视角的毫米波雷达手势数字0～9的时序回波数据;接着,对各视角的数据进行预处理,实现杂波抑制、数据压缩;随后提取两方向的距离、速度的时序特征,并就特征的时间相关性构建嵌入注意力机制的双视角时序特征融合网络(ADVFNet);最后,基于实测数据集完成了网络训练、时序特征融合、手势数字识别等步骤。实验结果表明,该文所提方法在实测数据集上识别准确率达到95%,网络收敛速度快、模型泛化能力好,与现有方法相比具有一定优势,为后续毫米波雷达人机交互提供了新思路。     

轻量级(2+1)D卷积结构的动态手势识别研究

目前,基于卷积神经网络的动态手势识别方法取得了巨大的进展,但神经网络模型具有很大的参数量,计算成本和内存占用较大,很难应用在设备资源有限的场合.以减少计算量和参数量为出发点,提出了一种轻量级(2+1)D卷积结构.该结构在(2+1)D卷积结构的基础上,将其中的3D卷积替换为3D深度可分离卷积,在输出向量维度不变的前提下,进一步减少了(2+1)D卷积结构的计算量和参数量.为了弥补时空特征在表征动态手势上的不足,融合注意力机制模块,专注于对运动特征的提取,结合轻量级(2+1)D卷积结构提取的时空特征,可以更好地表征手势动作.实验结果表明,注意力机制模块的插入,在不增加太多额外计算和空间成本的前提下,进一步提高了模型的识别精度.基于以上结构构建的模型,在20BN-jester、EgoGesture和IsoGD数据集上分别取得了96.62%、91.83%和60.1%的识别精度,模型参数量和浮点计算量分别为5.05M和12.81GFLOPs,相比于其他手势识别模型,计算成本和内存占用大大减少,实时手势识别速度达到每秒70帧.     

基于AE-CNN的手势识别算法的探讨及实现

近年,深度学习的发展使得手势识别卷积神经网络取得了突破性进展,但现有基于卷积神经网络的手势识别方法仍存在收敛速度慢、识别率低等问题,因此手势识别很难取得较好成果。通过对CNN训练过程中误差产生的原因及其反馈模型的分析,提出了一种自适应增强卷积神经网络(Adaptively Enhanced Convolution Neural Network,AE-CNN)的识别算法。结果表明,文中算法不仅实现了分类特征的自适应增强,同时也提高了收敛速度和识别率。     

基于改进卷积神经网络的手写体汉字识别

本文针对传统脱机手写体汉字识别特征提取非常困难的问题,文章在GoogLeNet网络的基础上搭建了一个适合脱机手写体汉字识别的卷积神经网络。文章首先介绍了卷积神经网络的基本原理和GoogLeNet网络中Inception模块的特点,然后通过激活函数,批量归一化,加入注意力机制等方法对网络进行优化。实验结果表明,改进后的神经网络准确率达到98.1%,相比于AlexNet,Xinception等卷积神经网络模型的识别准确率有明显的提高。