融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息，对浅层信息利用不够，导致手势识别准确性和实时性较差的问题，提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征；针对手势动作的特点，设计轻量级C3D网络进行特征学习与分类，在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验，实验结果表明，所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于融合模型的人体行为识别方法

可穿戴设备的人体行为识别研究通常是提取传感器数据的特征值,然后结合分类算法识别人体行为动作。针对特征提取与分类器问题,提出一种融合模型的人体行为识别方法(HBRM)。首先将加速度传感器采集的数据转换为二维张量格式,然后结合卷积神经网络(CNN)提取张量的特征,同时考虑到人体行为动作在时间序列上前后具有较强的关联性,提出利用长短期记忆(LSTM)网络进行人体行为动作的识别。由于卷积神经网络在特征提取方面具有较好的性能,且长短期记忆模型擅长处理时间序列问题,因此将这两种模型进行融合理论上具有较好的效果。在WISDM数据集上进行实验,结果表明:该方法对六种人体行为动作的平均识别率达到了96.95%。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

基于异步多时域特征的动态手势识别方法

准确及时地手势识别在增强现实技术中具有重要的意义。针对表征复杂手势序列的时空特征,提出了一种基于异步多时域时空特征的手势识别方法。该方法通过轻量级三维卷积网络提取视频序列的不同时间步态的短期时空特征,通过改进的卷积长短期记忆网络学习长期时空特征,将不同步态的时空特征融合为异步多时域特征,以此来对手势进行分类识别。通过与其他主流方法进行比较,实验结果证明了提出的方法具有较高的动态手势识别率。     

可分离长短期注意力网络的手势识别方法

在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。     

可分离长短期注意力网络的手势识别方法

在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。     

基于浅三维稠密网的多模态手势识别算法

手势识别旨在理解人体的动态手势，是人机交互领域极其重要的交互方式之一。该方法通过将二维稠密网扩展为三维稠密网，并加入Inception结构，提出了一种基于浅三维稠密网的多模态手势识别方法，将其命名为Spatial Temporal 3D（ST3D） dense network。所提出的方法在手势识别公开数据集大规模离散手势数据集（IsoGD）上进行了评估，并取得了目前最好效果。实验证明，所提方法能够有效地学习到视频样本中手势的短期、中期以及长期时空特征。     

基于卷积神经网络的手势识别初探

提出一种用于手势识别的新算法,使用卷积神经网络来进行手势的识别。该算法避免了手势复杂的前期预处理,可以直接输入原始的手势图像。卷积神经网络具有局部感知区域、层次结构化、特征抽取和分类过程等特点,在图像识别领域获得广泛的应用。试验结果表明,该方法能识别多种手势,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

基于可变形卷积神经网络的手势识别方法

卷积神经网络本身具有丰富的特征表达能力和学习能力,但本质上,其模块中几何变换能力是固定的。因此,引入可变形卷积核来改进VGG16的网络结构,搭建名为DCVGG的卷积神经网络结构来进行手势识别的研究。在不同数据集下,基于可变形卷积神经网络的手势识别方法能够直接把RGB图像数据输入网络。最终输出的结果,对手势的平均识别率达到97%以上,有效提高网络的性能,提升卷积神经网络对样本对象的容忍度和多样性,丰富卷积神经网络的特征表达能力,与传统LeNet5、VGG16结构和传统人工特征提取算法相比效果更佳,比传统结构更深,鲁棒性更好,识别率更强,可以为复杂背景下有效识别手势提供参考,具有一定的延拓能力。     

基于长短时记忆和深度神经网络的视觉手势识别技术

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分 析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势 模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮 廓特征提取。其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序 特征,进而分类识别手势。在此基础上,设计了一种空间上下文与时序特征融合的动态手势识 别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明, 该系统 可以快速准确识别动态交警指挥手势,准确率达到94.12%,并对光线、背景和手势形 状变化具有较强的抗干扰能力。     

粒子群优化神经网络在动态手势识别中的应用

为了提高动态手势学习训练速度和识别准确率,本文提出一种基于粒子群优化BP神经网络的动态手势识别方法。首先基于自然人机交互需要,定义一套基于机器视觉的动态手势模型;在获取指尖运动轨迹的基础上,提取动态手势的特征向量作为神经网络的输入;利用改进的PSO算法训练BP神经网络,得到神经网络的权值和阈值;最后利用训练过的神经网络识别基于机器视觉的动态手势。测试结果表明:改进的PSO算法能够提高神经网络训练速度和精度,进而提高动态手势识别准确率。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

融合注意力与时域多尺度卷积的手势识别算法

针对基于深度学习的动态手势识别方法网络规模庞大、提取的时空特征尺度单一、有效特征的提取能力不足等问题,提出了一种深度网络框架。首先,使用时域多尺度信息融合的时空卷积模块改进3D残差网络结构,大幅度缩小网络规模,获得多种尺度的时空感受野特征;其次,引入一种全局信息同步的时空特征通道注意力机制,使用极少量参数构建特征图通道之间的全局依赖关系,使模型更加高效地获取动态手势的关键特征。在自建手势数据集SHC和公开手势数据集SKIG上的实验结果显示,提出的手势识别方法参数量更少且多尺度时空特征提取能力强,识别率高于目前的主流算法。     

双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

基于质心分水岭算法的静态手势分割算法模型

为了解决在类肤色背景下难以从图像中高效地分割出完整静态手势的问题,提出了基于质心分水岭算法（improved centroid watershed algorithm,ICWA）的静态手势分割模型。该ICWA算法可以有效地减少图像梯度对手势分割的影响并完整地提取出肤色区域。此外,本文设计了一种将PCA （principal component analysis）降维和凸性检测算法相结合的方法,可以根据对凸点准确提取手腕的割线。同时,利用卷积神经网络（convolutional neural networks,CNN）在标准数据库上进行了初步的手势自动识别实验。实验结果表明:该分割模型对于9种静态手势的平均识别率达到了97.85%。