一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

一种基于循环时空深度神经网络的手势识别方法

针对表面肌电信号解码模型因缺乏时空信息等重要性表征,面临解码精度低、鲁棒性差等问题,提出了一种基于循环时空深度神经网络的手势识别模型,来提高挖掘表面肌电信号的表征能力。首先,设计多通道卷积神经网络,并融入双向循环神经网络来提取强判别力的时空特征信息。其次,采用通道注意力机制来捕捉时空特征中通道重要性信息,设计基于时空特征的注意力模块以进一步增强时空特征信息。同时,基于特征金字塔网络思想来设计多尺度特征融合模块,从多尺度、多角度获取多级特征信息,提高模型对肌电信号的解码能力。最后,将所提出的手势识别模型在大型手势识别数据库Ninapro上进行测试,结果表明所提方法能有效提高对表面肌电信号的表征挖掘能力,为人体手势动作识别的深度学习建模工作提供借鉴意义。     

融合宽残差和长短时记忆网络的动态手势识别研究

针对现有的动态手势识别方法对长时间序列的时空特征难以精确匹配的问题,提出了一种基于宽残差和双向长短时记忆网络的时空特征一致手势识别方法。首先使用已经训练好的3D卷积神经网络从视频的空间和时间维度同步提取出短时特征,再经双向空间长短时记忆网络同步解析后形成长时空特征连接单元,并作为残差网络的输入。为了验证算法的有效性,使用Kinect传感器构建了一个全新的多模式手势数据集,在三个手势识别公开数据集SLVM、Montalbano和SKIG上的实验表明,提出的方法有很好的性能表现,识别精度超越了目前已公开的最佳识别率。     

结合双流网络和金字塔映射的步态识别

目前,基于深度学习的步态识别方法虽然取得了一定的进展,但数据采集和步态外观的变化仍然是实现精确步态识别所面临的挑战。为了提高网络对时空步态信息的捕捉能力,提出了一种基于步态轮廓流和步态特征差分流的双流网络结构。步态轮廓流以步态轮廓图作为输入,用来提取步态序列中包含的空间步态信息;步态特征差分流则是以步态特征差分图作为输入,用来捕获相邻步态图之间的动态信息。同时,为了充分利用步态序列中的全局和局部信息,提出了多尺度金字塔映射（multi-scale pyramid mapping,MPM）模块,并插入到各单流网络中以增强网络对全局和局部步态信息的提取能力。所提方法在步态数据集CASIA-B和OU-MVLP上的平均识别精度分别达到了87.0%和85.5%,这表明双流网络架构和MPM模块可以有效地捕获步态序列中的时空步态信息。     

融合多尺度特征的复杂手势姿态估计网络

目的 基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法 1）采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2）在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3）计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4）综合以上结果获得最终的手势姿态。结果 采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在In...     

Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息，对浅层信息利用不够，导致手势识别准确性和实时性较差的问题，提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征；针对手势动作的特点，设计轻量级C3D网络进行特征学习与分类，在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验，实验结果表明，所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。     

融合手势全局运动和手指局部运动的动态手势识别

传统基于手部轮廓或手部运动轨迹的动态手势识别方法,其提取的特征通常难以准确表示动态手势之间的区别.针对动态手势的复杂时序、空间可变性、特征表示不准确等问题,提出一种融合手势全局运动和手指局部运动的手势识别方法.首先进行动态手势数据预处理,包括去除手势无效帧、手势帧数据补全和关节长度归一化;然后根据给定的手部关节坐标,利用手势距离函数分段提取动态手势关键帧,并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征;其次融合手势全局运动和手指局部运动的关键帧手势特征,并采用线性判别分析进行特征降维;最后利用带高斯核的支持向量机实现动态手势识别与分类.对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验,其分类识别准确率分别为98.57%和88.29%,比现有方法分别提高11.27%和4.89%.实验结果表明,该方法能准确地表征动态手势并进行手势识别.     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进...     

结合坐标转换和时空信息注入的点云人体行为识别

目的 行为识别中广泛使用的深度图序列存在着行为数据时空结构信息体现不足、易受深色物体等因素影响的缺点,点云数据可以提供丰富的空间信息与几何特征,弥补了深度图像的不足,但多数点云数据集规模较小且没有时序信息。为了提高时空结构信息的利用率,本文提出了结合坐标转换和时空信息注入的点云人体行为识别网络。方法 通过将深度图序列转换为三维点云序列,弥补了点云数据集规模较小的缺点,并加入帧的时序概念。本文网络由两个模块组成,即特征提取模块和时空信息注入模块。特征提取模块提取点云深层次的外观轮廓特征。时空信息注入模块为轮廓特征注入时序信息,并通过一组随机张量投影继续注入空间结构信息。最后,将不同层次的多个特征进行聚合,输入到分类器中进行分类。结果 在3个公共数据集上对本文方法进行了验证,提出的网络结构展现出了良好的性能。其中,在NTU RGB+d60数据集上的精度分别比PSTNet（point spatio-temporal network）和SequentialPointNet提升了1.3%和0.2%,在NTU RGB+d120数据集上的精度比PSTNet提升了1.9%。为了确保网络模型的鲁棒性,在MSR Action3D小数据集上进行实验对比,识别精度比SequentialPointNet提升了1.07%。结论 提出的网络在获取静态的点云外观轮廓特征的同时,融入了动态的时空信息,弥补了特征提取时下采样导致的时空损失。     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

基于动态特征蒸馏的水工隧洞缺陷识别方法

针对水工隧洞缺陷识别任务中现有深度卷积神经网络（DCNN）对缺陷图像特征提取能力不足、识别种类少、推理耗时长的问题,提出一种基于动态特征蒸馏的缺陷自主识别方法。首先,通过深度曲线估计网络对图像进行优化,从而改善低照度环境下的图像质量;其次,构建加入注意力机制的动态卷积模块取代传统静态卷积,并且把得到的动态特征用于训练教师网络以获得更好的模型特征提取能力;最后,在知识蒸馏框架中融合鉴别器结构,以构造一种动态特征蒸馏损失,并通过鉴别器将动态特征知识从教师网络传递到学生网络,从而在大幅减少模型推理时间的同时实现六类缺陷的高精度识别。在四川某水电站水工隧洞缺陷数据集上对该方法和原有残差网络进行对比实验,结果表明该方法可达到96.15%的识别准确率,其模型参数量和推理时间分别降低到原来的1/2和1/6。通过实验结果可知,将缺陷图像的动态特征蒸馏信息融合到识别网络中能够提高水工隧洞缺陷的识别效率。     

特征引导的多模态聚合低光环境行为识别方法

诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG). 首先,设计分层骨架特征融合网络(HSFIE),利用光照增强算法提升低光场景的骨架提取能力,采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征,改善低光场景下因骨架缺失造成的精度下降问题;其次,设计高效表观特征提取模块(EAFEM),采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征;接着,设计特征引导多模态聚合网络(MNF),利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互,实现行为特征的全面性表征;最后,采用全连接层进行特征分类,完成行为识别.实验结果表明,所提出方法可以较好地适用于低光环境下的人体行为识别任务.