基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型. 该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类; 将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取; 并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系. 实验在公开的KTH数据集     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

基于3D SE-Densenet网络的视频暴力行为识别改进算法

针对传统暴力行为识别算法精度不高和三维卷积神经网络参数多的问题,本文提出一种基于3D SE-Densenet网络的视频暴力行为识别改进算法。采用3D Densenet模型提取视频中的时空特征信息,SENet(Squeeze-and-Excitation Networks)按照时空特征的重要性程度进行加权处理,根据加权的时空特征识别视频中的暴力行为。实验结果表明,本文提出的3D SE-Densenet方法在Hockey Fights Dataset和Movies Dataset上识别准确率分别达到99.1%和100%,可较准确地识别暴力行为,准确率高于传统方法。     

面向语义通信的3D骨骼点数据编码与压缩方法

随着万物智联成为时代所趋,传统视频编码与压缩方法难以有效去除视频数据中的大量冗余信息,势必会降低传输效率。针对这一挑战,提出了一种面向语义通信的3D骨骼点数据信源编码与压缩方法（DMDCT）。针对骨骼点数据中的冗余问题,从语义概念出发,提出多尺度骨骼点表示方法,自适应地描述参与每个不同动作语义的骨骼点运动的状态的同时保留人体骨骼架构;引入离散余弦变换（DCT）从频域层面分离多尺度骨骼点表示的直流分量与交流分量,进一步减少了整体数据量。区别于传统通信传输原始视频数据的方式,结合语义通信只传输与高层任务相关的骨骼点数据,提高了数据传输效率。在公开数据集NTU RGB+D上以动作识别为例的实验表明,DMDCT在同等压缩率下,TOP-1准确率比同类算法提高了约5%,且仅保留10%DCT系数仍可达到74.2%的准确率,而数据量仅为原始数据量的6%。     

基于Zernike矩的人体行为识别

为了保证特征提取的有效性,更完备地描述人体行为序列,提出了一种基于Zernike矩的人体行为识别方法.该方法利用规范化的运动历史图像(MHI)进行图像序列的表示,从中提取出基于Zernike矩的统计描述作为特征向量进行识别.同时,提出了一种利用图像的重建过程确定分类时采用的Zernike矩的最高阶次的算法.实验中,对8类不同的人体行为进行了测试.应用Zernike矩特征的分类精度高于用规则矩和Hu矩作为特征的方法,证明了基于Zernike矩的人体行为识别方法的有效性.     

基于深度视频的人体行为特征表示与识别

深度视频中的人体行为的识别研究主要集中在对深度视频进行特征表示上,为了获得具有判别性的特征表示,首先提出了深度视频中一种基于表面法向信息的局部二值模式( local binary pattern, LBP)算子作为初级特征,然后基于稀疏表示模型训练初级特征字典,获取初级特征的稀疏表示,最后对用自适应的时空金字塔划分的若干个子序列使用时空池化方法进行初级特征与稀疏系数的规格化,得到深度视频的高级特征,最终的特征表示实现了深度视频中的准确的人体行为识别。在公开的动作识别库MSR Action3D和手势识别库MSR Gesture3D上的实验证明了本文提出的特征表示的有效性和优越性。     

一种基于CSI的人体动作计数与识别方法

WiFi信道状态信息（CSI）被广泛应用于被动式（非侵入式）人体行为判断,为使用现有商用设备实现人体连续动作计数与识别,提出了一种Wi-ACR方法.先利用阈值和活动指标检测出一组连续动作发生的区间和时间,再通过peak-find算法统计出动作的数量,并确定每个动作的开始和结束时间;再分别采用基于波形特征的动作识别模型和基于统计特征的动作识别模型,得到动作识别结果.实验评估结果表明,Wi-ACR对动作计数的准确率可达95%,两类识别模型对于2个动作（深蹲和走）的平均识别精准率为90%.     

基于多层脑功能网络特征的动作意图识别

基于脑电信号完成对步态特征的解码分析并就动作意图做出可靠识别和预测,是基于脑机接口的人机混合康复训练系统和智能助行机器人中的核心问题。为实现对站立、坐下以及静止状态这些最基本步态过程的分类识别,提出了基于多层脑功能网络分析的特征表示方法,结合对各类脑功能网络特征的统计分析,确定对不同动作敏感的网络特征量,并结合支持向量机、线性判别分析、逻辑回归以及朴素贝叶斯算法完成对不同动作过程的分类识别。实验结果表明,所提出的方法可较好地实现对上述动作意图的识别,针对13名被试者对站立、坐下和静止状态的识别准确率均高于71%,最高达到77%。对多层动态脑功能网络的分析结果表明,下肢运动过程的发生会弱化脑区间的相互依赖关系,导致网络拓扑连接结构变得逐渐稀疏。研究结果对理解下肢运动过程中大脑认知过程变化,开展基于脑机接口的下肢康复策略研究和康复系统开发具有一定的参考价值。     

混合CNN-HMM的人体动作识别方法

针对当前人体动作识别算法检测精度不佳和实验场景多样性的问题,提出了一种混合卷积神经网络?隐马尔可夫模型(CNN-HMM)的人体动作识别方法。建立了抬腿、深蹲和仰卧臀桥3组分别包含1个标准动作姿态和5个非标准动作姿态的人体康复训练动作模型库,结合可穿戴式惯性动作捕捉系统PN2.0获取实验数据。最后从准确率、灵敏度和特异性3个方面进行性能评估。实验结果表明,该方法能够以较高识别率将6种不同动作姿态区分开,其平均识别准确率为97.00%,相较于单一CNN方法提高了5.78%。     

基于动作轮廓特征的人体动作识别

提出了一种人工挑选关键帧的人体动作识别方法.先从标准视频中提取出能代表姿势的关键动作,然后对待测视频中每一帧图像中人体动作和关键动作比较分类来确定动作时间的相关度和相似度.实验结果表明人工挑选关键帧具有数量少和动作代表性强的特性,基于动作轮廓特征的人体动作识别方法在识别速度上比传统的方法快,识别率也较高.     

利用双目视觉视频的实时三维裸手手势识别

为了解决三维裸手手势识别算法识别率低、易受类肤色物体干扰的问题,提出一种利用双目视觉视频的三维裸手手势识别算法．首先依据双目视觉原理推导出三维空间内手势深度与手势面积的关系,基于此关系对三维手势进行快速识别．为进一步降低算法复杂度,根据极线约束规则提出一种只计算手势质心匹配点的立体匹配算法．实验结果表明,与现有算法相比,所提算法性能在处理速度、识别准确率、鲁棒性方面均有明显提高．同时,提出的算法具有较强的开放性,可进一步根据需求定义、添加需识别的三维手势．     

基于智能手机感知的人体运动状态深度识别

为提高智能手机对人体运动状态识别的准确率,提出一种基于并联卷积神经网络（PCNN）的深度识别方法.首先,使用三维数据矩阵规范传感器数据输入格式;其次,使用2个PCNN分别对人体运动的加速度传感器和陀螺仪数据进行卷积和池化操作,实现部分权重共享;最后,在全连接层对两组卷积神经网络进行合并,并使用softmax函数对人体运动状态进行分类.实验结果表明,采用该方法可以从传感器原始数据中提取人体运动状态的深层特征,与传统的机器学习方法相比较,提高了运动状态的识别率.     

基于Log-Gabor和ULBP改进算法的人脸识别

为进一步提升人脸识别系统的识别率,加强其对光照、表情、姿态变化的鲁棒性,针对人脸识别中的特征提取问题,提出一种基于Log-Gabor与均匀局部二值模式（Uniform Local Binary Pattern,ULBP）改进算法的人脸识别方法。该算法采用多尺度、多方向Log-Gabor滤波器对图像进行滤波来提取Log-Gabor特征,再通过旋转不变均匀模式的LBP进行运算编码,并利用局部空间直方图来描述人脸,最后通过加权的卡方距离对直方图匹配完成人脸识别。在Yale、GT人脸数据库上的测试结果表明,该方法具有更好识别性能,且对环境鲁棒性较好。     

基于改进支持向量机的人手动作模式识别方法

为了提高基于表面肌电信号（sEMG）控制的手部运动康复器对人手多种动作模式的识别率,比较常规支持向量机（SVM）多类分类器的特点,提出改进的决策树支持向量机多类分类方法.该方法引入基于sEMG特征向量的类间距离可分性测度来指导决策树的构建,能够为每个SVM子分类器的训练提供识别率较高的样本划分方案,在提高决策树内部节点分类成功率的同时,简化了分类器结构.通过实验对比可知,新方法在20种手部动作模式的识别训练过程中,单项动作最低识别率较常规决策树方式提高了7.1%,平均识别率达到88.9%,训练速度较一对一支持向量机分类器提高了5.8%.     

基于FPGA的人体行为识别系统的设计

为实现边缘端人体行为识别需满足低功耗、低延时的目标,本文设计了一种以卷积神经网络(CNN)为基础、基于可穿戴传感器的快速识别系统.首先通过传感器采集数据,制作人体行为识别数据集,在PC端预训练基于CNN的行为识别模型,在测试集达到93.61%的准确率.然后,通过数据定点化、卷积核复用、并行处理数据和流水线等方法实现硬件加速.最后在FPGA上部署识别模型,并将采集到的传感器数据输入到系统中,实现边缘端的人体行为识别.整个系统基于Ultra96-V2进行软硬件联合开发,实验结果表明,输入时钟为200 M的情况下,系统在FPGA上运行准确率达到91.80%的同时,识别速度高于CPU,功耗仅为CPU的1/10,能耗比相对于GPU提升了91%,达到了低功耗、低延时的设计要求.     

人体动作数据编码与CNN精确识别

人体动作的精确识别面临多方面的挑战,特别是动作采集易受光照强度的影响、动作特征描述不清楚和易物理变形。为了降低这些不利因素的影响,提高动作的识别精确度,该文从3个步骤展开研究:首先,对Kinect提取的人体关节数据进行预处理,从而克服光照问题;随后,使用针对性编码方法对人体动作数据进行编码,进而利用卷积神经网络(convolutional neural network,CNN)自动提取人体动作特征,解决动作特征描述的难题;最后,使用SoftMax完成复杂动作的识别。实验表明,该文算法具有较高的识别准确率和泛化能力,其F₁值普遍在0.8以上;在单一属性测试中,复合属性数据比被复合的单一属性数据更有优势,F₁值可达0.916;混合属性测试的F₁值相比单一属性测试有所下降,下降幅度最高可达约25%。     

三维人体运动跟踪中形状特征表述重建

针对在重建三维人体运动跟踪形状特征时,人体运动姿态重建结果与真实值具有较大偏差且不能长时间有效跟踪的问题,提出基于联合优化法的三维人体运动跟踪形状特征表述重建方法.采用POCS算法将三维人体运动跟踪中的形状捕捉问题转换为正则规划问题,实现对三维人体运动跟踪中的形状捕捉.采用Bayes理论统计估计方法,将捕捉到的形状数学建模问题转化为目标函数最大化问题.采用Fisher线性判别分析法对三维人体运动跟踪中的形状特征点进行自动定位,利用联合优化法重建已经定位的形状特征表述.结果表明,所提方法可以有效捕捉三维人体运动跟踪中的形状特征,且重建精度较高,准确性较好.     

融合局部特征与深度学习的三维掌纹识别

为了探索三维掌纹在生物特征识别领域的应用,基于局部纹理特征和深度学习,提出一种有效的三维掌纹识别方法. 通过曲率特征、形状指数、表面类型分别来描述三维掌纹的局部几何特征,将其作为深度神经网络的输入,完成三维掌纹识别任务. 在香港理工大学的三维掌纹数据库上对不同的几何特征、不同的深度神经网络模型进行全面分析与比较. 三维掌纹识别实验结果表明,与其他三维掌纹识别方法相比较,所提方法的识别率更高,识别时间更短,在实时掌纹识别领域具有较大的应用潜力.     

小波分解在移动用户行为识别中的应用

针对目前行为识别通用模型对步行、上楼、下楼等易混淆行为识别准确率较低的情况,提出了一种基于小波分解的移动用户行为识别方法,从小波分解后不同频率子信号的低频近似系数中提取小波能量、小波峰个数和平均波峰幅值等特征,基于决策树分类器建立与用户无关的行为识别通用模型. 分别用典型时域特征数据集和小波特征数据集对该通用模型进行验证. 实验结果表明,采用新方法后,3种易混淆行为的平均识别准确率提高了14.82%,减少了误判.     

基于判别性区域提取的视频人体动作识别方法

针对全局特征描述过分依赖精确定位、背景减除和跟踪技术等问题,同时也为了解决视角变化、噪声和遮挡等干扰带来的影响,对基于局部特征描述的视频人体动作识别方法进行了研究,提出了一种基于判别性区域提取的视频人体动作识别方法.首先通过迭代训练和筛选过程对视频的内容进行分析和学习,自动提取视频中有代表性和区分性的判别性区域,然后使用词袋模型对提取到的判别性区域进行统计和描述,最后采用支持向量机方法确定人体运动的类型.在KTH和Youtube数据集上分别对提出的方法进行了论证,结果表明:该方法具有较高的识别准确率,同时对复杂背景等干扰不敏感.