一种基于MEM-LBP的动作特征提取及识别方法*

针对动作识别中如何有效地利用人体运动的三维信息的问题,提出一种新的基于深度视频序列的特征提取和识别方法。该方法首先运用运动能量模型（MEM）来表征人体动态特征,即先将整个深度视频序列投影到三个正交的笛卡儿平面上,再把每个投影面的视频系列划分为能量均等的子时间序列,分别计算子序列的深度运动图能量从而得到运动能量模型（MEM）。然后利用局部二值模式（LBP）描述符对运动能量模型编码,进一步提取人体运动的有效信息。最后用 范数协同表示分类器进行动作分类识别。在MSRAction3D、MSRGesture3D数据库上测试所提方法,实验结果表明该方法有较高的识别效果。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

多模态人体运动同步数据集

人体运动数据集是运动数据去噪、运动编辑及运动合成等研究的重要基础.为支撑更具通用性的多模态数据融合研究,设计并采集一套公开的多模态人体运动数据集是亟待解决的问题.首先设计基于传感器的动作捕捉设备采集精准的运动数据、基于体感设备采集的粗糙运动数据、基于惯性测量单元采集的局部惯性数据的采集环境;然后基于网络时间协议实现设备间时序同步,以及多模态数据间的空间同步;最后分类采集了全身运动多模态数据集(HFUT multimodal motion dataset, HFUT-MMD),包含12位采集者进行6类运动的总计6 971 568帧数据.利用已有算法在HFUT-MMD数据集上的实验结果表明,低精度运动数据经过模型优化能够得到与精准的运动数据相近的运动数据,佐证了各模态数据间的一致性.     

基于智能手机和神经网络的人体动作识别方法

人体动作识别在医疗健康领域应用广泛.基于智能手机搭建了一套人体动作监测平台.实验中通过智能手机内置的三轴线性加速度计和陀螺仪作为传感器,采集六类人体日常动作传感器信号.为了满足智能手机算力有限和系统对于实时性的要求,结合日常动作具有动态和静态的特点,提出一种分层提取特征和神经网络的策略融合信息,实现对六类日常动作的分类...     

基于深度学习的人体动作识别方法

针对人体动作深度视频的四维信息映射到二维空间后,动作分类容易发生混淆的问题,提出一种基于深度学习的人体动作识别方法。首先构建空间结构动态深度图,将深度视频的四维信息映射到二维空间,进行信息降维处理;然后提出基于联合代价函数的深度卷积神经网络,结合交叉熵损失函数与中心损失函数作为联合代价函数,指导卷积层学习到更具分辨力的深度特征,以进行更精确的分类。在MSRDailyActivity3D和SYSU 3D HOI两个数据集的实验结果表明,与现有方法相比,该方法识别率得到了较明显的提升,验证了其有效性和鲁棒性。该方法较好地解决了动作分类容易发生混淆的问题。     

基于新投影策略的人体行为识别方法研究

为解决微小动作识别率低的问题,提出一种结合新投影策略和能量均匀化视频分割的多层深度运动图的人体行为识别方法。首先,提出一种新的投影策略,将深度图像投影到三个正交笛卡尔平面,以保留更多的行为信息;其次,基于整个视频的多层深度运动图图像虽然可反映整体运动信息,但却忽略了很多细节,采用基于能量均匀化的视频分割方法,将视频划分为多个子视频序列,可以更加全面地刻画动作细节信息;最后,为描述多层深度运动图图像纹理细节,采用局部二值模式作为动作特征描述子,结合核极端学习机分类器进行动作识别。实验结果表明：在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上,本文算法准确率分别达94.55%和95.67%,与现存许多算法相比,有更高的识别率。     

基于卷积神经网络的雷达人体动作识别方法

利用雷达来识别人体动作对环境要求较低,且避免了摄像头带来的的隐私问题。针对这种需求,提出一种基于超宽带雷达和深度学习算法的人体动作识别方法。利用超宽带雷达的高距离分辨力,并针对人体动作的动态特性,提取出人体目标的距离-时间二维特征,弥补单一距离特征的不足。针对特征图采用一种经过优化的卷积神经网络进行识别。通过SIR-20高速探地雷达平台进行数据采集,对8种不同的人体动作进行识别,最终达到了平均99.2%的正确识别率,验证了该方法的可行性和有效性。     

多模态零样本人体动作识别

目的 在人体行为识别算法的研究领域,通过视频特征实现零样本识别的研究越来越多。但是,目前大部分研究是基于单模态数据展开的,关于多模态融合的研究还较少。为了研究多种模态数据对零样本人体动作识别的影响,本文提出了一种基于多模态融合的零样本人体动作识别（zero-shot human action recognition framework based on multimodel fusion, ZSAR-MF）框架。方法 本文框架主要由传感器特征提取模块、分类模块和视频特征提取模块组成。具体来说,传感器特征提取模块使用卷积神经网络（convolutional neural network, CNN）提取心率和加速度特征;分类模块利用所有概念（传感器特征、动作和对象名称）的词向量生成动作类别分类器;视频特征提取模块将每个动作的属性、对象分数和传感器特征映射到属性—特征空间中,最后使用分类模块生成的分类器对每个动作的属性和传感器特征进行评估。结果 本文实验在Stanford-ECM数据集上展开,对比结果表明本文ZSAR-MF模型比基于单模态数据的零样本识别模型在识别准确率上提高了4 %左右。结论 本文所提出的基于多模态融合的零样本人体动作识别框架,有效地融合了传感器特征和视频特征,并显著提高了零样本人体动作识别的准确率。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

视频中适应光照可变情况下的人脸识别方法

提出一种结合使用自适应直方图均衡(AHE)、Gabor滤波器及局部三值模式(LTP)描述器进行视频中上下左右和正面光照条件下识别人脸的方法。首先,使用AHE对来自YaleB与CMU-PIE数据库的人脸图片进行降噪处理。然后用Gabor滤波器进行卷积,提取出相应的Gabor特征图,针对每一个Gabor特征图利用LTP描述器提取出局部邻域关系模式。最后由这些模式的区域直方图形成的序列来描述人脸。YaleB人脸库以及CMUPIE人脸库验证该方法的有效性。     

基于兴趣点多特征融合的物体识别方法

提出一种基于兴趣点多种特征融合的物体识别方法。利用简化的局部二值模式算子去除Harris冗余角点,提取感兴趣区域的3种特征并加权融合特征,在K最近邻(KNN)方法中引进加权因子计算特征距离函数,得到合适的分类器。实验结果表明,该方法能有效提高物体识别的正确率。     

基于函数型数据分析方法的人体动态行为识别

人体运动过程中,肢体的运动是连续的,而对应的运动捕捉数据是离散的.为了更好地分析人体日常运动行为的连续性与周期性,本文提出了一种基于函数型数据分析（Functional data analysis,FDA）的人体动态行为识别方法.首先,利用函数型数据分析方法,将可穿戴式运动捕捉系统采集的人体周期行为数据函数化,通过函数准确地定义数据的连续性与周期性;然后,根据导函数信息确定一个运动周期的起始点,并近似地提取出一个运动周期的数据序列;最后,根据不同行为一个周期内的曲线特征差异,利用支持向量机对动态行为进行分类识别.实验结果表明,本文的算法既能够较好地描述人体动态行为的连续性与周期性,又使得运动数据在标定的统一起始点处对齐,且在WARD数据集与自采集数据集上均取得了较好的识别率,分别达到97.5%与98.75%.     

基于机器视觉的3D人体动作识别研究

基于人体模型对目标进行跟踪,根据可见光传感器获取的二维图像信息与红外传感器获取的深度信息,利用旋转矩阵处理相关联接点动作实现人体动作识别。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

基于视觉注意力的人体行为识别

视频中人体行为识别是近年来计算机视觉中的一个重要研究领域,但是现有的方法对于视频表示方式存在不足,无法聚焦于图像内的显著区域.提出了一种基于视觉注意力的深度卷积神经网络,可以有效地为视频表示特征附加一个权重,对特征中的有益区域进行注意,实现更加准确的行为识别.在自建的Oilfield-7油田数据集和HMDB51数据集上进行了实验,以此来验证适用于油田现场人体行为所提出的网络模型的有效性.实验结果表明,所提的方法与已取得优异表现的双流架构相比具有一定的优越性.     

基于深度学习的人体动作识别综述

人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用.根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较.然后,从场景相关和时间相关两方面,全面归纳了常用的动作视...     

基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D...     

基于信道状态信息的非接触式人员动作识别方法

传感器与摄像头等设备的传统动作识别存在受环境影响大及侵犯用户隐私等问题,以京剧动作为研究对象,提出一种非接触式人员动作识别方法Wi-Opera.在离线阶段采集Wi-Fi路由设备上人体动作的信道状态信息(CSI)数据,利用巴特沃斯低通滤波器和小波变换方法对CSI数据分别进行去噪和平滑处理,通过主成分分析算法提取动作的特征...