基于累积边缘图像的现实人体动作识别

为了从现实环境下识别出人体动作,本文研究了从无约束视频中提取特征表征人体动作的问题. 首先,在无约束的视频上使用形态学梯度操作消除部分背景,获得人体的轮廓形状; 其次,提取某一段视频上每一帧形状的边缘特征,累积到一幅图像中,称之为累积边缘图像 (Accumulative edge image, AEI); 然后,在该累积边缘图像上计算基于网格的方向梯度直方图(Histograms of orientation gradients, HOG),形成特征向量表征人体的动作, 送入分类器进行分类. YouTube数据集上的实验结果表明,本文的方法比其他方法更加有效.     

基于深度运动图和密集轨迹的行为识别算法

为了融合深度图中不易受光照等环境因素影响的深度信息和RGB视频序列中丰富的纹理信息,提出一种基于深度运动图（Depth Motion Maps,DMMs）和密集轨迹的人体行为识别算法。利用卷积神经网络训练DMMs数据并提取高层特征作为行为视频的静态特征表示,使用密集轨迹来描述RGB视频序列的动态运动信息,将行为视频的静态特征和动态特征串联,作为整个视频的行为特征表示并输入到线性支持向量机（Support Vector Machine,SVM）进行识别。实验结果表明,在公开的动作识别库UTD-MHAD和MSR Daily Activity 3D上,该算法能够有效提取深度信息和纹理信息,并取得了较好的识别效果。     

动态多视角复杂3D人体行为数据库及行为识别

提供了一个较大规模的基于RGB-D摄像机的人体复杂行为数据库DMV (Dynamic and multi-view) action3D,从2个固定视角和一台移动机器人动态视角录制人体行为。数据库现有31个不同的行为类,包括日常行为、交互行为和异常行为类等三大类动作,收集了超过620个行为视频约60万帧彩色图像和深度图像,为机器人寻找最佳视角提供了可供验证的数据库。为验证数据集的可靠性和实用性,本文采取4种方法进行人体行为识别,分别是基于关节点信息特征、基于卷积神经网络（Convolutional neural networks,CNN)和条件随机场(Conditional random field,CRF)结合的CRFasRNN方法提取的彩色图像HOG3D特征,然后采用支持向量机(Support vector machine,SVM)方法进行了人体行为识别;基于3维卷积网络（C3D）和3D密集连接残差网络提取时空特征,通过softmax层以预测动作标签。实验结果表明：DMV action3D人体行为数据库由于场景多变、动作复杂等特点,识别的难度也大幅增大。DMV action3D数据集对于研究真实环境下的人体行为具有较大的优势,为服务机器人识别真实环境下的人体行为提供了一个较佳的资源。     

基于DenseNet和深度运动图的行为识别算法

结合深度信息以及RGB视频序列中丰富的纹理信息,提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构,首先获取彩色纹理信息和光流信息,然后从同步的深度视频序列获取深度信息,以增强特征互补性;再将空间流、时间流和深度流三种特征信息分别作为网络的输入;最后通过LSTMs进行特征融合和行为分类。实验结果表明,在公开的动作识别库UTD-MHAD数据集上,该算法识别准确率为92. 11%,与该领域中的同类算法相比表现优异。     

智能视频监控系统中多视角识别技术优化

视频监控被广泛地应用到各种领域,但目前大部分视频监控需要人为值守,成本高且容易遗漏信息.将方向梯度直方图(Histogram of Oriented Gradient,HOG)图像特征处理技术与智能支持向量机分类算法进行有机融合,通过多视角图像贝叶斯(Bayes)算法进行深度优化.经过对照实验分析得出,HOG-SVM智...     

基于三维时空直方图特征的人体行为识别

提出一种基于三维时空直方图特征的人体行为识别方法。通过引入时间维度构建三维时空概念,探索时空中梯度方向信息,由梯度方向经过空间中不同的区域形成梯度直方图,获取时空特征矩阵,结合K均值聚类提取时空直方图特征来描述人体行为;采用图像显著性检测算法,获取人体行为轮廓,从轮廓图中提取二维轮廓特征;将获得的特征输入支持向量机进行训练以及人体行为识别。实验结果表明,相比其它特征描述的方法,该方案对人体行为的特征描述更丰富,识别准确率更高。     

基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题, 然而目前大部分算法都是仅使用RGB或深度视频序列, 很少将它们结合起来进行行为识别。由于它们都有各自的优点且信息是互补的, 因此文中研究深度图像和RGB图像的特性, 不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法, 而且将它们有效融合, 进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估。大规模实验结果表明, 文中提出的行为描述算法性能比一些最具代表性算法的性能更好。同时, 深度数据和RGB图像融合后算法性能得到进一步提高, 比单独使用深度数据或RGB图像的性能更好, 且具有较好的区分性和鲁棒性。     

基于PE-Cuboid特征的人体行为识别算法

为了克服单纯使用局部时空兴趣点(spatial-temporal interest point,STIP)的方法在对视频序列中人体行为进行识别时提取的特征点太少,且其不能完整的表征图像的特征,提出一种结合局部特征和全局特征的特征描述子PE-Cuboid,能有效的提高人体行为识别的正确率。对每一个视频序列提取PE-Cuboid特征,利用像素变化概率图(PCRM)和边缘方向直方图(EOH)捕捉全局运动信息,局部的Cuboid描述子对全局特征做进一步区分,对最终生成的PE-Cuboid特征进行K-means聚类形成视觉词汇本(visual dictionary),将视觉词汇本输入到线性SVM分类器(linear Support Vector Machines,LSVM)中进行学习、训练、分类,最后采用打分的机制得到行为类别。该文算法在KTH、Weizmann行为数据库和我们自拍测试集中都做了测试,实验结果显示算法具有较高的识别率。     

利用深度视频中的关节运动信息研究人体行为识别

由于计算开销大等原因,基于RGB视频和人工特征的行为识别方法在近些年的研究进展比较缓慢。相对于RGB视频,深度视频能提取运动物体的几何结构信息,不会随着光线的变化而变化,因此在视频分割、行为识别等视觉任务中比RGB视频具有更好的区分性。以深度视频中的关节运动信息为基础,提出一种简单而有效的人体行为识别方法。首先,根据深度视频中人体关节信息分别提取表示关节之间角度和相对位置的2个特征向量,然后使用LIBLINEAR分类器分别对提取的2个特征向量进行分类识别,最后,通过融合其分类结果得到最终的行为识别结果。该提取的特征仅包括关节间的相对位置和角度信息,不会因视角的变化而变化,具有一定的视角不变性。实验结果表明,所提出方法在UTKinect-Action3D数据集上能够获得与当前最好方法一致的识别效果,而且该方法具有很低的时间开销,实时性好。     

基于多特征融合的运动人体行为识别

提出了一种基于特征级融合的运动人体行为识别方法。应用背景差分法和阴影消除技术获得运动人体区域和人体轮廓;采用R变换提取人体区域特征,采用小波描述子提取人体轮廓特征;然后将这两种具有一定互补性的特征采用K-L变换进行融合,得到一个分类能力更强的特征;最后,在传统支持向量机的基础上,结合模糊聚类技术和决策树构建多级二叉树分类器,从而实现行为多类分类。该方法在Weizmann行为数据库上进行了实验,实验结果表明所提出的识别方法具有较高的识别性能。     

结合特权信息的人体动作识别

目的 采用传统的2维特征提取方法,很难从视频中准确地捕获出人体的关节点位置,限制了识别率的上限。采用深度信息的3维特征提取能提升识别率,但高维空间运算复杂度高,很难实现实时识别,受应用场景限制。为克服上述难点,提出一种基于3维特权学习的人体动作识别方法,将3维信息作为特权信息引入到传统的2维动作识别过程中,用来识别人体动作。方法 以运动边界直方图密集光流特征、Mosift（Motion SIFT）特征和多种特征结合的混合特征作为2维基本特征。从Kinect设备获得的深度信息中评估出人体的关节点信息,并用李群算法处理得到3维特征作为特权信息。特权信息在经典支持向量机下的识别效果优于2维基本特征。训练数据包含2维基本特征和3维特权信息,测试数据只有2维基本特征。通过训练样本学习,得到结合特权信息的支持向量机（SVM+）,使用该向量机对测试样本进行分类,得到人体动作识别结果。结果 在UTKinect-Action和Florence3D-Action两个人体动作数据集上进行实验。引入特权信息后,人体动作识别率较传统2维识别有2%的平均提升,最高达到9%。SVM+分类器对参数的敏感性较SVM下降。结论 实验结果表明,本文方法较以往方法,在提升识别准确率的同时,降低了分类器对参数的敏感性。本文方法仅在训练过程中需要同时提取2维基本特征和3维特权信息,而在测试过程中无需借助深度信息获取设备提取3维特权特征信息,学习速度快,运算复杂度低,可广泛应用于低成本,高实时的人体动作识别场合。     

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

基于改进HOG特征的建筑物识别方法

随着机器学习方法的广泛应用,建筑物识别技术得到了快速的发展,识别的准确性一直是人们关注的重点。梯度方向直方图（HOG）特征提取方法中的梯度求解方式不能有效提取建筑物的边界特征,直接影响了识别的准确性,提出基于方向可控滤波器的HOG算法,利用支持向量机学习方法实现建筑物的识别。实验结果表明,该方法在平均准确率、TP、FP、召回率、精确率和F1值等指标上优于基于方向可控滤波器的建筑物识别方法,证明了该方法可以有效识别建筑物。     

基于深度学习的人体动作识别方法

针对人体动作深度视频的四维信息映射到二维空间后,动作分类容易发生混淆的问题,提出一种基于深度学习的人体动作识别方法。首先构建空间结构动态深度图,将深度视频的四维信息映射到二维空间,进行信息降维处理;然后提出基于联合代价函数的深度卷积神经网络,结合交叉熵损失函数与中心损失函数作为联合代价函数,指导卷积层学习到更具分辨力的深度特征,以进行更精确的分类。在MSRDailyActivity3D和SYSU 3D HOI两个数据集的实验结果表明,与现有方法相比,该方法识别率得到了较明显的提升,验证了其有效性和鲁棒性。该方法较好地解决了动作分类容易发生混淆的问题。     

Human motion recognition using support vector machines

We propose a motion recognition strategy that represents each videoclip by a set of filtered images, each of which corresponds to a frame. Using a filtered-image classifier based on support vector machines, we classify a videoclip by applying majority voting over the predicted labels of its filtered images and, for online classification, we identify the most likely type of action at any moment by applying majority voting over the predicted labels of the filtered images within a sliding window. We also define a classification confidence and the associated threshold in both cases, which enable us to identify the existence of an unknown type of motion and, together with the proposed recognition strategy, make it possible to build a real-time motion recognition system that cannot only make classifications in real-time, but also learn new types of motions and recognize them in the future. The proposed strategy is demonstrated on real datasets.     

基于级联结构的人体动作识别方法

基于视频的人体动作识别是近年来计算机视觉领域备受关注且十分具有挑战性的研究方向,可以应用于人的行为分析,视频监控和人机交互等方面。本文提出了一种基于级联结构的人体动作识别方法:针对Dollar时空兴趣点检测器易受图像噪声、摄像机运动与缩放等因素影响产生伪兴趣点的问题,提出了一种基于轨迹差异度的兴趣点筛选方法,有效避免了引入背景中的伪兴趣点,提高了人体运动特征提取的准确度;采用规范切与mRMR准则对词袋模型生成的特征向量进行自动特征选择,同时建立一个用于分类的级联结构,在识别各类不同动作时选择不同的特征子集,使得分类器使用的特征更具区分性。在KTH人体运动测试集上实验,验证了文中方法能提高动作识别的准确度。     

基于R-SVM与SVDD的部位外观模型

为克服现有基于HOG特征的部位外观模型未考虑不同细胞单元的不同作用以及不能准确表征相似度的缺陷,提出了一种基于递归支持向量机(R-SVM)和支持向量数据描述(SVDD)算法的人体部位外观模型.所提外观模型由两个分类器构成,利用R-SVM进行特征选择并建立的分类器用于判断图像某区域是否属于人体部位类,利用SVDD建立的相似度分类器用于计算属于人体部位类的图像区域与外观模型的相似度.将所提部位外观模型用于人体上半身姿态的估计,仿真实验结果显示其比现有部位外观模型的估计准确度更高,表明所提部位外观模型可以更准确地描述真实人体部位.