基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

结合特权信息的人体动作识别

目的 采用传统的2维特征提取方法,很难从视频中准确地捕获出人体的关节点位置,限制了识别率的上限。采用深度信息的3维特征提取能提升识别率,但高维空间运算复杂度高,很难实现实时识别,受应用场景限制。为克服上述难点,提出一种基于3维特权学习的人体动作识别方法,将3维信息作为特权信息引入到传统的2维动作识别过程中,用来识别人体动作。方法 以运动边界直方图密集光流特征、Mosift（Motion SIFT）特征和多种特征结合的混合特征作为2维基本特征。从Kinect设备获得的深度信息中评估出人体的关节点信息,并用李群算法处理得到3维特征作为特权信息。特权信息在经典支持向量机下的识别效果优于2维基本特征。训练数据包含2维基本特征和3维特权信息,测试数据只有2维基本特征。通过训练样本学习,得到结合特权信息的支持向量机（SVM+）,使用该向量机对测试样本进行分类,得到人体动作识别结果。结果 在UTKinect-Action和Florence3D-Action两个人体动作数据集上进行实验。引入特权信息后,人体动作识别率较传统2维识别有2%的平均提升,最高达到9%。SVM+分类器对参数的敏感性较SVM下降。结论 实验结果表明,本文方法较以往方法,在提升识别准确率的同时,降低了分类器对参数的敏感性。本文方法仅在训练过程中需要同时提取2维基本特征和3维特权信息,而在测试过程中无需借助深度信息获取设备提取3维特权特征信息,学习速度快,运算复杂度低,可广泛应用于低成本,高实时的人体动作识别场合。     

基于Kinect的运动训练辅助系统

针对当下人们自主运动训练时出现的动作不标准且无人监督指导的问题，设计一种基于Kinect传感器的运动训练辅助系统。利用Kinect捕捉人体的关节点坐标提取特征，采用动态时间规整算法实现运动动作的识别，将模板动作与实时动作进行匹配，根据匹配的程度给予评价。实验结果表明该系统对于运动动作的平均正确识别率达到91.25%，正确评价率达到95.9%，能及时有效地反馈评价，起到一定运动训练辅助作用。     

基于DTW和K-means的动作匹配和评估

为满足基于Kinecrt的康复训练系统的需要,提出一种人体动作匹配和评估方法。该方法通过Kinect实时提取骨骼关节点三维坐标,计算骨骼关节点的角度,得到一组动作序列的空间角度变化值;然后通过改进的DTW算法把两组动作序列的角度值进行匹配,得到两个序列之间的距离;最后通过K-means聚类方法对距离的大小评估。实验表明,该方法能很好地实现人体动作匹配和评估,实时性好,较传统DTW算法在识别速率上有明显提高。     

一种基于关节点信息的人体行为识别新方法

为了提高机器人服务的主动性与智能性,使用Kinect体感设备获取人体的关节点数据解决人体行为识别问题.首先,利用Kinect采集人体关节点坐标,构造用于表示人体结构的3维空间向量,然后计算结构向量之间的角度和向量模的比值,进行人体姿态描述,同时以一段时间内连续的姿态序列作为行为表示特征量,最后选用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度以实现行为识别.实验结果表明,选用的行为表示特征量具有旋转与平移不变性.另外,对人在日常生活中的6种行为进行了识别实验,结果表明本文的行为识别算法可以取得较好的识别效果.     

基于张量子空间学习的人行为识别方法

提出了一种基于张量子空间学习降维人体高维侧影数据的人行为识别方法。给定一个动作的人侧影图像序列,首先用张量子空间学习方法将目标高维侧影图像投影到低维子空间来描述人运动的时空特性,并同时尽可能地保持目标侧影图像中像素之间的空间几何信息,然后用Hausdorff距离度量动作之间的相似性,并在最近邻距离框架下对动作进行分类识别。为验证本文算法的有效性,设计了动作识别和鲁棒性测试2个实验。实验结果表明提出的算法不仅能够有效地对人行为进行识别,且具有较强的鲁棒性。     

面向行为识别的拉普拉斯特征映射算法的改进

提出了一种面向行为识别的拉普拉斯特征映射算法的改进方法.首先,将Kinect提供的关节点数据作为姿态特征,采用Levenstein距离改进流形学习算法中的拉普拉斯特征映射算法,并映射到二维空间得到待识别行为的嵌入空间;其次,结合待识别行为的嵌入空间和训练数据建立先验模型;最后,通过重新设计的粒子动态模型和观察模型,采用粒子滤波算法进行行为识别.实验结果表明,该方法可以对重复动作、遮挡,以及动作幅度和速度都有明显差异的行为进行较好的识别,总体识别率达到92.4％.     

基于图嵌入线性拓展方法的人体动作识别研究

采用图嵌入降维的方法对人侧影轮廓数据进行降维处理并用来识别人的行为动作.给定一个动作的图像序列,提取序列中每帧中人的侧影轮廓信号并用之表征人体运动,利用两种图嵌入法将提取的时变轮廓信号投影到低维空间,采用Hausdroff距离测量运动的相似性并在最近邻框架下识别人的动作.为验证算法的有效性,采用留一法和统计方法两种测试方法对五类人体常见动作(走、跑、拍手、挥手和拳击)进行测试.实验结果表明,方法不仅有很好的分类性能,而且能有效的降低了计算量.     

基于深度图像的人体动作识别方法

为解决人体动作识别中的复杂背景和自遮挡问题,对深度图像进行研究,从深度图像中获取20个人体骨架关节点,在此基础上将动作时间序列的关节角度变化作为人体运动的特征模型。通过改进的动态时间规整算法计算不同动作之间关节角度变化序列的相似性,进行动作识别,以缓解传统DTW算法病态校准的问题。将识别方法在采集的动作数据库和MSR Action3D数据进行验证,实验结果表明,该方法能达到90%以上的识别率。     

基于BP回归神经网络的人体角度拟合研究

基于深度学习和深度摄像机的人体动作识别方法,受其应用场景所限,均不能对视频中快变场景和静态图像中的人体动作进行识别.本文中定义了人体肢体角度空间,使用基于深度学习的人体骨骼识别框架的骨骼数据,构建8个4层BP回归神经网络.对人体的骨骼数据提取和预处理后,再对训练数据进行增维处理,通过回归神经网络进行拟合,实验和测试结果表明,该方法可以有效的对人体角度进行回归,为快变场景和静态图像中的人的动作识别提供可靠依据.     

Depth map inpainting via sparse distortion model

The depth map captured from a real scene by the Kinect motion sensor is always influenced by noise and other environmental factors. As a result, some depth information is missing from the map. This distortion of the depth map directly deteriorates the quality of the virtual viewpoints rendered in 3D video systems. We propose a depth map inpainting algorithm based on a sparse distortion model. First, we train the sparse distortion model using the distortion and real depth maps to obtain two learning dictionaries: one for distortion and one for real depth maps. Second, the sparse coefficients of the distortion and the real depth maps are calculated by orthogonal matching pursuit. We obtain the approximate features of the distortion from the relationship between the learning dictionary and the sparse coefficients of the distortion map. The noisy images are filtered by the joint space structure filter, and the extraction factor is obtained from the resulting image by the extraction factor judgment method. Finally, we combine the learning dictionary and sparse coefficients from the real depth map with the extraction factor to repair the distortion in the depth map. A quality evaluation method is proposed for the original real depth maps with missing pixels. The proposed method achieves better results than comparable methods in terms of depth inpainting and the subjective quality of the rendered virtual viewpoints.     

自适应骨骼中心的人体行为识别算法

目的 基于3维骨架的行为识别研究在计算机视觉领域一直是非常活跃的主题,在监控、视频游戏、机器人、人机交互、医疗保健等领域已取得了非常多的成果。现今的行为识别算法大多选择固定关节点作为坐标中心,导致动作识别率较低,为解决动作行为识别中识别精度低的问题,提出一种自适应骨骼中心的人体行为识别的算法。方法 该算法首先从骨骼数据集中获取三维骨架序列,并对其进行预处理,得到动作的原始坐标矩阵;再根据原始坐标矩阵提取特征,依据特征值的变化自适应地选择坐标中心,重新对原始坐标矩阵进行归一化;最后通过动态时间规划方法对动作坐标矩阵进行降噪处理,借助傅里叶时间金字塔表示的方法减少动作坐标矩阵时间错位和噪声问题,再使用支持向量机对动作坐标矩阵进行分类。论文使用国际上通用的数据集UTKinect-Action和MSRAction3D对算法进行验证。结果 结果表明,在UTKinect-Action数据集上,该算法的行为识别率比HO3D J2算法高4.28%,比CRF算法高3.48%。在MSRAction3D数据集上,该算法比HOJ3D算法高9.57%,比Profile HMM算法高2.07%,比Eigenjoints算法高6.17%。结论 本文针对现今行为识别算法的识别率低问题,探究出问题的原因是采用了固定关节坐标中心,提出了自适应骨骼中心的行为识别算法。经仿真验证,该算法能有效提高人体行为识别的精度。     

三维动作识别时空特征提取方法

针对传统的彩色视频中动作识别算法成本高,且二维信息不足导致动作识别效果不佳的问题,提出一种新的基于三维深度图像序列的动作识别方法。该算法在时间维度上提出了时间深度模型(TDM)来描述动作。在三个正交的笛卡尔平面上,将深度图像序列分成几个子动作,对所有子动作作帧间差分并累积能量,形成深度运动图来描述动作的动态特征。在空间维度上,用空间金字塔方向梯度直方图(SPHOG)对时间深度模型进行编码得到了最终的描述符。最后用支持向量机(SVM)进行动作的分类。在两个权威数据库MSR Action3D和MSRGesture3D上进行实验验证,该方法识别率分别达到了94.90%(交叉测试组)和94.86%。实验结果表明,该方法能够快速对深度图像序列进行计算并取得较高的识别率,并基本满足深度视频序列的实时性要求。     

Human action recognition based on scene semantics

Like outdoors, indoor security is also a critical problem and human action recognition in indoor area is still a hot topic. Most studies on human action recognition ignored the semantic information of a scene, whereas indoors contains varieties of semantics. Meanwhile, the depth sensor with color and depth data is more suitable for extracting the semantics context in human actions. Hence, this paper proposed an indoor action recognition method using Kinect based on the semantics of a scene. First, we proposed a trajectory clustering algorithm for a three-dimensional (3D) scene by combining the different characteristics of people such as the spatial location, movement direction, and speed. Based on the clustering results and scene context, it concludes a region of interest (ROI) extraction method for indoors, and dynamic time warping (DTW) is used to study the abnormal action sequences. Finally, the color and depth-data-based 3D motion history image (3D–MHI) features and the semantics context of the scene were combined to recognize human action. In the experiment, two datasets were tested and the results demonstrate that our semantics-based method performs better than other methods.

     

线性动态系统反演模型在人体行为识别的应用

目的 人体行为识别在视频监控、环境辅助生活、人机交互和智能驾驶等领域展现出了极其广泛的应用前景。由于目标物体遮挡、视频背景阴影、光照变化、视角变化、多尺度变化、人的衣服和外观变化等问题,使得对视频的处理与分析变得非常困难。为此,本文利用时间序列正反演构造基于张量的线性动态模型,估计模型的参数作为动作序列描述符,构造更加完备的观测矩阵。方法 首先从深度图像提取人体关节点,建立张量形式的人体骨骼正反向序列。然后利用基于张量的线性动态系统和Tucker分解学习参数元组（A_F,A_I,C）,其中C表示人体骨架信息的空间信息,A_F和A_I分别描述正向和反向时间序列的动态性。通过参数元组构造观测矩阵,一个动作就可以表示为观测矩阵的子空间,对应着格拉斯曼流形上的一点。最后通过在格拉斯曼流形上进行字典学习和稀疏编码完成动作识别。结果 实验结果表明,在MSR-Action 3D数据集上,该算法比Eigenjoints算法高13.55%,比局部切从支持向量机（LTBSVM）算法高2.79%,比基于张量的线性动态系统（tLDS）算法高1%。在UT-Kinect数据集上,该算法的行为识别率比LTBSVM算法高5.8%,比tLDS算法高1.3%。结论 通过大量实验评估,验证了基于时间序列正反演构造出来的tLDS模型很好地解决了上述问题,提高了人体动作识别率。     

基于新投影策略的人体行为识别方法研究

为解决微小动作识别率低的问题,提出一种结合新投影策略和能量均匀化视频分割的多层深度运动图的人体行为识别方法。首先,提出一种新的投影策略,将深度图像投影到三个正交笛卡尔平面,以保留更多的行为信息;其次,基于整个视频的多层深度运动图图像虽然可反映整体运动信息,但却忽略了很多细节,采用基于能量均匀化的视频分割方法,将视频划分为多个子视频序列,可以更加全面地刻画动作细节信息;最后,为描述多层深度运动图图像纹理细节,采用局部二值模式作为动作特征描述子,结合核极端学习机分类器进行动作识别。实验结果表明：在公开动作识别库MSRAction3D和手势识别库MSRGesture3D上,本文算法准确率分别达94.55%和95.67%,与现存许多算法相比,有更高的识别率。     

基于RGB和关节点数据融合模型的双人交互行为识别

基于RGB视频序列的双人交互行为识别已经取得了重大进展,但因缺乏深度信息,对于复杂的交互动作识别不够准确。深度传感器（如微软Kinect）能够有效提高全身各关节点的跟踪精度,得到准确的人体运动及变化的三维关节点数据。依据RGB视频和关节点数据的各自特性,提出一种基于RGB和关节点数据双流信息融合的卷积神经网络（CNN）结构模型。首先,利用Vibe算法获得RGB视频在时间域的感兴趣区域,之后提取关键帧映射到RGB空间,以得到表示视频信息的时空图,并把图送入CNN提取特征;然后,在每帧关节点序列中构建矢量,以提取余弦距离（CD）和归一化幅值（NM）特征,将单帧中的余弦距离和关节点特征按照关节点序列的时间顺序连接,馈送入CNN学习更高级的时序特征;最后,将两种信息源的softmax识别概率矩阵进行融合,得到最终的识别结果。实验结果表明,将RGB视频信息和关节点信息结合可以有效地提高双人交互行为识别结果,在国际公开的SBU Kinect interaction数据库和NTU RGB+D数据库中分别达到92.55%和80.09%的识别率,证明了提出的模型对双人交互行为识别的有效性。     

A concise tutorial on human motion tracking and recognition with Microsoft Kinect

This paper provides a concise tutorial on the Microsoft Kinect technology and the state of art research on human motion tracking and recognition with Microsoft Kinect. A pre-requisite for human motion recognition is feature extraction. There are two types of feature extraction methods: skeleton joint based, and depth/color image based. Given a set of feature vectors, a motion could be recognized using machine learning, direct comparison, or rule-based methods. We also outline future research directions on the Kinect technology.     

ConvNets-based action recognition from skeleton motion maps

With the advance of deep learning, deep learning based action recognition is an important research topic in computer vision. The skeleton sequence is often encoded into an image to better use Convolutional Neural Networks (ConvNets) such as Joint Trajectory Maps (JTM). However, this encoding method cannot effectively capture long temporal information. In order to solve this problem, This paper presents an effective method to encode spatial-temporal information into color texture images from skeleton sequences, referred to as Temporal Pyramid Skeleton Motion Maps (TPSMMs), and Convolutional Neural Networks (ConvNets) are applied to capture the discriminative features from TPSMMs for human action recognition. The TPSMMs not only capture short temporal information, but also embed the long dynamic information over the period of an action. The proposed method has been verified and achieved the state-of-the-art results on the widely used UTD-MHAD, MSRC-12 Kinect Gesture and SYSU-3D datasets.