基于深度图像的人体动作识别方法

为解决人体动作识别中的复杂背景和自遮挡问题,对深度图像进行研究,从深度图像中获取20个人体骨架关节点,在此基础上将动作时间序列的关节角度变化作为人体运动的特征模型。通过改进的动态时间规整算法计算不同动作之间关节角度变化序列的相似性,进行动作识别,以缓解传统DTW算法病态校准的问题。将识别方法在采集的动作数据库和MSR Action3D数据进行验证,实验结果表明,该方法能达到90%以上的识别率。     

基于DTW和K-means的动作匹配和评估

为满足基于Kinecrt的康复训练系统的需要,提出一种人体动作匹配和评估方法。该方法通过Kinect实时提取骨骼关节点三维坐标,计算骨骼关节点的角度,得到一组动作序列的空间角度变化值;然后通过改进的DTW算法把两组动作序列的角度值进行匹配,得到两个序列之间的距离;最后通过K-means聚类方法对距离的大小评估。实验表明,该方法能很好地实现人体动作匹配和评估,实时性好,较传统DTW算法在识别速率上有明显提高。     

余弦DTW在上肢康复训练中的应用

在Kinect平台下的康复训练中,为减小关节转动对其它关节点运动轨迹的影响,提出一种基于余弦的动态时间规整(DTW)方法。Kinect采集到关节点三维坐标后,将每对相邻的关节点用向量的形式表示,以向量变化的时间序列代替运动轨迹作为评价对象,在DTW中引入余弦对向量时间序列进行评价;使用所提方法实现动作评价系统,定义6种上肢训练动作。实验结果表明,相对于传统DTW方法,余弦DTW算法对检测运动的准确性具有更高的精确度。     

基于关节角度和DTW的太极拳视频配准方法

太极拳视频配准是实现太极拳线上教学的首要问题。为实现太极拳视频的自动配准,提出了一种基于关节角度和DTW算法的太极拳视频配准方法。该方法主要利用人体关节角度消除太极拳视频背景的干扰和不同太极拳视频中人体大小不同的影响,并利用动态时间规整(DTW)算法对不同时间点的视频帧进行配准。在该方法中,首先计算出练习者动作视频中关节角度的时间序列,并使用指数平滑法消除时间序列中存在的误差;然后利用上下帧之间的人体关节角度差分割时间序列;最后利用DTW算法求分割后得到的时间序列与标准动作视频中对应的时间序列之间的距离,即可得到练习者与标准动作之间的匹配度。实验结果表明:该方法中的指数平滑法对太极拳视频配准的精度有较大影响,以及如果用欧几里得距离替换DTW算法将会较大的降低配准精度。并且该方法在太极拳视频配准上与基于SIFT特征的方法相比,配准精度更高,达到81.21%。     

基于插值小波关键帧提取的动作评价算法

人体运动的行为特征具有多样性和复杂性,在运动的不同阶段有些动作的剧烈程度差异较大,但现有方法在进行动作相似度评价时未充分考虑该因素,使得评价结果存在一定偏差。针对该问题,基于多尺度FaberSchauder插值小波对参考动作序列中运动最剧烈关节的四元数分量时间序列分别提取关键帧。通过合并4组关键帧,设置阈值剔除相似度较高的关键帧。采用动态时间规整方法对参考动作和对比动作进行匹配,得到对比动作序列的关键帧,将2组关键帧的平均距离归一化后作为动作相似度评分。实验结果表明,提出的算法能够较好地实现动作评价,且对于较相似的动作,也能获得较好的评价结果。     

基于关键帧和骨骼信息的人体动作识别方法

提出了一种基于关键帧和骨骼信息的动作识别新方法。通过深度传感器Kinect v2实时获取人体各骨骼点信息,通过采用加权K-means算法提取动作视频中的关键帧。通过每个关键帧中25个骨骼点的三维坐标值,计算出关节角度和向量模比值两种特征量,通过优化后的动态时间规整(DTW)算法计算关键帧序列与模板库中动作模板的相似度,从而识别人体的实时动作。通过对6种常见动作的识别实验对比,结果表明:所提方法在识别速度和准确率上较高,具有实际推广性。     

人体跌倒识别算法研究

为快速有效地获取老人跌倒信息,提出了一种人体跌倒识别算法,以深度序列为基础,通过Kinect提供的骨架关节数据构建人体动作表示模型,将人体动作看作关节运动曲线和速度曲线的集合,引入离散Fréchet距离作为关节运动曲线和速度曲线的相似性测度,使用最近邻(KNN)分类器对动作样本进行分类.在公开数据集SDUFall上进行了实验,结果表明,方法优于已有方法.     

一种结合形状序列和DTW的动作识别方法

提出了一种单幅图像上轮廓信息的获取方法,在一段时间内发生的动作可以通过采样获得多幅图像来表示该动作特征.这些图像可以看成是轮廓形状变化序列,通过比较不同动作的轮廓形状序列,使得动作能够较容易地识别出来.实验证明,轮廓信息能够较好地反映对象的形状,采用形状序列和DTW相结合的方法能够提高动作识剐的准确性.     

基于关节间夹角变化序列的动作识别算法研究

针对人体动作识别中的复杂背景和视点变化问题,提出一种基于关节间夹角变化序列的动作识别方法。受机构学和机器人学的启发,使用相邻关节间夹角和非相邻关节间夹角变化序列表示人体动作。然后使用K近邻分类器对动作进行分类。由于不同个体的动作持续时间不尽相同,因此使用动态时间规整算法计算动作样本之间的距离。最后,在公开数据集UTD-MHAD和KARD上对提出的方法进行了验证,实验结果证明了该方法的有效性。     

基于贝叶斯网络的飞行动作识别方法

飞行动作识别是客观评估飞行训练质量的基础。复杂机动动作具有较强的随机性和模糊性,传统的飞行动作识别方法难以有效识别。为此,提出一种基于贝叶斯网络的飞行动作识别方法。根据飞行动作中参数曲线形态特征,采用基于DTW距离的时间序列层次聚类方法进行分类;通过依赖统计分析方法确定参数曲线的描述特征;根据形态特征和描述特征构建贝叶斯网络;利用贝叶斯网络进行推理。仿真实验结果表明,基于贝叶斯网络的飞行动作识别方法对复杂机动动作具有较高的识别率。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

Robust gesture recognition using feature pre-processing and weighted dynamic time warping

Gesture recognition is a technology often used in human-computer interaction applications. Dynamic time warping (DTW) is one of the techniques used in gesture recognition to find an optimal alignment between two sequences. Oftentimes a pre-processing of sequences is required to remove variations due to different camera or body orientations or due to different skeleton sizes between the reference gesture sequences and the test gesture sequences. We discuss a set of pre-processing methods to make the gesture recognition mechanism robust to these variations. DTW computes a dissimilarity measure by time-warping the sequences on a per sample basis by using the distance between the current reference and test sequences. However, all body joints involved in a gesture are not equally important in computing the distance between two sequence samples. We propose a weighted DTW method that weights joints by optimizing a discriminant ratio. Finally, we demonstrate the performance of our pre-processing and the weighted DTW method and compare our results with the conventional DTW and state-of-the-art.     

面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

Weighted dynamic time warping for time series classification

Dynamic time warping (DTW), which finds the minimum path by providing non-linear alignments between two time series, has been widely used as a distance measure for time series classification and clustering. However, DTW does not account for the relative importance regarding the phase difference between a reference point and a testing point. This may lead to misclassification especially in applications where the shape similarity between two sequences is a major consideration for an accurate recognition. Therefore, we propose a novel distance measure, called a weighted DTW (WDTW), which is a penalty-based DTW. Our approach penalizes points with higher phase difference between a reference point and a testing point in order to prevent minimum distance distortion caused by outliers. The rationale underlying the proposed distance measure is demonstrated with some illustrative examples. A new weight function, called the modified logistic weight function (MLWF), is also proposed to systematically assign weights as a function of the phase difference between a reference point and a testing point. By applying different weights to adjacent points, the proposed algorithm can enhance the detection of similarity between two time series. We show that some popular distance measures such as DTW and Euclidean distance are special cases of our proposed WDTW measure. We extend the proposed idea to other variants of DTW such as derivative dynamic time warping (DDTW) and propose the weighted version of DDTW. We have compared the performances of our proposed procedures with other popular approaches using public data sets available through the UCR Time Series Data Mining Archive for both time series classification and clustering problems. The experimental results indicate that the proposed approaches can achieve improved accuracy for time series classification and clustering problems.     

动态时间规整优化局部分块匹配的人脸识别

针对现实人脸识别中姿势、光照、表情变化及遮挡等严重影响识别性能的问题,提出了一种基于动态时间规整优化局部分块匹配的户外人脸识别算法。将人脸图像划分成若干大小相等且互不重叠的局部小块;借助于光栅扫描顺序将各个小块按照前额、眼睛、鼻子、嘴巴和下巴的顺序连接成一个单一序列;计算查询人脸与注册人脸之间图像到类的距离,利用动态时间规整的设计思想寻找查询序列与所有注册序列之间的最佳对齐方式。在三个公开人脸数据库LFW、AR及YouTube上的实验验证了该方法的有效性及可靠性,实验结果表明,相比其他几种较为先进的人脸识别方法,该方法取得了更高的识别率,此外,该方法无需任何训练过程,计算成本低。     

基于选择性集成旋转森林的人体行为识别算法*

人体行为识别中的一个关键问题是如何表示高维的人体动作和构建精确稳定的人体分类模型.文中提出有效的基于混合特征的人体行为识别算法.该算法融合基于外观结构的人体重要关节点极坐标特征和基于光流的运动特征,可更有效获取视频序列中的运动信息,提高识别即时性.同时提出基于帧的选择性集成旋转森林分类模型(SERF),有效地将选择性集成策略融入到旋转森林基分类器的选择中,从而增加基分类器之间的差异性.实验表明SERF模型具有较高的分类精度和较强的鲁棒性.     

时空双仿射微分不变量及骨架动作识别

目的 人体骨架的动态变化对于动作识别具有重要意义。从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息。在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响。基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换。方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述。基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性。基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力。结果 实验在两个大型动作识别数据集NTU（Nanyang Technological University）RGB+D（NTU 60）和NTU RGB+D 120（NTU 120）上与若干最新方法及两种基线方法进行比较,在两种实验设置（跨参与者识别与跨视角识别）中均取得了明显的改进结果。相比于使用原始数据的时空图神经卷积网络（spatio-temporal graph convolutional networks,ST-GCN）,在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9%和3.0%;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6%和4.5%。同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力。结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力。     

3D-based Deep Convolutional Neural Network for action recognition with depth sequences

Traditional algorithms to design hand-crafted features for action recognition have been a hot research area in the last decade. Compared to RGB video, depth sequence is more insensitive to lighting changes and more discriminative due to its capability to catch geometric information of object. Unlike many existing methods for action recognition which depend on well-designed features, this paper studies deep learning-based action recognition using depth sequences and the corresponding skeleton joint information. Firstly, we construct a 3D-based Deep Convolutional Neural Network (3D²CNN) to directly learn spatio-temporal features from raw depth sequences, then compute a joint based feature vector named JointVector for each sequence by taking into account the simple position and angle information between skeleton joints. Finally, support vector machine (SVM) classification results from 3D²CNN learned features and JointVector are fused to take action recognition. Experimental results demonstrate that our method can learn feature representation which is time-invariant and viewpoint-invariant from depth sequences. The proposed method achieves comparable results to the state-of-the-art methods on the UTKinect-Action3D dataset and achieves superior performance in comparison to baseline methods on the MSR-Action3D dataset. We further investigate the generalization of the trained model by transferring the learned features from one dataset (MSR-Action3D) to another dataset (UTKinect-Action3D) without retraining and obtain very promising classification accuracy.     

基于DTW算法的肌电信号手势识别方法

为了提高肌电信号手势识别算法的准确度,增强实时性,提出了一种基于动态时间规整（DTW）算法的手势识别方法,该方法利用肌电信号（EMG）对个体间的手势进行识别。首先,采用滑动平均能量的方法对原始的EMG信号进行数据分割,探测有效动作;其次,对于分割的数据段使用平均绝对值（MAV）来提取信号特征;最后,用DTW算法将8维的EMG信号融合并计算测试样本和模版的相似度,其中采用了DTW算法寻找规整路径的方法进行了模板制作,实现了个体间的手势识别。实验结果表明,使用DTW算法对肌电信号进行手势识别,其动作识别的准确率达到96.09%,该方法计算速度快,实时性强。     

基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别

为解决使用RGB图像进行特征提取时容易受外界因素干扰,且计算复杂度高等问题,采用一种更加有效的解决方案,即使用深度数据进行人体动作识别。利用Kinect采集的关节点数据,首先将人体关节划分成五个区域,对每个区域的向量夹角离散化从而描述不同的状态,再通过Baum-Welch算法学习出各区域的多隐马尔可夫模型（multi-HMM）,并使用前向算法建立生成区域与动作类别概率矩阵。在此基础上,对区域及动作类别进行内耦合和间耦合分析,从而表达各关节点之间的交互关系。最后使用基于耦合的K最邻近（KNN）算法完成整体的动作识别。通过实验测试对五种动作的识别率均达到90%以上,并与3D Trajectories等方法进行对比,实验得到的综合识别率高于对比方法,具有明显的优势。