基于3D人体骨架的动作识别

本文提出了一种基于3D人体骨架的动作识别方法.该方法以3D人体骨架为基础,将骨架中关节点的位置重新定义,形成简化的立体骨架模型,进而采用改进的动态时间规整算法（Reformative Dynamic Time Warping,R-DTW）对齐动作序列并进行识别.由于人体大小、形状、动作方式等差异,任意两个人表达同一动作都不尽相同,简化的立体骨架模型能有效缓解这种类内差异性.传统的DTW算法存在计算复杂性高,效率低的问题,本文在传统算法的基础上设计了"一次规划,二次细化"的方法,有效降低计算量,提高计算效率.该算法在MSR 3D Action数据库上的实验验证了其有效性.     

基于图像识别的武术动作分解方法研究

提出以图像识别为基础分解识别人体武术动作的方法。首先,通过形态学梯度操作使大部分噪声背景可以消除,进而取得人体轮廓边缘,将视频中每帧图像轮廓边缘提取出来并在同一幅图像中实现累积,利用累积边缘图像计算出以网格为基础的HOG,获取图像动作特征向量;其次,运用改良动态时间规整理论结合动作时间序列下各关节角度变化的特征,即可识别出各类武术动作间关节变化序列的相似性,再设计分类器并向其输入图像中人体动作时变特征数据,从而实现基于图像识别的武术动作分解过程。实验结果表明,利用图像识别可有效分解武术动作。     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

体育视频中动作识别技术研究综述

随着中国成功举办多项国际体育赛事以及互联网短视频平台的兴起,视频数据呈爆炸式增长,且体育运动越来越受到人们的关注,体育视频中的动作识别成为计算机视觉研究的一大热点问题。本文综述了体育视频中动作识别技术现有应用与研究方法,第一部分回顾了近年来动作识别在体育赛事中的应用现状,将其归纳为辅助判罚、精彩动作集锦、体育新闻自动生成。第二部分总结了体育视频动作识别相关数据集。第三部分回顾了近年来动作识别在体育视频中的实现方法,将其总结为基于传统手工特征的算法和基于深度学习的算法,基于深度学习的算法将其归纳为基于2D模型、基于3D模型、基于双流/多流模型、基于Transformer模型,并总结了各模型的优缺点。最后,讨论了体育视频动作识别的难点与挑战。     

基于空间骨架时序图的舞蹈特定动作识别方法

随着机器视觉技术的发展,人体动作识别逐渐成为热门的研究方向,但其在舞蹈动作识别领域的应用研究则处于起步阶段。文中将基于深度学习的人体动作识别技术引入此领域,以实现辅助训练的智能化。文中首先分析最先进的人体动作识别算法,在计算机视觉方面的优势与在特定领域的局限性。在此基础上,提出一种基于空间骨架时序图的舞蹈动作识别算法。该算法先使用PAFs对舞蹈视频中的舞蹈演员提取骨架节点,再生成骨架序列。最后,结合LSTM对其进行动作识别。测试与分析结果表明,该算法可针对Balletto舞蹈视频数据库进行识别,且可有效识别舞蹈动作,实现对舞蹈演员的动作纠正。     

基于层级化特征的人体动作识别

人体是非刚性物体,随着人体形状的变化,底层特征也会发生剧烈的改变,如何在剧烈变化的人体动作中发现其不变性是解决人体动作识别问题的关键。提出了一种基于层级化特征的人体动作识别算法。首先,基于Harris3D检测算法从动作视频中提取人体动作的底层特征;之后,根据人体结构对特征进行区域性的划分,并根据区域划分的精细程度得到高,中,低三层特征集合。利用词袋模型对特征点进行统计,使不同层级的特征映射到相同的特征维度空间。最后,使用隐条件随机模型对人体动作进行训练和识别。大量的实验结果也证明了层级化特征在人体动作识别上的稳定性。     

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。     

基于图像的健美操动作精度监测研究

针对目前大多数健美操动作精度监测都是通过对健美操动作进行三维重建,并进行健美操动作特征提取,建立健美操动作最优分类决策函数的基础上完成的,难以保证对健美操动作的所有特征进行提取,降低了健美操动作精度监测的准确性。为此,提出一种基于图像的健美操动作精度监测新方法,通过将健美操动作从背景中抠出来,利用Kinect深度图像采集方法对图像进行预处理,然后提出利用HOG3D对健美操动作特征进行提取,并分析提取过程。在此基础上,将健美操动作精度监测问题转化为视频内容分类问题,通过概率统计中的Adaboost方法对健美操动作精度进行识别,利用概率函数将健美操动作的姿势状态联系起来形成动作序列,并通过遍历函数取其最大值作为健美操动作的分类标准,选用逐层等比方法对健美操动作精度进行监测,从而实现健美操动作精度的监测。实验结果证明,所提方法能够有效地提高健美操动作轨迹监测的精度,降低健美操动作精度监测的能耗,具有良好的使用价值。     

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

何时采取局部措施或系统措施

通过分析过程输出可获得许多与过程实际性能有关的信息，如果能对得到的信息进行正确的分析，就可确定过程中是否在正常方式正确的分析，就可确定过程是否在正常方式下运行，过程不正常运行可能是普通原因或特殊原因，因此，为了使过程正常运行，需要针对性地采取系统措施或局部措施。     

Spatial-temporal saliency action mask attention network for action recognition

Recently, video action recognition about two-stream network is still a popular research topic in computer vision. However, most of current two-stream-based methods have two redundancy issues, including: inter-frame redundancy and intra-frame redundancy. To solve the above problems, a Spatial-Temporal Saliency Action Mask Attention network (STSAMANet) is built for action recognition. First, this paper introduces a key-frame mechanism to eliminate inter-frame redundancy. This mechanism can compute key frames on each video sequence to get the greatest difference between frames. Then, Mask R-CNN detection technology is introduced to build a saliency attention layer to eliminate intra-frame redundancy. This layer is to focus on the saliency human body and objects for each action class. We experiment on two public video action datasets, i.e., the UCF101 dataset and Penn Action dataset to verify the effectiveness of our method in action recognition.     

Transforming spatio-temporal self-attention using action embedding for skeleton-based action recognition

Over the past few years, skeleton-based action recognition has attracted great success because the skeleton data is immune to illumination variation, view-point variation, background clutter, scaling, and camera motion. However, effective modeling of the latent information of skeleton data is still a challenging problem. Therefore, in this paper, we propose a novel idea of action embedding with a self-attention Transformer network for skeleton-based action recognition. Our proposed technology mainly comprises of two modules as, (i) action embedding and (ii) self-attention Transformer. The action embedding encodes the relationship between corresponding body joints (e.g., joints of both hands move together for performing clapping action) and thus captures the spatial features of joints. Meanwhile, temporal features and dependencies of body joints are modeled using Transformer architecture. Our method works in a single-stream (end-to-end) fashion, where multiple-layer perceptron (MLP) is used for classification. We carry out an ablation study and evaluate the performance of our model on a small-scale SYSU-3D dataset and large-scale NTU-RGB+D and NTU-RGB+D 120 datasets where the results establish that our method performs better than other state-of-the-art architectures.     

Competitive intelligence in action

This publication contains reprint articles for which IEEE does not hold copyright. You may purchase this article from the Ask*IEEE Document Delivery Service at http://www.ieee.org/services/askieee/     

Step-recovery action in transistors

A step-recovery action in the switch-off of certain transistors is reported. The abrupt edge generated is similar to that obtained using step-recovery diodes, but it has the advantage of the transistor current gain, which reduces the load on the driving source.     

Laser action in emerald

Stimulated emission has been achieved in emerald, a chromium doped beryllium aluminium silicate (Be3Al2Si6O18:Cr³⁺) crystal over a wavelength band peaked at 684.8 nm.     

Augmented two stream network for robust action recognition adaptive to various action videos

In video-based action recognition, using videos with different frame numbers to train a two-stream network can result in data skew problems. Moreover, extracting the key frames from a video is crucial for improving the training and recognition efficiency of action recognition systems. However, previous works suffer from problems of information loss and optical-flow interference when handling videos with different frame numbers. In this paper, an augmented two-stream network (ATSNet) is proposed to achieve robust action recognition. A frame-number-unified strategy is first incorporated into the temporal stream network to unify the frame numbers of videos. Subsequently, the grayscale statistics of the optical-flow images are extracted to filter out any invalid optical-flow images and produce the dynamic fusion weights for the two branch networks to adapt to different action videos. Experiments conducted on the UCF101 dataset demonstrate that ATSNet outperforms previously defined methods, improving the recognition accuracy by 1.13%.