基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

基于3D人体骨架的动作识别

本文提出了一种基于3D人体骨架的动作识别方法.该方法以3D人体骨架为基础,将骨架中关节点的位置重新定义,形成简化的立体骨架模型,进而采用改进的动态时间规整算法（Reformative Dynamic Time Warping,R-DTW）对齐动作序列并进行识别.由于人体大小、形状、动作方式等差异,任意两个人表达同一动作都不尽相同,简化的立体骨架模型能有效缓解这种类内差异性.传统的DTW算法存在计算复杂性高,效率低的问题,本文在传统算法的基础上设计了"一次规划,二次细化"的方法,有效降低计算量,提高计算效率.该算法在MSR 3D Action数据库上的实验验证了其有效性.     

基于3D骨架和RGB图片的时空动作识别

基于3D骨架的动作识别技术现已成为人机交互的重要手段。为了提高3D动作识别的精度,文中提出一种将3D骨架特征和2D图片特征进行融合的双流神经网络。其中一个网络处理3D骨架序列,另一个网络处理2D图片。最后再将二者的特征进行融合,以提高识别精度。相较于单独使用3D骨架的动作识别,文中所使用的方法在NTU_RGBD数据集以及SYSU数据集上都有了很大的精度提升。     

基于Kinect骨架信息的人体动作识别

深度图像属计算机视觉研究范畴,数据表达方式有一定差异,其现有图像处理算法多可借鉴和扩展。本文在深度图像基础上,对人体运动特征模型和识别算法进行研究,为动作识别思路和方法提供参考,重点分析Kinect深度图像获取Kinect人体关节点识别。     

基于深度学习的动作识别研究

用循环神经网络构建的人体动作识别模型存在以下两方面的问题：一方面存在计算上的顺序依赖,另一方面难以对数据中存在的全局信息进行建模。针对以上问题,提出了一种结合门控注意力单元和卷积神经网络的人体动作识别模型。通过对骨架序列中存在的时空信息进行建模分析来预测骨架所对应人体的动作状态,既降低了数据中噪声对结果的干扰,同时对数据中存在的时空域全局信息进行建模分析。通过在UTKinect-Action3D和MSR 3D动作数据集上的实验证实了所提方法具备一定的可行性,且相较于循环神经网络的方法有一定的优势。     

基于空间骨架时序图的舞蹈特定动作识别方法

随着机器视觉技术的发展,人体动作识别逐渐成为热门的研究方向,但其在舞蹈动作识别领域的应用研究则处于起步阶段。文中将基于深度学习的人体动作识别技术引入此领域,以实现辅助训练的智能化。文中首先分析最先进的人体动作识别算法,在计算机视觉方面的优势与在特定领域的局限性。在此基础上,提出一种基于空间骨架时序图的舞蹈动作识别算法。该算法先使用PAFs对舞蹈视频中的舞蹈演员提取骨架节点,再生成骨架序列。最后,结合LSTM对其进行动作识别。测试与分析结果表明,该算法可针对Balletto舞蹈视频数据库进行识别,且可有效识别舞蹈动作,实现对舞蹈演员的动作纠正。     

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分：纯粹节点拓扑学习图卷积（pure Joint topology learning Graph Convolution, J-GC）、动态时序特异性拓扑学习图卷积（Dynamic Temporal-Wise topology learning Graph Convolution, DTW-GC）和通道特异性拓扑学习图卷积（Channel-Wise topology learning Graph Convolution, CW-GC）.特别地,在DTW-GC中使用了动态骨架拓扑建模方法（Dynamic Skeleton Topology Learning, DSTL）,以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积（Multi-Scale Te...     

基于特征融合的动作识别

为解决动作识别问题,本文提出一种基于特征融合的方法。提取视频特征时,同时获得运动特征和表观特征,然后融合这两种特征训练SVM分类器。实验时,在J-HMDB数据集上获得了优异的表现,动作识别的精度可以达到94.8%。     

基于多任务学习的人体动作识别

为了准确识别现实场景下的人体动作,提出了基于多任务学习的人体动作识别方法。首先,对数据进行局部显著点的检测和特征描述。然后,利用K均值算法对所提特征进行聚类构建词袋模型。最后,利用任务之间的关系,实现现实场景下的人体动作识别。比较实验说明所提出方法能够较好的识别现实场景下的人体动作,并对数据背景、光照条件等外因具有较强的鲁棒性。     

基于FMCW雷达的多通道特征融合人体动作识别方法

针对采用单一特征进行人体动作识别准确率不高的问题,提出了一种基于调频连续波(Frequency Modulated Continuous Wave, FMCW)雷达的多通道特征融合人体动作识别方法。通过对FMCW雷达回波数据进行预处理,得到人体动作的距离参数与多普勒参数,构建出距离-时间特征谱图和多普勒-时间特征谱图数据集。为了进行人体动作特征的充分提取与精确识别,改进了单通道输入的传统卷积神经网络结构,把部分残差连接结构和跨阶段部分连接结构进行了优化应用至雷达人体动作识别领域,设计出端到端的CSP-FCNN(Cross Stage Partial-Fusion Convolutional Neural Network)多通道融合卷积神经网络。采用公开数据集进行实验,结果表明所提方法有效解决了单一特征动作识别信息量欠缺以及网络提取特征不充分的问题,识别准确率较单一特征识别方法提高了5%以上。     

基于智能感知的人体跌倒动作识别技术研究

为提高跌倒动作的正确识别次数,提出基于智能感知的人体跌倒动作识别技术.采集人体运动行为数据,保证数据识别的真实有效性;提取跌倒动作特征,提高动作识别效果;基于智能感知识别跌倒行为,减少伪跌倒动作的识别影响;由此实现人体跌倒动作的实时分析.采用对比实验的方式,验证新识别技术的识别效果更佳,具有一定的推广价值.     

基于CNN-win Transformer的分布式超宽带雷达人体动作识别

针对传统雷达人体动作识别方法中特征提取能力不足和上下文建模困难的问题,提出了一种结合卷积神经网络(Convolutional Neural Network,CNN)和Swin Transformer的网络模型,用于有效识别分布式脉冲超宽带雷达数据中的人体动作。通过多分支的CNN对多个雷达的多个谱图、雷达数据的幅度和相位等特征进行提取和融合,利用Swin Transformer模块的多层自注意力机制对生成的特征映射进行上下文建模,提取具有高级语义信息的特征。采用代尔夫特理工大学（Technische Universiteit Delft）公开的数据集进行5折交叉验证,结果表明所提方法能够有效识别9类连续人体动作,识别准确率达到98.2%。     

基于人体骨架的国标舞蹈动作相似度计算研究

针对目前传统舞蹈教学过程中基本通过专业舞蹈教师对舞蹈动作的标准与否进行主观判断,缺少客观评价指标的现状,采用人体骨架模型分别对图像中国标舞学习者的舞蹈动作和标准舞蹈动作计算人体关键点坐标,再计算学习者舞蹈动作和标准舞蹈动作之间的相对偏移角度,根据得到的相对偏移角度设计评估学习者舞蹈动作是否标准的客观评估指标,通过该客观评估指标的量化数据判断学习者舞蹈动作的标准程度,并提出最终的舞蹈动作修正建议。在实拍舞蹈动作图像上的仿真结果表明,该方法所得客观评价结果与主观评价结果相一致,对于实时判断国标舞学习者动作标准程度有着良好的效果。     

基于双流特征融合的FMCW雷达人体连续动作识别

本文提出了一种基于双流特征融合的FMCW雷达人体连续动作识别方法。首先对人体动作雷达回波信号进行预处理得到距离时间域图与微多普勒时频谱图,之后分别对两个不同维度的图像进行主成分分析提取对应特征并选取相同时间段的主成分分析结果进行融合得到双流融合特征,最后将双流融合特征输入到Bi-LSTM网络中训练与测试,网络对每个时间段的输入特征产生与之对应的动作类别输出从而实现连续人体动作识别。实验结果表明,当采用双流融合特征作为Bi-LSTM网络的输入时平均识别准确率要高于只采用距离时间特征或微多普勒特征作为网络输入时的平均识别准确率。     

基于射频技术与智能动作识别的人员身份认证方法研究

针对大部分身份认证方法存在认证方式单一、认证准确性低等问题,文中在医用场景下开展了基于射频技术与智能动作识别的人员身份认证方法研究.在详细论述无线射频识别技术(RFID)及其系统构成后,基于深度学习网络中的t-SNE降维处理、支持向量机动作分类等技术,设计实现了智能动作识别方法.将通过RFID和智能动作识别方法获得的身...     

基于层级化特征的人体动作识别

人体是非刚性物体,随着人体形状的变化,底层特征也会发生剧烈的改变,如何在剧烈变化的人体动作中发现其不变性是解决人体动作识别问题的关键。提出了一种基于层级化特征的人体动作识别算法。首先,基于Harris3D检测算法从动作视频中提取人体动作的底层特征;之后,根据人体结构对特征进行区域性的划分,并根据区域划分的精细程度得到高,中,低三层特征集合。利用词袋模型对特征点进行统计,使不同层级的特征映射到相同的特征维度空间。最后,使用隐条件随机模型对人体动作进行训练和识别。大量的实验结果也证明了层级化特征在人体动作识别上的稳定性。     

基于骨架动作识别的协作卷积Transformer网络

近年来,基于骨架的人体动作识别任务因骨架数据的鲁棒性和泛化能力而受到了广泛关注。其中,将人体骨骼建模为时空图的图卷积网络取得了显著的性能。然而图卷积主要通过一系列3D卷积来学习长期交互联系,这种联系偏向于局部并且受到卷积核大小的限制,无法有效地捕获远程依赖关系。该文提出一种协作卷积Transformer网络(Co-ConvT),通过引入Transformer中的自注意力机制建立远程依赖关系,并将其与图卷积神经网络(GCNs)相结合进行动作识别,使模型既能通过图卷积神经网络提取局部信息,也能通过Transformer捕获丰富的远程依赖项。另外,Transformer的自注意力机制在像素级进行计算,因此产生了极大的计算代价,该模型通过将整个网络分为两个阶段,第1阶段使用纯卷积来提取浅层空间特征,第2阶段使用所提出的ConvT块捕获高层语义信息,降低了计算复杂度。此外,原始Transformer中的线性嵌入被替换为卷积嵌入,获得局部空间信息增强,并由此去除了原始模型中的位置编码,使模型更轻量。在两个大规模权威数据集NTU-RGB+D和Kinetics-Skeleton上进行实验验证,该模型分别达到了88.1%和36.6%的Top-1精度。实验结果表明,该模型的性能有了很大的提高。     

基于双流独立循环神经网络的人体行为识别

提出了一种基于双流独立循环神经网络的人体行为识别方法.该方法结合人体行为的骨架时间结构和空间结构构建双通道神经网络.对于时间通道,根据人体运动学原理设计结合分层网络和堆叠网络的神经网络结构.对于空间通道,将原始骨架经过视角不变三维坐标变换,并把骨架坐标转换为坐标向量,有效克服人体体型和视角等差异带来的影响,以增强骨架空...     

基于CNN模型的sEMG信号手势动作识别算法

表面肌电信号是利用表面电极然后记录的肌肉运动产生的生物电信号,表面肌电信号可以用来反映神经、肌肉的状态及功能.科学技术日益发展的今天,越来越多的研究人员针对基于sEMG的手部动作的问题进行探讨.截至目前,在体能训练、身体康复训练、医学临床及运动训练等领域取得巨大突破.随着深度学习模型的日益成熟,各种模型对sEMG信号手...