关节点时空信息融合降维的人体动作识别方法

基于二维卷积神经网络(2DCNN)和三维卷积神经网络(3DCNN)的人体动作识别方法都存在运算量较大的问题,提出了关节点时空信息融合降维的人体动作识别方法(Joint-trajectory).首先,采用高分辨率网络(HigherHRnet)提取视频每帧图像中人体各个关节点的空间坐标信息,构建单帧图像中人体关节点空间信息...     

基于多特征提取的3D人体姿态估计算法

作为人工智能计算机视觉领域一项重要的任务,3D人体姿态估计受到了广泛的关注,并成功地应用在人机交互、电影游戏制作等领域。然而,3D人体姿态估计仍然面临着很大的挑战,主要是人体遮挡问题和数据集视角冗余问题,这些问题严重影响了3D人体姿态估计结果精度与速度的提升。本文提出了一种基于多特征提取的3D人体姿态估计方法。首先通过采集多个相机视角下的图片数据,将所采图片数据放入2D人体关节点检测网络模型中,得到人体2D关节点。接着将采集到的人体数据输入到关节点置信度计算网络模型,得到视角图片中各个关节点的权重值。随后将2D人体关节点热图通过一个热图权重计算网络计算出热图权重,将各个视角下的权重特征计算融合得到加权后的2D人体关节点热图。最后将所得加权后的2D人体关节点热图和视角图片中各个关节点的权重值输入到三角化算法中,映射得到空间中的3D人体关节点。本文的关键思想是设计一个关节点置信度计算网络从输入图像中学习每个关节的置信度权重,同时提取了反映热图特征质量的权重矩阵,以提高遮挡视图中热图的特征质量。此外,使用感知哈希算法对Occlusion-Person数据集进行去视角实验,在保证结果准确性的同...     

基于多媒体技术的三维人物图像动态重构

针对基于自标定的三维人物图像动态重构方法不能准确获取人物运动形态的三维位置,重构结果存在较高的偏差的问题,提出基于多媒体技术的三维人物图像动态重构方法,采用单目图像重构算法完成人体三维姿态重构。对多媒体技术中单摄像机拍摄的单目人体运动图像进行重构时,首先基于人体树状模型,采用基于部件检测器的二维肢体检测算法完成人体二维肢体检测;再采用基于关节点图像坐标的三维姿态重构算法,依据人体二维姿态检测结果,通过预测关节点反投影误差的退火粒子滤波算法完成人体三维姿态的跟踪,实现三维人体图像动态重构。实验结果说明,所提方法可准确实现三维人物图像动态重构,具有较高的重构精度和效率。     

基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法

人体姿态估计是计算机视觉研究领域的热点研究问题之一,但其在传统民间舞蹈动作姿态估计方面的应用研究尚处于起步阶段.由于舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点,传统人体姿态估计方法难以准确估计舞蹈者的动作变化,导致舞蹈动作姿态估计准确率较低.针对此问题,本文提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法,该方法针对舞蹈动作骨骼关节点尺度变化剧烈的问题,构建基于序列多尺度特征融合表示的关节点估计模型.并且,针对舞蹈姿态形变较大,遮挡严重的问题,设计基于关节点几何关系的层级姿态估计模型,提高舞蹈动作姿态估计的效果.实验结果表明,本文方法在标准人体姿态估计数据集及自建舞蹈数据集上取得较好的姿态估计结果.     

基于线特征差分投影的空间目标姿态估计方法

空间目标姿态估计是有效实现基于ISAR图像空间目标识别的重要前提。本文针对利用线特征二维投影进行姿态估计时,线特征投影的检测误差会严重影响姿态估计精度这一问题,提出一种基于线特征差分投影的空间目标姿态估计方法。该法利用DP算法检测线特征在ISAR图像中的投影,通过建立线特征在实测ISAR图像和姿态估计值下的仿真图像中的二维差分投影,将线特征投影检测的绝对误差转化成相对误差,有效减小了线特征投影的检测误差对姿态估计的影响;同时,利用差分投影求取姿态估计的修正量,形成姿态估计的优化迭代过程,不断提高姿态估计精度。仿真实验验证了方法的可靠性与有效性。      

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

球类运动中人体姿态估计研究进展

针对单个RGB图像,人体姿态估计通过对人体关键点定位来估计人体的位置和关节点位置。球类比赛是一种快速的运动,用主观观察对运动员的技术合法性进行判决无法避免错误。因此,文中利用基于人体姿态估计的运动员姿态分析技术进行辅助训练和辅助判罚,有效避免了传统系统中由于人的主观判断对运动员姿态的错误定位。目前,针对人体姿态估计的研究被分为基于传统算法和基于深度学习算法两种主要方式。在基于深度学习算法的基础上又分为单人人体姿态检测和多人人体姿态检测。基于深度学习算法的人体姿态估计通过构建神经网络,运用机器学习的方法提取图片特征读取图片信息,并在用于人体姿态估计的主流数据集上进行性能对比和分析。将人体姿态估计应用到球类运动中,为运动员的日常训练提供了一定的科学参考,同时也最大程度上保证了运动员比赛中的公平与公正。     

基于语义特征立方体切片的人体动作识别

基于深度学习的人体动作识别近几年取得了良好的识别效果,尤其是二维卷积神经网络可以较充分的学习人体动作的空间特征,但在捕获长时间的运动信息上仍存在问题。针对此问题,提出了基于语义特征立方体切片的人体动作识别模型来联合地学习动作的表观和运动特征。该模型在时序分割网络(Temporal Segment Networks,TSN)的基础上,选取InceptionV4作为骨干网络提取人体动作的表观特征,将得到的三维特征图立方体分为二维的空间上和时间上的特征图切片。另外设计一个时空特征融合模块协同的学习多维度切片的权重分配,从而得到人体动作的时空特征,由此实现了网络的端到端训练。与TSN模型相比,该模型在UCF101和 HMDB51数据集上的准确率均有所提升。实验结果表明,该模型在不显著增加网络参数量的前提下,能够捕获更丰富的运动信息,使人体动作的识别结果提高。      

基于改进的ST-GCN模型的跌倒检测算法

针对当下基于图像的传统跌倒检测算法难以提取时域动作特征所导致的模型检测过程中所存在无法提取动态信息问题,建立了一种基于关节点提取和改进的ST-GCN模型的实时跌倒检测算法.首先根据姿态识别算法Alphapose提取视频中人体的骨架关节点信息;然后对时域中的骨架关节点序列进行Kalman滤波估计,得到稳定变化的人体时空图...     

基于HOURGLASS网络语义关键点提取的光学图像空间目标姿态估计方法

空间目标姿态估计是有效实现各类航天任务的重要前提,基于空间光学观测图像的目标姿态估计关键一环在于快速准确地建立起观测图像与空间目标之间的“二维特征点-三维实体结构”映射关系。传统的方法往往将这一任务分解为特征提取和特征关联两个步骤序贯进行,然而在空间目标光学观测场景中,高动态的光照变化和目标的相对高速运动特点会显著降低图像特征提取的可靠性,影响后续特征关联匹配的正确率并最终降低对空间目标的姿态估计精度。针对这一问题,本文提出了一种基于语义关键点提取的光学图像空间目标姿态估计方法,利用Hourglass网络端到端地提取包含语义信息的关键点,直接实现了光学图像中二维特征点与目标三维实体结构的关联映射,并在此基础上利用EPnP算法求解待估计的目标姿态值。实验结果表明,本文所提的方法能较好地兼顾算法精度与效率,其在仿真数据集上的姿态估计最小误差为0.83°,且在数据降质的情况下平均误差依然优于传统方法。      

基于距离辅助的超宽带MIMO雷达图像人体姿态重构网络

超宽带多输入多输出（Multiple-input Multiple-output, MIMO）雷达可以获取目标的多维信息,在目标探测和人体动作分类等方面有很大的优势。然而,在实际应用中,超宽带MIMO雷达获取的人体目标成像结果通常分辨率较低,抽象难懂,且目标距离越远雷达图像分辨率越低。针对以上问题,本文提出了一种基于距离辅助的超宽带MIMO雷达图像人体姿态重构网络,首先使用卷积神经网络提取人体目标成像的信号强度和空间位置特征,然后使用反卷积模块重构出人体目标的各个关节点位置。同时,考虑雷达成像结果随着距离的变远而恶化,本文将目标的距离作为辅助信息来选择合适的网络模型参数,进而提高姿态重构的精度。实验结果表明,本方法可以将抽象的人体目标雷达图像转化为易于理解的人体关节姿态,且有较好的姿态重构性能,极大增强了传统雷达图像的可视化性能。同时,距离信息的引入提高了姿态重构精度,有效克服了距离增大带来的影响。      

基于改进堆叠沙漏网络的交警姿态估计

针对交警动作中的姿态估计问题,提出一种改进的堆叠沙漏网络模型.该模型通过减少沙漏网络级联次数,来简化堆叠沙漏网络结构.利用多尺度下深浅层特征信息之间的聚合,得到丰富的上下文信息,增强姿态、遮挡、低分辨率图像的鲁棒性.将不同阶段产生的热图估计结果进行融合平均化处理,进一步提高局部位置坐标的精细定位以及整体估计结果的准确性...     

Accurate 3D hand pose estimation network utilizing joints information

In this paper, a method is proposed to improve the accuracy of 3D hand pose estimation. The existing methods make poor use of the depth information of hand joints and have difficulties of estimating the 3D coordinates accurately. To solve this problem, a method that utilizing the information between adjacent joints of each finger is proposed to estimate the depth coordinates of joints. In order to make full use of 2D information for depth estimation, this paper divides hand pose estimation into two sub-tasks (2D hand joints estimation and depth estimation). In depth estimation, a multi-stage network is proposed. We first estimate the depth of a part of hand joints, and then with the help of it and 2D information, the depth coordinates of adjacent joints can be well estimated. The method proposed in this paper has been proved to be effective on three public hand pose datasets through Self-comparisons. Compared with the methods that based on 2D CNN, our method achieves state-of-the-art performance on ICVL and NYU datasets, and also has a good result on MSRA dataset.     

组网雷达对目标三维定位精度仿真分析

在研究多部两坐标雷达组网对目标的三维空间定位问题时 ,给出了一种利用WLS(WeightedLeastSquare)算法进行数据融合处理的方法 ,推导了定位精度公式 ,并且研究了在不同条件下的定位精度几何稀释和高度误差。仿真结果表明此方法可以有效地提高组网雷达的定位精度。此公式可以推广到三站以上的组网雷达系统中 ,在雷达缺乏高度测量的情况下 ,此方法能够实现对目标位置和高度的有效估计     

Iterative graph filtering network for 3D human pose estimation

Graph convolutional networks (GCNs) have proven to be an effective approach for 3D human pose estimation. By naturally modeling the skeleton structure of the human body as a graph, GCNs are able to capture the spatial relationships between joints and learn an efficient representation of the underlying pose. However, most GCN-based methods use a shared weight matrix, making it challenging to accurately capture the different and complex relationships between joints. In this paper, we introduce an iterative graph filtering framework for 3D human pose estimation, which aims to predict the 3D joint positions given a set of 2D joint locations in images. Our approach builds upon the idea of iteratively solving graph filtering with Laplacian regularization via the Gauss–Seidel iterative method. Motivated by this iterative solution, we design a Gauss–Seidel network (GS-Net) architecture, which makes use of weight and adjacency modulation, skip connection, and a pure convolutional block with layer normalization. Adjacency modulation facilitates the learning of edges that go beyond the inherent connections of body joints, resulting in an adjusted graph structure that reflects the human skeleton, while skip connections help maintain crucial information from the input layer’s initial features as the network depth increases. We evaluate our proposed model on two standard benchmark datasets, and compare it with a comprehensive set of strong baseline methods for 3D human pose estimation. Our experimental results demonstrate that our approach outperforms the baseline methods on both datasets, achieving state-of-the-art performance. Furthermore, we conduct ablation studies to analyze the contributions of different components of our model architecture and show that the skip connection and adjacency modulation help improve the model performance.     

Hand pose estimation in object-interaction based on deep learning for virtual reality applications

Hand Pose Estimation aims to predict the position of joints on a hand from an image, and it has become popular because of the emergence of VR/AR/MR technology. Nevertheless, an issue surfaces when trying to achieve this goal, since a hand tends to cause self-occlusion or external occlusion easily as it interacts with external objects. As a result, there have been many projects dedicated to this field for a better solution of this problem. This paper develops a system that accurately estimates a hand pose in 3D space using depth images for VR applications. We propose a data-driven approach of training a deep learning model for hand pose estimation with object interaction. In the convolutional neural network (CNN) training procedure, we design a skeleton-difference loss function, which effectively can learn the physical constraints of a hand. Also, we propose an object-manipulating loss function, which considers knowledge of the hand-object interaction, to enhance performance.In the experiments we have conducted for hand pose estimation under different conditions, the results validate the robustness and the performance of our system and show that our method is able to predict the joints more accurately in challenging environmental settings. Such appealing results may be attributed to the consideration of the physical joint relationship as well as object information, which in turn can be applied to future VR/AR/MR systems for more natural experience.     

基于姿态估计的驾驶员手部动作检测研究

为有效检查驾驶员在行驶过程中的不当行为,本文研究结合人体姿态估计信息的检测算法,通过对检测目标的约束,建立起一套具有多阶段的手部动作检测方法。该方法包含三个模块。第一,人体姿态估计模块,选取人体姿态估计网络关节的高斯热图层,通过输出的人体姿态高斯热图信息,达到对检测目标的空间信息的获取;第二,手部检测模块,基于CNN的检测网络,在网络输入层融合人体姿态高斯热图后,达到对手部的检测率提高的效果;第三,手部动作分类模块,通过接受手部检测模块的输出,消除对检测结果产生干扰的背景,将分类网络的特征提取约束在手部局部位置,提高手部动作分类的准确率,将手部区域输入至分类网络得到驾驶员手部动作,从而判断驾驶员是否存在抽烟、接听电话等不当行为,实现驾驶员的行为检测。为了验证本文提出的多阶段的手部动作检测方法,已在自制数据集上进行了相应实验。      

Pose-Guided Inflated 3D ConvNet for action recognition in videos

Human action recognition in videos is still an important while challenging task. Existing methods based on RGB image or optical flow are easily affected by clutters and ambiguous backgrounds. In this paper, we propose a novel Pose-Guided Inflated 3D ConvNet framework (PI3D) to address this issue. First, we design a spatial–temporal pose module, which provides essential clues for the Inflated 3D ConvNet (I3D). The pose module consists of pose estimation and pose-based action recognition. Second, for multi-person estimation task, the introduced pose estimation network can determine the action most relevant to the action category. Third, we propose a hierarchical pose-based network to learn the spatial–temporal features of human pose. Moreover, the pose-based network and I3D network are fused at the last convolutional layer without loss of performance. Finally, the experimental results on four data sets (HMDB-51, SYSU 3D, JHMDB and Sub-JHMDB) demonstrate that the proposed PI3D framework outperforms the existing methods on human action recognition. This work also shows that posture cues significantly improve the performance of I3D.