三维人体姿态估计研究综述

三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态。基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法。按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介绍,从而了解传统方法通过生成和判别等方法得到人体姿态的众多要素完成三维人体姿态的估计。基于深度学习的三维人体姿态估计方法主要通过构建神经网络,从图像特征中回归出人体姿态信息,大致可以分为基于直接回归方法、基于2D信息方法和基于混合方法的三维人体姿态估计这三类。最后对当前三维人体姿态估计研究所面临的困难与挑战进行阐述,并对未来的研究趋势做出展望。     

基于深度学习的二维人体姿态估计研究进展

基于深度学习的二维人体姿态估计方法通过构建特定的神经网络架构,将提取的特征信息根据相应的特征融合方法进行信息关联处理,最终获得人体姿态估计结果,因其具有广泛的应用价值而受到研究人员的关注。从数据集基准、姿态估计方法和评测标准等方面,对近年来基于深度学习的二维人体姿态估计的诸多研究工作进行系统归纳与整理,将现有方法分为单人姿态估计方法与多人姿态估计方法,并分别从网络架构设计、输出特征表示和损失函数选取方面进行分析与总结。在此基础上,结合当前二维人体姿态估计所面临的挑战对其未来研究发展方向与应用前景进行展望。     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

基于RGB图像的三维人手姿态估计技术综述

鉴于RGB相机在虚拟现实头盔等移动计算设备中的普遍性,基于RGB图像的三维人手姿态估计技术具有广阔的应用前景和研究价值,近年来已成为计算机视觉领域的一个研究热点.得益于深度学习技术的快速发展,与之相关的三维人手姿态估计算法层出不穷.文中回顾和总结了三维人手姿态估计技术.首先简述了三维人手姿态估计的相关工作,指出了其当前面临的挑战;然后梳理了基于RGB图像的三维人手姿态估计算法,对现有的基于参数模型方法和非参数模型方法进行了讨论,分析了每类算法包含的技术方法以及优缺点;之后总结了相关的三维手数据集与评价标准,并比较了每类算法在常用数据集上的表现;最后探讨了该技术的发展前景.     

基于深度学习的二维人体姿态估计:现状及展望

二维人体姿态估计旨在从摄像机拍摄的图像中识别并定位每个行人的人体关键点.作为行人分析和理解领域的基础任务之一,人体姿态估计能够为多个下游任务和应用提供支持.近年来,随着深度学习技术的进步,人体姿态估计的研究迎来快速发展.基于图像包含的行人数量,人体姿态估计可以分为单人姿态估计和多人姿态估计两大类.本文首先介绍人体姿态估计的研究背景、问题定义、任务难点以及当前方法中的关键点表示方法.在此基础上,本文进一步总结和介绍了具有代表性的单人姿态估计和多人姿态估计方法.单人姿态估计方法包括回归法和检测法,主要关注于网络结构设计、热力图编解码、多任务学习等.对于多人姿态估计,本文分别介绍了基于热力图预测的方法和基于向量场回归的方法.随后,本文总结了当前常用的代表性数据集和性能度量方法,总结了代表性方法在几个常用数据集上的性能,对它们的预测错误的场景进行了详细分析和对比.最终,本文分析了现有二维人体姿态估计算法仍未有效解决的难题,对未来研究进行了展望.     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景。随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向。然而,深度学习尚在发展中,仍存在训练规模大等问题,研究者们主要从设计网络以及训练方式入手对人体姿态估计算法进行改进。首先,将二维人体姿态估计分为单人与多人两大类进行论述;根据真值类型不同将单人姿态估计分为基于坐标回归与基于热图检测两类,根据算法步骤不同将多人姿态估计分为二步法与一步法两类,对近年来先进的算法进行总结分类介绍,并分析它们的优缺点以及适用范围;然后,介绍了相关的国际标准数据集以及相应的评价指标,并对几种经典算法进行实验数据对比;最后,对当前研究所存在的问题以及未来发展趋势进行了总结概述。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

基于多流卷积神经网络的行为识别

人体行为识别与人体姿态有很强的相关性,由于许多公开的行为识别的数据集并未提供相关姿态数据,因此很少有将姿态数据进行训练并与其它模态进行融合的识别方法.针对当今主流基于深度学习的人体行为识别方法采用RGB与光流融合的现状,提出一种融合人体姿态特征的多流卷积神经网络人体行为识别算法.首先,用姿态估计算法从包含人的静态图片生成人体关键点数据,并对关键点连接构建姿态;其次,分别将RGB、光流、姿态数据对多流卷积神经网络进行训练,并进行分数融合;最后,在UCF101与HMDB51数据集进行了大量的消融,识别精度等方面的实验研究.实验结果表明,融合了姿态图像的多流卷积神经网络在UCF101与HMDB51数据集的实验精度分别提高了2.3％和3.1％.实验结果验证了提出算法的有效性.     

深度学习二维人体姿态估计方法综述

人体姿态估计是计算机视觉中的一项重要任务。传统的姿态估计方法存在难以实现复杂场景下分离目标和背景、易受人为设定先验信息影响、效率过低等问题。随着人工智能技术的发展,深度学习技术日趋成熟,基于深度学习的人体姿态估计方法的精确率和速度等性能均优于传统的人体姿态估计方法。近年来,作为三维人体姿态估计的基础,二维人体姿态估计模型在解决拥挤和遮挡方面取得了长足进步,但大多数网络模型采用的是层数过多的卷积神经网络（convolutional neural network,CNN）模型,对网络速度产生了很大影响。基于部署在边缘侧的实际应用需求,二维人体姿态估计网络的轻量化成为研究热点,且具有潜在的创新应用价值。根据基于深度学习的二维人体姿态估计模型的发展历程和优化趋势,可将其分为单人姿态估计、多人姿态估计以及轻量级人体姿态估计3类。本文对各类人体姿态估计采用的不同卷积神经网络模型进行总结,对各类神经网络模型的特点进行分析,对各类估计方法的性能进行比较。虽然深度卷积神经网络（deep convolutional neural network, DCNN）模型的结构设计越来越多元化,但是各类深度学习网络模型在处理人体姿态估计任务时,仍具有一定的局限性。本文对二维人体姿态估计模型采用的技术方法及其存在的问题进行深入讨论,并给出了未来可能的研究方向。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

基于深度学习的人体姿态估计方法综述

基于深度学习的人体姿态估计方法旨在通过构建合适的神经网络，直接从二维的图像特征中回归出人体姿态信息。主要按照2D人体姿态估计到3D人体姿态估计的顺序，并从单人检测与多人检测、稀疏的关节点检测与密集的模型构建等方面，对近年来基于深度学习的人体姿态估计方法进行系统介绍，从而初步了解如何通过深度学习的方法得到人体姿态的各个要素，包括肢体部件的相对朝向和比例尺度、骨骼关节点的位置坐标和连接关系，甚至更为复杂的人体蒙皮模型信息。最后,对当前研究面临的挑战以及未来的热点动向进行概述，清晰地呈现出该领域的发展脉络。     

一种基于 Transformer 的三维人体姿态估计方法

三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑 战性的问题。为了解决这个问题,提出一种基于 Transformer 的三维人体姿态估计方法,利用多层长短期记忆 (LSTM)单元和多尺度 Transformer 结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器, 通过 ResNet 预训练神经网络提取图像特征;其次,采用多层 LSTM 单元学习时间连续性的图像序列中人体姿 态之间的关系,输出合理的 SMPL 人体参数模型序列;最后,构建基于多尺度 Transformer 的判别器,利用多 尺度 Transformer 结构对多个分割粒度进行细节特征学习,尤其是 Transformer block 对相对位置进行编码增强 局部特征学习能力。实验结果表明,该方法相对于 VIBE 方法具有更好地预测精度,在 3DPW 数据集上比 VIBE 的平均(每)关节位置误差(MPJPE)低了 7.5%;在 MP-INF-3DHP 数据集上比 VIBE 的 MPJPE 降低了 1.8%。      

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

基于体素联合坐标的单人三维姿态估计EI北大核心CSCD

从单幅彩色图像获取三维人体姿态是许多应用的基本任务,但精度不足和不适定姿态难以判断的问题一直存在,因此提出一个基于深度学习的方法处理三维姿态估计的问题.首先,使用空间体素作为数据存储结构,提出联合坐标的表达方式;其次,利用空间积分回归的方法来计算卷积网络的输出结果;最后将输出送入全连接网络进行联合训练.所提方法在human3.6m数据集的2种标准测试协议下进行了测试,取得了比以往大部分方法更高的精确度,面对MPI-INF-3DHP等数据集时也展现出良好的泛化能力.     

深度学习方法在二维人体姿态估计的研究进展

人体姿态估计的任务是对图像或视频中的人体关键点进行定位和检测,其一直是计算机视觉领域的热点研究方向之一,也是计算机理解人类行为动作的关键一步。近年来,图像和视频中的二维人体姿态关键点预测在许多领域有着广泛的应用,二维人体姿态估计利用深度学习强大的图像特征提取能力,提升了其鲁棒性、准确性并缩短了处理时间,而且表现效果远超传统方法。根据二维人体姿态研究对象数量的不同,可将其分为单人以及多人姿态估计方法。针对单人姿态估计,根据提取到的关键点表示的不同,可采用基于直接预测人体坐标点的坐标回归方法,以及预测人体关键点高斯分布的基于热图的检测方法;针对多人姿态估计,可采用的方法分为解决多人到单人过程的自顶向下方法,以及直接处理多人关键点的自底向上方法。根据现有的人体姿态估计方法对其进行总结,说明网络结构的内部机制及执行过程,并对常用的数据集、评价指标进行分析,最后阐述当前面临的问题及未来发展趋势。     

基于无监督学习的动作捕捉躯干弯曲度估计方法

人体姿态估计是行为识别的研究热点,基于深度学习的人体运动捕捉技术是人体姿态估计的重要方法。然而,基于骨骼模型的研究,通常使用二维的人体姿态估计,在人体中间部位缺少胸部、骨盆、脊柱等关键点,大部分方法只包含人体中间部分有限的关键点。由于人体整体结构的复杂性,跟踪方法只估计人体表面,估计躯干内部的弯曲度较困难。通过在基于骨架的模型中添加新的关键点来优化现有的深度学习模型,并提出一种基于无标记动作骨架的曲线弯曲算法来估计躯干的弯曲度。借助惯性测量智能套装,用惯性测量法对该方法进行验证,该方法能够较好地估计出人体躯干弯曲度。实验表明,无标记的躯干弯曲估计模型,为进一步提高人体估计姿态的躯干弯曲精度提供新的研究思路。     

基于深度迁移学习的人体舞蹈姿态检测方法

常规的人体舞蹈姿态检测方法存在多姿态动作检测精度和识别率较低，因此提出基于深度迁移学习的人体舞蹈姿态检测方法。首先，利用Kinect传感器采集人体舞蹈姿态动作三维数据。其次，基于滑动窗口间接分割原理识别动作类别。再次，利用深度迁移学习建立动作识别模型，识别人体舞蹈的特定动作和非特定动作。最后，结合人体关节位置特征，检测人体舞蹈姿态动作中左手、右手、上身及全身4类局部特征信息。实验分析可知，新的方法应用后，舞蹈姿态检测的交并比值较高，显著提升了检测准确性。     

单帧图像人体姿态估计综述

人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息,姿态估计的结果分二维和三维两种情况,而估计的方法分基于模型和无模型两种途径。本文首先介绍了人体姿态估计的研究背景和应用方向,然后对姿态估计的相关概念作了阐述,分析了姿态估计的输出表示,接着从人体目标检测和姿态估计两大类进行了详细分析和讨论,从实际应用的角度对各种方法做了理论上的比较和分析。最后,对相关研究还存在的问题和进一步研究的趋势作了归纳和总结。     

增量式人体姿态映射模型的学习方法

判别式3D人体姿态估计方法直接学习图像观测到姿态之间的映射,需要大量训练集,而GPR对这种大训练集的映射模型学习由于计算复杂度太高而受到极大限制。提出了一种基于GPR和LWPR的增量式映射模型的学习方法,利用GPR学习各局部映射模型,基于LWPR的思想在线调整现有的模型和训练新的局部模型以及姿态估计。实验表明,该方法能够极大地减少大数据集上高斯过程回归的计算代价,并获得准确的姿态估计。