深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示（如人体骨骼）,以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。     

基于深度学习的三维点云头部姿态估计

快速、可靠的头部姿态估计算法是高级人脸分析任务的基础。为了解决现有算法存在的光照变化、遮挡、姿态尺度较大等问题,提出一种新的深度学习框架HPENet。该网络以点云数据为输入,首先通过最远点采样算法提取点云结构中的特征点,以特征点为球心,将不同半径的球体内的点构成多个分组,用于后续的特征描述;然后采用多层感知器和最大池化层实现点云的特征提取,提取的特征通过全连接层输出预测的头部姿态。为了验证HPENet的有效性,在公共数据集Biwi Kinect Head Pose上进行测试。实验结果显示,HPENet在俯仰角、侧倾角和偏航角上的误差分别为2.3°、1.5°、2.4°,平均每帧的时间消耗为8 ms。与其他优秀算法相比,所提方法在准确度和计算的复杂度方面都具有更好的性能。     

基于单一深度图像的人体姿态实时识别技术研究

为探索更自然、逼真的交互方式,对基于深度图像技术进行研究。介绍当前深度图像技术的应用现状以及主要研究方法;利用深度图像对人体进行识别,包括基于多幅深度图像和基于单一深度图像;对于人体姿态静态追踪,基于当前研究成果将人体部位进行分割处理,以计算机处理速率及鲁棒性为出发点,将随机森林算法应用于单一深度图像中人的定位,并提出改进方法,实现身体部位的识别以及骨骼关节点的空间位置精确标定。通过试验分析对人体深度图像识别速率及精确度方面的改进效果进行验证。     

基于深度学习的人体姿态估计方法综述

基于深度学习的人体姿态估计方法旨在通过构建合适的神经网络，直接从二维的图像特征中回归出人体姿态信息。主要按照2D人体姿态估计到3D人体姿态估计的顺序，并从单人检测与多人检测、稀疏的关节点检测与密集的模型构建等方面，对近年来基于深度学习的人体姿态估计方法进行系统介绍，从而初步了解如何通过深度学习的方法得到人体姿态的各个要素，包括肢体部件的相对朝向和比例尺度、骨骼关节点的位置坐标和连接关系，甚至更为复杂的人体蒙皮模型信息。最后,对当前研究面临的挑战以及未来的热点动向进行概述，清晰地呈现出该领域的发展脉络。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

一种基于深度学习的头部姿态估计模型

针对传统头部姿态估计网络存在空间结构信息易丢失问题,论文提出一种将胶囊网络与传统卷积神经网络相结合的头部姿态估计网络模型.该模型采用具有多级输出结构的传统卷积神经网络,将不同层级的空间结构信息和语义信息进行提取,同时利用胶囊网络能够充分保留特征信息的优点,将提取的特征进行编码,从而使其以胶囊的形式进行传递和输出,有效避...     

基于半监督学习的三维人体姿态估计

通过单目RGB摄像头自动估计人体三维姿态是一个重要的、具有挑战性且仍未被解决问题,主流算法大多基于监督学习的深度学习方法,但是这种方法的效果受训练数据质量的影响很大,而标定好的三维人体姿态数据集相对稀缺,阻碍了这一问题的进一步的研究.在现有标记数据有限的情况下,利用人体姿态信息在二维空间和三维空间上存在的内在关系,提出...     

基于标签分布学习的三维手部姿态估计

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征...     

基于深度学习的二维人体姿态估计:现状及展望

二维人体姿态估计旨在从摄像机拍摄的图像中识别并定位每个行人的人体关键点.作为行人分析和理解领域的基础任务之一,人体姿态估计能够为多个下游任务和应用提供支持.近年来,随着深度学习技术的进步,人体姿态估计的研究迎来快速发展.基于图像包含的行人数量,人体姿态估计可以分为单人姿态估计和多人姿态估计两大类.本文首先介绍人体姿态估计的研究背景、问题定义、任务难点以及当前方法中的关键点表示方法.在此基础上,本文进一步总结和介绍了具有代表性的单人姿态估计和多人姿态估计方法.单人姿态估计方法包括回归法和检测法,主要关注于网络结构设计、热力图编解码、多任务学习等.对于多人姿态估计,本文分别介绍了基于热力图预测的方法和基于向量场回归的方法.随后,本文总结了当前常用的代表性数据集和性能度量方法,总结了代表性方法在几个常用数据集上的性能,对它们的预测错误的场景进行了详细分析和对比.最终,本文分析了现有二维人体姿态估计算法仍未有效解决的难题,对未来研究进行了展望.     

基于深度信息的人体姿态识别研究综述

随着RGB-D传感器的出现,深度图像信息可以弥补基于彩色图像的人体姿态识别在复杂环境和光照变化下鲁棒性较差的问题,因此利用深度信息识别人体姿态变得更加便捷。为了解人体姿态识别的发展现状,在广泛调研现有文献和最新成果的基础上,从深度图像预处理、特征提取、姿态识别算法三方面对基于深度信息的人体姿态识别进行阐述,介绍人体姿态识别相关的技术发展及应用领域,并对其中存在的难点与问题进行讨论,为以后的相关研究提供思路。     

深度学习方法在二维人体姿态估计的研究进展

人体姿态估计的任务是对图像或视频中的人体关键点进行定位和检测,其一直是计算机视觉领域的热点研究方向之一,也是计算机理解人类行为动作的关键一步。近年来,图像和视频中的二维人体姿态关键点预测在许多领域有着广泛的应用,二维人体姿态估计利用深度学习强大的图像特征提取能力,提升了其鲁棒性、准确性并缩短了处理时间,而且表现效果远超传统方法。根据二维人体姿态研究对象数量的不同,可将其分为单人以及多人姿态估计方法。针对单人姿态估计,根据提取到的关键点表示的不同,可采用基于直接预测人体坐标点的坐标回归方法,以及预测人体关键点高斯分布的基于热图的检测方法;针对多人姿态估计,可采用的方法分为解决多人到单人过程的自顶向下方法,以及直接处理多人关键点的自底向上方法。根据现有的人体姿态估计方法对其进行总结,说明网络结构的内部机制及执行过程,并对常用的数据集、评价指标进行分析,最后阐述当前面临的问题及未来发展趋势。     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

基于深度学习的二维人体姿态估计研究进展

基于深度学习的二维人体姿态估计方法通过构建特定的神经网络架构,将提取的特征信息根据相应的特征融合方法进行信息关联处理,最终获得人体姿态估计结果,因其具有广泛的应用价值而受到研究人员的关注.从数据集基准、姿态估计方法和评测标准等方面,对近年来基于深度学习的二维人体姿态估计的诸多研究工作进行系统归纳与整理,将现有方法分为单...     

基于RGBD的实时头部姿态估计

摘 要：实时的头部姿态估计在人机交互和人脸分析应用中起着至关重要的作用,但准确 的头部姿态估计方法依然具有一定的挑战性。为了提高头部姿态估计的准确性和鲁棒性,将基 于几何的方法与基于学习的方法相结合进行头部姿态估计。在人脸检测和人脸对齐的基础上, 提取彩色图像几何特征和深度图像的局部区域深度特征,再结合深度块的法线和曲率特征,构 成特征向量组;然后使用随机森林的方法进行训练;最后,所有决策树进行投票,对得到的头 部姿态高斯分布估计进行阈值过滤,进一步提高模型预测的准确度。实验结果表明,该方法与 现有的头部姿态估计方法相比,具有更高的准确度及鲁棒性。     

基于三维模型的人脸姿态估计

提出了一种基于三维模型的人脸姿态估计方法。首先根据人脸特征点重建出稀疏的三维人脸模型,然后基于三维模型采用线性回归的方法对人脸姿态进行初步估计,确定姿态范围,再对估计结果进行修正,从而对人脸姿态进行精确估计。实验表明,该方法具有较好的估计效果,提高了姿态估计精度。     

基于深度图像的多学习者姿态识别

在数字化学习场景中,人体姿态的识别有助于分析学习者的学习状态。提出了一种基于深度图像的多学习者姿态识别方法。首先通过Kinect的红外传感器获取包含深度信息的图像,利用深度图像进行人像-背景分离;然后提取人体的轮廓特征Hu矩;最后采用SVM分类器对轮廓特征进行分类和识别。实验结果表明,本方法能有效地识别多个学习者的举手、正坐和低头等姿态。     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...     

基于单幅图像的人脸三维姿态估计

针对单张人像的三维姿态计算,结合面貌测量和射影几何的理论提出了一种方法：首先在人面部的平面区域内,选取眼角点,口角点,鼻翼点建立人脸模型;然后根据人脸平面上两个相互垂直的特征线投影到照片上的灭点位置,求出人脸平面的旋转方向。该方法特征点易于标定,且无需任何的辅助设备和先验知识,具有一定的实用性。     

基于随机森林的实时头部姿态估计方法

本文设计了一个基于随机森林方法的实时头部姿态估计系统。将头部姿态估计问题转化成一个分类问题,标记正负样本集,采用样本加分类标签的形式进行训练,结合随机森林回归方法估计头部姿态。