三维人体姿态估计研究综述

三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态。基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法。按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介绍,从而了解传统方法通过生成和判别等方法得到人体姿态的众多要素完成三维人体姿态的估计。基于深度学习的三维人体姿态估计方法主要通过构建神经网络,从图像特征中回归出人体姿态信息,大致可以分为基于直接回归方法、基于2D信息方法和基于混合方法的三维人体姿态估计这三类。最后对当前三维人体姿态估计研究所面临的困难与挑战进行阐述,并对未来的研究趋势做出展望。     

基于深度学习的二维人体姿态估计研究进展

基于深度学习的二维人体姿态估计方法通过构建特定的神经网络架构,将提取的特征信息根据相应的特征融合方法进行信息关联处理,最终获得人体姿态估计结果,因其具有广泛的应用价值而受到研究人员的关注。从数据集基准、姿态估计方法和评测标准等方面,对近年来基于深度学习的二维人体姿态估计的诸多研究工作进行系统归纳与整理,将现有方法分为单人姿态估计方法与多人姿态估计方法,并分别从网络架构设计、输出特征表示和损失函数选取方面进行分析与总结。在此基础上,结合当前二维人体姿态估计所面临的挑战对其未来研究发展方向与应用前景进行展望。     

基于姿态估计的实时跌倒检测算法

为了快速、准确地检测老年人跌倒事件的发生,给出一种基于姿态估计的实时跌倒检测算法.首先利用基于深度学习的人体姿态估计算法得到人体关节点的坐标;然后,通过计算人体质心点的下降速度、跌倒后颈部关节点的纵坐标值是否大于阈值、以及肩部和腰部关节点的相对位置关系来判断跌倒是否发生.所给出的跌倒检测算法利用单目相机进行检测,便于以嵌入式方式应用于机器人.实验结果表明,所提出算法与当前先进方法相比取得了较好的效果.     

一种基于时空运动信息交互建模的三维人体姿态估计方法

三维人体姿态估计在虚拟现实和人机交互等领域具有重要作用。近年来,Transformer已被引入三维人体姿态估计领域,用于捕捉人体关节点的时空运动信息。然而,现有研究通常只关注于人体关节点群的整体运动,或只对单独的人体关节点运动进行建模,均没有深入地探讨每个关节点的独特运动模式及不同关节点运动间的相互影响。因此,提出了一种创新的方法,旨在细致地学习每帧中的二维人体关节点的空间信息,并对每个关节点的特定运动模式进行深入分析。通过设计一个基于Transformer编码器的运动信息交互模块,精确地捕捉不同关节点之间的动态运动关系。相较于已有直接对人体关节点的整体运动进行学习的模型,此方法能够使得预测精度提高约3%。与注重单节点运动的最先进MixSTE模型相比,该模型在捕捉关节点的时空特征方面更为高效,推理速度实现了20%以上提升,使其更适合于实时推理的场景。     

跨阶段结构下的人体姿态估计

目的 基于图像的人体姿态估计是计算机视觉领域中一个非常重要的研究课题,并广泛应用于人机交互、监控以及图像检索等方面。但是,由于人体视觉外观的多样性、遮挡和混杂背景等因素的影响,导致人体姿态估计问题一直是计算机视觉领域的难点和热点。本文主要关注于初始特征对关节点定位的作用,提出一种跨阶段卷积姿态机（CSCPM）。方法 首先,采用VGG （visual geometry group）网络获得初步的图像初始特征,该初始特征既是图像关节点定位的基础,同时,也由于受到自遮挡和混杂背景的干扰难以学习。其次,在初始特征的基础上,构建多层模型学习不同尺度下的结构特征,同时为了解决深度学习中的梯度消失问题,在后续的各层特征中都串联该初始特征。最后,设计了多尺度关节点定位的联合损失,用于学习深度网络参数。结果 本文实验在两大人体姿态数据集MPII （MPII human pose dataset）和LSP （leeds sport pose）上分别与近3年的人体姿态估计方法进行了定性与定量比较,在MPII数据集中,模型的总检测率为89.1%,相比于性能第2的模型高出了0.7%;在LSP数据集中,模型的总检测率为91.0%,相比于性能第2的模型高出了0.5%。结论 实验结果表明,初始特征学习能够有效判断关节点的自遮挡和混杂背景干扰情况,引入跨阶段结构的CSCPM姿态估计模型能够胜出现有人体姿态估计模型。     

基于AlphaPose优化模型的老人跌倒行为检测算法

针对在低功耗、低成本硬件平台快速准确检测老人跌倒高危行为的问题,提出了一种基于AlphaPose优化模型的老人异常行为检测算法.首先,对行人目标检测模型和姿态估计模型进行优化,以加快人体目标检测和姿态关节点推理;然后,通过优化的AlphaPose模型快速计算得到人体姿态关节点图像坐标数据;最后,计算人体跌倒瞬间头部关节...     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于混合关节肢体模型的深度人体姿态估计方法

提出基于关节外观和关节间空间关系的模型与深层神经网络结构(DCNN)相结合的混合模型,解决人体姿态估计问题.首先,对人体构建图像模型以表示人体关节与肢体.然后,根据标注信息将图像分解为以关节为中心的若干图像块,作为训练输入数据.最后,得到一个可以解决多个分类的DCNN网络,用于人体姿态估计.文中方法对人体表示更灵活,有效提升关节点的检测率及正确检测的比率.     

深度学习二维人体姿态估计方法综述

人体姿态估计是计算机视觉中的一项重要任务。传统的姿态估计方法存在难以实现复杂场景下分离目标和背景、易受人为设定先验信息影响、效率过低等问题。随着人工智能技术的发展,深度学习技术日趋成熟,基于深度学习的人体姿态估计方法的精确率和速度等性能均优于传统的人体姿态估计方法。近年来,作为三维人体姿态估计的基础,二维人体姿态估计模型在解决拥挤和遮挡方面取得了长足进步,但大多数网络模型采用的是层数过多的卷积神经网络（convolutional neural network,CNN）模型,对网络速度产生了很大影响。基于部署在边缘侧的实际应用需求,二维人体姿态估计网络的轻量化成为研究热点,且具有潜在的创新应用价值。根据基于深度学习的二维人体姿态估计模型的发展历程和优化趋势,可将其分为单人姿态估计、多人姿态估计以及轻量级人体姿态估计3类。本文对各类人体姿态估计采用的不同卷积神经网络模型进行总结,对各类神经网络模型的特点进行分析,对各类估计方法的性能进行比较。虽然深度卷积神经网络（deep convolutional neural network, DCNN）模型的结构设计越来越多元化,但是各类深度学习网络模型在处理人体姿态估计任务时,仍具有一定的局限性。本文对二维人体姿态估计模型采用的技术方法及其存在的问题进行深入讨论,并给出了未来可能的研究方向。     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景。随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向。然而,深度学习尚在发展中,仍存在训练规模大等问题,研究者们主要从设计网络以及训练方式入手对人体姿态估计算法进行改进。首先,将二维人体姿态估计分为单人与多人两大类进行论述;根据真值类型不同将单人姿态估计分为基于坐标回归与基于热图检测两类,根据算法步骤不同将多人姿态估计分为二步法与一步法两类,对近年来先进的算法进行总结分类介绍,并分析它们的优缺点以及适用范围;然后,介绍了相关的国际标准数据集以及相应的评价指标,并对几种经典算法进行实验数据对比;最后,对当前研究所存在的问题以及未来发展趋势进行了总结概述。     

深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

复杂场景下的人体行为识别研究新进展

人体行为识别是计算机视觉的研究难点和热点,主流的研究框架包括行为特征提取、人体行为表示和识别算法3个方面,目前简单场景下的人体简单动作的识别已基本得到解决,而复杂场景下的行为识别仍面临很多困难。对近几年人体行为识别的发展做了比较详细的研究,从人体行为识别的研究范畴、特征提取以及行为模型等方面综述了目前复杂场景下人体行为识别的研究方法。与已有的相关综述文献不同的是,文中结合了近三年国内外人体行为识别领域中新的研究热点和成果,如姿态特征的提取和表示、基于稀疏编码和卷积神经网络的人体行为表示方法等。最后阐述了该领域目前存在的困难以及可能的发展趋向。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础, 随着深度学习和神经网络的流行已经成为备受学者关注的研究热点. 与传统方法相比, 深度学习能够得到更深层图像特征, 对数据的表达更准确, 因此已成为研究的主流方向. 本文主要介绍了二维人体姿态估计算法, 首先根据检测人数分为单人姿态估计与多人姿态估计两类, 其次对单人姿态估计分为基于坐标回归与基于热图检测的方法; 对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法. 最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比, 并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围。提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件进行六维位姿估计。在仿真数据集和真实数据集上的实验结果表明,该方法相比传统点云位姿估计方法准确率更高、计算时间更短,且对于疏密程度不一致的点云以及噪声均具有更强的鲁棒性。     

3D human pose estimation in motion based on multi-stage regression

3D human pose estimation in motion is a hot research direction in the field of computer vision. However, the performance of the algorithm is affected by the complexity of 3D spatial information, self-occlusion of human body, mapping uncertainty and other problems. In this paper, we propose a 3D human joint localization method based on multi-stage regression depth network and 2D to 3D point mapping algorithm. First of all, we use a single RGB image as the input, through the introduction of heatmap and multi-stage regression to constantly optimize the coordinates of human joint points. Then we input the 2D joint points into the mapping network for calculation, and get the coordinates of 3D human body joint points, and then to complete the 3D human body pose estimation task. The MPJPE of the algorithm in Human3.6 M dataset is 40.7. The evaluation of dataset shows that our method has obvious advantages.