基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

单帧图像人体姿态估计综述

人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息,姿态估计的结果分二维和三维两种情况,而估计的方法分基于模型和无模型两种途径。本文首先介绍了人体姿态估计的研究背景和应用方向,然后对姿态估计的相关概念作了阐述,分析了姿态估计的输出表示,接着从人体目标检测和姿态估计两大类进行了详细分析和讨论,从实际应用的角度对各种方法做了理论上的比较和分析。最后,对相关研究还存在的问题和进一步研究的趋势作了归纳和总结。     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

基于PCNet的人体姿态估计方法

人体姿态估计是计算机视觉、模式识别领域的重要研究问题,用于将视频图像中的人体骨骼姿态进行检测识别,在人机交互领域有重要应用;针对闸机场景下人群拥挤、遮挡严重的人体姿态估计问题,提出了基于姿态矫正的人体姿态估计网络PCNet;该网络设计了一种融合全局和局部信息的Transformer特征编码模块,并将其引入到模型特征提取骨干网络中提升精度表现;提出基于时空注意力机制的级联结构的姿态矫正模块,对预测的关键点位置进行矫正,修正因遮挡、小尺度目标等引起的误差较大的关键点;将提出的人体姿态估计方法在COCO数据集和CrowdPose数据集上进行实验,实验结果表示,模型效果与主流方法相比在精度和鲁棒性上均得到了提升。     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

基于深度学习的人体姿态估计方法综述

基于深度学习的人体姿态估计方法旨在通过构建合适的神经网络;直接从二维的图像特征中回归出人体姿态信息。主要按照2D人体姿态估计到3D人体姿态估计的顺序;并从单人检测与多人检测、稀疏的关节点检测与密集的模型构建等方面;对近年来基于深度学习的人体姿态估计方法进行系统介绍;从而初步了解如何通过深度学习的方法得到人体姿态的各个要素;包括肢体部件的相对朝向和比例尺度、骨骼关节点的位置坐标和连接关系;甚至更为复杂的人体蒙皮模型信息。最后,对当前研究面临的挑战以及未来的热点动向进行概述;清晰地呈现出该领域的发展脉络。     

三维人体姿态估计研究综述

三维人体姿态估计在本质上是一个分类问题和回归问题,主要通过图像估计人体的三维姿态.基于传统方法和深度学习方法的三维人体姿态估计是当前研究的主流方法.按照传统方法到深度学习方法的顺序对近年来三维人体姿态估计方法进行系统介绍,从而了解传统方法通过生成和判别等方法得到人体姿态的众多要素完成三维人体姿态的估计.基于深度学习的三...     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示（如人体骨骼）,以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。     

着装场景下双分支网络的人体姿态估计

目的 人体姿态估计旨在识别和定位不同场景图像中的人体关节点并优化关节点定位精度。针对由于服装款式多样、背景干扰和着装姿态多变导致人体姿态估计精度较低的问题,本文以着装场景下时尚街拍图像为例,提出一种着装场景下双分支网络的人体姿态估计方法。方法 对输入图像进行人体检测,得到着装人体区域并分别输入姿态表示分支和着装部位分割分支。姿态表示分支通过在堆叠沙漏网络基础上增加多尺度损失和特征融合输出关节点得分图,解决服装款式多样以及复杂背景对关节点特征提取干扰问题,并基于姿态聚类定义姿态类别损失函数,解决着装姿态视角多变问题;着装部位分割分支通过连接残差网络的浅层特征与深层特征进行特征融合得到着装部位得分图。然后使用着装部位分割结果约束人体关节点定位,解决服装对关节点遮挡问题。最后通过姿态优化得到最终的人体姿态估计结果。结果 在构建的着装图像数据集上验证了本文方法。实验结果表明,姿态表示分支有效提高了人体关节点定位准确率,着装部位分割分支能有效避免着装场景中人体关节点误定位。在结合着装部位分割优化后,人体姿态估计精度提高至92.5%。结论 本文提出的人体姿态估计方法能够有效提高着装场景下的人体姿态...     

基于深度学习的二维单人姿态估计综述

人体姿态估计是计算机视觉领域的一项关键技术,它通过检测人体关键点以识别人体姿态.随着深度学习的快速发展,其已成为人体姿态估计的主流技术并取得了显著进展.围绕单人姿态估计问题,从数据预处理、网络架构设计、监督学习方法以及后处理技术四个维度对基于深度学习的单人姿态估计研究进行回顾,同时探讨关键点表征的新方式及Transformer模型在该领域的应用,此外还介绍了常用的数据集和性能估计指标,深入讨论当前单人姿态估计领域的挑战和发展方向.     

融合注意力机制的OpenPose人体跌倒检测算法

人员密集场所跌倒事件易引发公共安全问题,对人体跌倒进行实时监测和预警可降低安全风险.针对现有基于姿态估计跌倒检测方法模型规模大、时效性差等问题,提出一种融合注意力机制的OpenPose人体跌倒检测算法DSC-OpenPose.首先借鉴DenseNet稠密连接思想,将每层与之前所有层在通道维度上直接连接,实现特征复用,减小模型参数规模;然后在不同阶段之间添加坐标注意力机制,获取特征图空间方向依赖和精确位置信息,提高姿态估计精度;最后提出一种基于人体外椭圆参数、头部高度、下肢高度共同识别跌倒行为的方法,实现人体目标的跌倒检测.实验结果表明,在COCO数据集上,所提算法在模型规模和精度之间取得了较好的平衡效果;在real fall (RF)数据集上,所提跌倒检测算法的准确率达到98.2%,精度达到96.6%,检测速度达到20.2帧/s,且模型规模较小,满足嵌入式设备实时推理需求.     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...     

联合姿态先验的人体精确解析双分支网络模型

人体解析旨在将人体图像分割成多个具有细粒度语义的部件区域,进行形成对人体图像的语义理解.然而,由于人体姿态的复杂性,现有的人体解析算法容易对人体四肢部件形成误判,且对于小目标区域的分割不够精确.针对上述问题,联合人体姿态估计信息,提出了一种人体精确解析的双分支网络模型.该模型首先使用基干网络表征人体图像,将人体姿态估计模型预测到的姿态先验作为基干网络的注意力信息,进而形成人体结构先验驱动的多尺度特征表达,并将提取的特征分别输入至全卷积网络解析分支与检测解析分支.全卷积网络解析分支获得全局分割结果,检测解析分支更关注小尺度目标的检测与分割,融合两个分支的预测信息可以获得更为精确的分割结果.实验结果验证了该算法的有效性,在当前主流的人体解析数据集LIP和ATR上,所提方法的m Io U评测指标分别为52.19%和68.29%,有效提升了解析精度,在人体四肢部件以及小目标部件区域获得了更为准确的分割结果.     

基于姿态机和卷积神经网络的手的关键点估计

姿态机(PoseMachine)是一种成熟的2D人体姿态估计方法,其具有强大的对人体关键点间复杂的上下文关联的表示力(representation power)。卷积神经网络广泛应用于计算机视觉领域中,其具有出色的图像特征提取能力。基于姿态机和卷积神经网络,提出了一种的手的关键点估计方法。该方法将姿态机应用于手的关键点估计问题,且用卷积神经网络来实现姿态机的各个组件。测试表明,该方法具有与目前先进的手的关键点估计方法相当的预测性能。     

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.