基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

基于多样卷积单元高效人体姿态估计

设计兼具准确率和轻量化的人体姿态估计网络模型成为了人机交互领域的迫切需求。为了满足这一需求,结合HRNet模型的高分辨率设计模式,提出了一种多样化高效卷积单元的高分辨率网络模型DU-HRNet。为了探索并增强来自不同感受野大小层的多尺度信息,鼓励卷积层间信息更加多样化,模型允许并行分支中的每一分支拥有不同类型的高效卷积单元。为了改善模型的非线性,在高效卷积单元中使用通道注意力ECANet。在MS COCO关键点检测数据集和MPII数据集中验证了模型的有效性。模型在参数量等于7.6 M、GFLOPs为2.66,没有经过任何后期处理的条件下,在COCO val2017数据集上达到了71.1 mAP(mean Average Precision,平均精度均值)分数,在COCO test-dev2017数据集上达到71.8 mAP分数。通过消融实验验证了模型整体和组成部分的有效性。     

联合人体解析与姿态估计的轻量级网络

人体解析与姿态估计是人类行为理解领域中两个重要的研究方向。其中,人体解析旨在区分人体图像的各个区域,而姿态估计的目标则是在图像中找出人的关节点。由于这两个任务存在天然的相关性,采用一个统一的模型同时实现两个任务,可以使两者相互受益并节省资源消耗。针对该问题,旨在设计一个高效的轻量级网络,以较少的计算资源实现两个任务一致性的高性能。在公开数据集LIP上的实验表明,提出的算法能加快推理速度并具备优良的性能。     

一种基于时空运动信息交互建模的三维人体姿态估计方法

三维人体姿态估计在虚拟现实和人机交互等领域具有重要作用。近年来,Transformer已被引入三维人体姿态估计领域,用于捕捉人体关节点的时空运动信息。然而,现有研究通常只关注于人体关节点群的整体运动,或只对单独的人体关节点运动进行建模,均没有深入地探讨每个关节点的独特运动模式及不同关节点运动间的相互影响。因此,提出了一种创新的方法,旨在细致地学习每帧中的二维人体关节点的空间信息,并对每个关节点的特定运动模式进行深入分析。通过设计一个基于Transformer编码器的运动信息交互模块,精确地捕捉不同关节点之间的动态运动关系。相较于已有直接对人体关节点的整体运动进行学习的模型,此方法能够使得预测精度提高约3%。与注重单节点运动的最先进MixSTE模型相比,该模型在捕捉关节点的时空特征方面更为高效,推理速度实现了20%以上提升,使其更适合于实时推理的场景。     

基于卷积神经网络的2D人体姿态估计综述

随着深度学习的快速发展,2D人体姿态估计作为其他计算机视觉任务的研究基础,其检测速度和精度对后续应用落地具有实际意义。对近年来基于卷积神经网络的2D人体姿态估计的方法进行梳理介绍,将现有方法分为人体检测关节点回归融合算法和人体关节点检测聚类算法,同时对当前的主流数据集及其评价准则进行总结,最后对2D人体姿态估计当前所面临的困难以及未来的发展趋势做以阐述,为姿态估计相关研究提供一些参考。     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

基于改进特征金字塔网络的人体姿态估计

为在人体姿态估计过程中有效获取多尺度特征和关键点坐标,建立一种基于改进特征金字塔网络(IPFN)的人体姿态跟踪模型.在原特征金字塔上采用新的检测器扩大感受野得到新特征金字塔,通过引入多尺度卷积生成高斯热点图,同时搜索和定位关键点,使坐标转换层将高斯热点图转为坐标,实现端到端训练过程.实验结果表明,相比FPN,IPFN模...     

部位级遮挡感知的人体姿态估计

随着深度学习的快速发展,人体姿态估计技术近年来取得显著进步,但是现有方法仍难以较好地处理普遍存在的遮挡问题.针对此问题,提出一种部位级遮挡感知的人体姿态估计方法.首先,采用基准人体姿态估计网络从含遮挡噪声的图像中获得各人体部位的带噪声特征表达.然后,通过遮挡部位预测模块估计人体被遮挡部位,从而获得可见性向量.遮挡部位预测模块由遮挡部位分类网络和可见性编码器组成,前者预测关节点的遮挡状态,后者利用注意力机制将遮挡状态转换为一组权重.最后,通过通道重加权方式融合可见性向量和带噪声特征,获得部位级遮挡感知的人体部位相关特征,用于计算关节点热图.在MPII和LSP(leeds sports pose)数据集上的实验结果表明,相比基准姿态估计网络,该方法能够在较小的额外计算代价下更好地应对遮挡问题,并且取得了比目前先进方法更佳的结果.     

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络（GCN）日益成为三维人体姿态估计（3D HPE）的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块（MDC）和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法（WMDGCN）。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用（超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略）,从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

基于改进卷积神经网络的人体姿态估计

卷积神经网络是人体姿态估计中应用最成功的深度学习模型,但仍存在着一些诸如关节搜索空间过于巨大以及不同卷积核得到的抽象特征被平等对待等缺陷.为此,提出了一种基于改进卷积神经网络的人体姿态估计算法,利用先验分布减小关节搜索空间,改进卷积神经网络结构建立新的关节外观模型.改进的网络利用单个卷积核对应的全局和局部抽象特征计算关节的初始定位概率,通过对所有卷积核对应的关节初始定位概率进行线性组合来计算关节的最终定位概率,利用线性组合中不同的权值来体现不同抽象特征在定位关节时所起的不同作用.仿真实验表明,与现有基于卷积神经网络的人体姿态估计算法相比,所提出的算法具有更低的计算复杂度和更高的估计准确度.     

基于姿态机和卷积神经网络的手的关键点估计

姿态机(PoseMachine)是一种成熟的2D人体姿态估计方法,其具有强大的对人体关键点间复杂的上下文关联的表示力(representation power)。卷积神经网络广泛应用于计算机视觉领域中,其具有出色的图像特征提取能力。基于姿态机和卷积神经网络,提出了一种的手的关键点估计方法。该方法将姿态机应用于手的关键点估计问题,且用卷积神经网络来实现姿态机的各个组件。测试表明,该方法具有与目前先进的手的关键点估计方法相当的预测性能。     

利用改进生成对抗网络进行人体姿态识别

针对人体模型中某些重要关节点准确定位的问题,提出了一种新型深度卷积生成对抗网络以进行静态图像中人体姿态的估计的方法。该方法采用了深度卷积的堆叠沙漏网络来准确提取图像上关键关节点的位置,该网络的生成和辨别部分被设计用于编码第一层次结构（亲本）与第二层次结构（子本）中的空间关系,并且展示了人体部位的空间层次。生成器和判别器在网络中被设计为两部分,并按照顺序连接在一起用来编码外观可能的关系,同时为人体部位存在的可能性以及身体的每个部分与其亲本部分之间的关系进行编码。在静态图像中,可以较准确地识别人体模型关键节点以及大致人体姿态。该方法在不同的数据集上进行了实验,在大部分情况下,提出的方法获得的结果优于其他几种对比方法。     

A Real-Time Multi-Stage Architecture for Pose Estimation of Zebrafish Head with Convolutional Neural Networks

In order to conduct optical neurophysiology experiments on a freely swimming zebrafish,it is essential to quantify the zebrafish head to determine exact lighting positions.To efficiently quantify a zebrafish head's behaviors with limited resources,we propose a real-time multi-stage architecture based on convolutional neural networks for pose estimation of the zebrafish head on CPUs.Each stage is implemented with a small neural network.Specifically,a light-weight object detector named Micro-YOLO is used to detect a coarse region of the zebrafish head in the first stage.In the second stage,a tiny bounding box refinement network is devised to produce a high-quality bounding box around the zebrafish head.Finally,a small pose estimation network named tiny-hourglass is designed to detect keypoints in the zebrafish head.The experimental results show that using Micro-YOLO combined with RegressNet to predict the zebrafish head region is not only more accurate but also much faster than Faster R-CNN which is the representative of two-stage detectors.Compared with DeepLabCut,a state-of-the-art method to estimate poses for user-defined body parts,our multi-stage architecture can achieve a higher accuracy,and runs 19x faster than it on CPUs.     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

Learning a Deep Predictive Coding Network for a Semi-Supervised 3D-Hand Pose Estimation

In this paper we present a CNN based approach for a real time 3D-hand pose estimation from the depth sequence. Prior discriminative approaches have achieved remarkable success but are facing two main challenges: Firstly, the methods are fully supervised hence require large numbers of annotated training data to extract the dynamic information from a hand representation. Secondly, unreliable hand detectors based on strong assumptions or a weak detector which often fail in several situations like complex environment and multiple hands. In contrast to these methods, this paper presents an approach that can be considered as semi-supervised by performing predictive coding of image sequences of hand poses in order to capture latent features underlying a given image without supervision. The hand is modelled using a novel latent tree dependency model (LDTM) which transforms internal joint location to an explicit representation. Then the modeled hand topology is integrated with the pose estimator using data dependent method to jointly learn latent variables of the posterior pose appearance and the pose configuration respectively. Finally, an unsupervised error term which is a part of the recurrent architecture ensures smooth estimations of the final pose. Experiments on three challenging public datasets, ICVL, MSRA, and NYU demonstrate the significant performance of the proposed method which is comparable or better than state-of-the-art approaches.      

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...