结合通道注意力的特征融合多人姿态估计算法

为了提高二维复杂场景下多人姿态估计准确度和速度,提出了一种Mobile-YOLOv3模型与多尺度特征融合全卷积网络相结合的自顶向下多人姿态估计方法.利用深度可分离卷积改进YOLOv3网络以作为高效的人体目标检测器.针对网络特征下采样过程中上层高分辨率信息不断遗失问题,在经典U型网络结构中嵌入多尺度特征融合模块,从而使网络中的低尺度特征也包含高分辨率信息,并在特征融合模块中引入通道注意力机制,进一步突出多尺度融合特征图的关键通道信息.试验结果表明:相比于堆叠沙漏网络(Stacked Hourglass Network,SHN)和级联金字塔网络(Cascaded Pyramid Network,CPN),文中所提出的人体姿态估计算法在COCO数据集上的姿态估计平均准确率分别提高了4.7和3.7.     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

污染场地修复环境中人体姿态估计算法研究

针对污染场地修复环境中背景复杂、人体遮挡、视点变化等突出问题,提出一种基于沙漏网络的人体姿态估计算法,在有效过滤复杂背景的同时,提高姿态估计的准确性与鲁棒性。该算法利用感受野与注意力机制,对沙漏网络中的传统残差模块与跳级连接结构进行了改进。其通过扩大有效感受野面积,提高了人体关键点之间的关联性;通过对人体区域添加掩模,保留住关键人体信息的同时,过滤掉复杂背景。实验表明,提出的模型在MPII多人数据集上mAP检测精度达到83.1%,在MSCOCO Test-dev数据集上平均精度较Mask R-CNN、RMPE模型分别提升了9.6百分点和0.4百分点。     

引入坐标注意力和自注意力的人体关键点检测研究

人体关键点检测在智能视频监控、人机交互等领域具有重要应用。多数基于深度学习的人体关键点检测算法仅聚焦于增加多尺度特征或加深网络模型深度,忽略了在获取低分辨率特征图过程中因重复下采样操作而造成的信息丢失。针对该问题,提出一种高分辨率的人体关键点检测网络CASANet,以实现二维图像人体姿态估计。使用HRNet作为骨干网络,引入坐标注意力模块在1/16分辨率特征图分支上捕获位置信息和通道信息,利用自注意力模块在1/32分辨率特征图分支上捕获位置信息和通道信息的内部相关性,通过这2个模块克服网络在获取低分辨率特征图过程中的信息丢失问题。在MS COCOVAL 2017数据集上进行实验,结果表明, CASANet网络可以在参数量和计算量有少量提升的情况下获得更高的检测准确度,有效提升通道信息和位置信息的提取效果,相较基线方法,CASANet的AP值提高2.4个百分点。     

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

基于改进堆叠沙漏网络的动物姿态估计

堆叠沙漏网络在动物姿态估计任务中得到成功应用,但其编码-解码过程容易丢失网络的浅层信息,影响了检测精度。针对该问题,提出基于改进堆叠沙漏网络的动物姿态估计模型。设计一种基于SE注意力机制的多尺度最大池化模块,完成多尺度信息的提取,解决池化后信息大量丢失的问题,提高网络获取全局信息的能力,同时提出多级特征融合方法,充分提取和融合特征信息。在此基础上,嵌入CBAM注意力机制,学习特征融合权重,提升网络对多通道信息的提取能力,抑制无效特征,使网络提取出更丰富、细腻的特征。在TigDog数据集和合成动物数据集上进行训练和测试,结果表明,该模型估计性能优于Syn、BDL、CyCADA和CC-SSL模型,其对于马和老虎的PCK@0.05指标较次优的CC-SSL模型分别提高4.6%和3.5%。消融实验结果也验证了整个网络体系结构的先进性和有效性。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

基于注意力机制的人体关键点隐式建模网络

人体姿态估计任务需要利用视觉线索和关节间的解剖关系来定位关键点,但基于卷积神经网络的方法难以关注远程上下文线索和建模远距离关节之间的依赖关系。为此,提出一种基于注意力机制的隐式建模方法,通过多阶段迭代计算关节之间的特征相关性来隐式建模关键点间的约束关系,消除卷积神经网络的局部操作,扩大网络的感受野,建模远距离关节之间的依赖关系。为了解决网络在训练过程中可能弱化不可见关键点的问题,采用焦点损失函数,使网络更关注于复杂的关键点。使用目前精度最高的特征提取高分辨率网络（HRNet）和经典特征提取残差网络（ResNet）作为主干网络进行实验,结果表明,在同等实验条件下,隐式建模方法可以提高人体姿态估计网络的性能,在MPII和MSCOCO人体姿态估计基准数据集上,以HRNet网络为主干网络的算法相较于原网络,精度分别提升了1.7%和2.6%。     

Multipath affinage stacked—hourglass networks for human pose estimation

Recently, stacked hourglass network has shown outstanding performance in human pose estimation. However, repeated bottom-up and top-down stride convolution operations in deep convolutional neural networks lead to a significant decrease in the initial image resolution. In order to address this problem, we propose to incorporate affinage module and residual attention module into stacked hourglass network for human pose estimation. This paper introduces a novel network architecture to replace the stacked hourglass network of up-sampling operation for getting high-resolution features. We refer to the architecture as an affinage module which is critical to improve the performance of the stacked hourglass network. Additionally, we also propose a novel residual attention module to increase the supervision of upsample process. The effectiveness of the introduced module is evaluated on standard benchmarks. Various experimental results demonstrated that our method can achieve more accurate and more robust human pose estimation results in images with complex background.     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.     

结合掩码定位和漏斗网络的6D姿态估计

目的 6D姿态估计是3D目标识别及重建中的一个重要问题。由于很多物体表面光滑、无纹理,特征难以提取,导致检测难度大。很多算法依赖后处理过程提高姿态估计精度,导致算法速度降低。针对以上问题,本文提出一种基于热力图的6D物体姿态估计算法。方法 首先,采用分割掩码避免遮挡造成的热力图污染导致的特征点预测准确率下降问题。其次,基于漏斗网络架构,无需后处理过程,保证算法具有高效性能。在物体检测阶段,采用一个分割网络结构,使用速度较快的YOLOv3（you only look once v3）作为网络骨架,目的在于预测目标物体掩码分割图,从而减少其他不相关物体通过遮挡带来的影响。为了提高掩码的准确度,增加反卷积层提高特征层的分辨率并对它们进行融合。然后,针对关键点采用漏斗网络进行特征点预测,避免残差网络模块由于局部特征丢失导致的关键点检测准确率下降问题。最后,对检测得到的关键点进行位姿计算,通过PnP （perspective-n-point）算法恢复物体的6D姿态。结果 在有挑战的Linemod数据集上进行实验。实验结果表明,本文算法的3D误差准确性为82.7%,与热力图方法相比提高了10%;2D投影准确性为98.9%,比主流算法提高了4%;同时达到了15帧/s的检测速度。结论 本文提出的基于掩码和关键点检测算法不仅有效提高了6D姿态估计准确性,而且可以维持高效的检测速度。     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

Learning high resolution reservation for human pose estimation

The human pose estimation in images and videos is a challenging task in many applications. Most of the network structures used to estimate the pose only use the convolution feature of the last layer, which will cause the loss of information. In this paper, we propose a multi-scales fusion framework based on the hourglass network for the human pose estimation, which can effectively obtain sufficient information of different resolutions. In the process of extracting different resolution features, the network constantly complements the high resolution features. Additionally, we design the depth pyramid residual module to fuse different various scales features. The whole network is stacked by sub-networks. For applying in limited storage space better, we only use 2-stage stacked network. We test the network on standard benchmarks MPII dataset, our method achieves 88.9% PCKh score and improves the PCK score by 0.7%, compared with the original network. Our approach gains state-of-the-art results.

     

ARGP-Pose:基于关键点间关系分析与分组预测的3D人体姿态估计

尽管3D人体姿态估计已经相对成功,但现存方法在复杂场景下的性能依然差强人意。为了提高在无约束场景下3D人体姿态估计的准确性以及鲁棒性,提出了ARGP-Pose,一种基于探索关键点间关系的单目视频3D人体姿态估计框架。该框架包含一种关键点信息预处理方式以及3D姿态估计网络结构。关键点预处理能够强化结构特征,抽取出关键点之间联系信息,并作为网络输入。3D姿态估计网络能够融合各个关键点的局部信息以及整体姿态的全局信息。此外,利用自注意力模块来提取有效时序信息,以进一步提高预测准确度。而对于复杂姿态,采用了分组预测的方式将复杂动作的预测分解为各个点的预测,从而使网络对复杂姿态的估计能力有了明显的提高。在Human3.6M和HumanEva-I这两个著名数据集上的实验结果证明了所提出的方法的优越性。     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...     

多维注意力特征聚合立体匹配算法

现有基于深度学习的立体匹配算法在学习推理过程中缺乏有效信息交互, 而特征提取和代价聚合两个子模块的特征维度存在差异, 导致注意力方法在立体匹配网络中应用较少、方式单一. 针对上述问题, 本文提出了一种多维注意力特征聚合立体匹配算法. 设计2D注意力残差模块, 通过在原始残差网络中引入无降维自适应2D注意力残差单元, 局部跨通道交互并提取显著信息, 为匹配代价计算提供丰富有效的特征. 构建3D注意力沙漏聚合模块, 以堆叠沙漏结构为骨干设计3D注意力沙漏单元, 捕获多尺度几何上下文信息, 进一步扩展多维注意力机制, 自适应聚合和重新校准来自不同网络深度的代价体. 在三大标准数据集上进行评估, 并与相关算法对比, 实验结果表明所提算法具有更高的预测视差精度, 且在无遮挡的显著对象上效果更佳.     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.