基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

引入注意力机制的多分辨率人体姿态估计研究

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于High-Resolution Net（HRNet）进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-Nonlocal Net（GNNet）,提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck模块和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在MS COCOVAL 2017进行验证,结果显示提出的GNNet相较于SOTA级表现的HRNet在相当参数量与运算量的情况下获得了更高的准确度,mAP提高了1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

运动场景下的多目标人体姿态估计

为提高群体活动场景下细粒度人体姿态估计的准确率,优化网路中人体识别及姿态估计算法,在现有研究的基础上,提出一种结合多尺度预测以及改进并行注意力模块的多目标人体姿态估计算法。在充分利用不同尺度特征信息的基础上,实现高质量的人体姿态估计;针对运动场景下多目标人体姿态数据集较少,提出一种数据集CUPB Sport Dataset。实验结果表明,该算法在公开基准数据集和自制数据集上分别达到了81.4 mAP和79.7 mAP,验证了该算法在运动场景下针对多目标的高效性。     

基于改进DenseNet网络的人体姿态估计

针对图像中由于人数不确定对处理速度的影响,以及不同人体或人体自身部位的相对大小不同等尺度因素影响导致通用的关键点检测方法的检测效果不佳等问题,提出一种改进的稠密卷积网络(DenseNet)结构用于人体姿态估计.该网络结构为单阶段的端对端的网络结构,利用深度卷积神经网络进行特征提取,在卷积网络末端通过特定的尺度转换结构得...     

结合通道注意力的特征融合多人姿态估计算法

为了提高二维复杂场景下多人姿态估计准确度和速度,提出了一种Mobile-YOLOv3模型与多尺度特征融合全卷积网络相结合的自顶向下多人姿态估计方法.利用深度可分离卷积改进YOLOv3网络以作为高效的人体目标检测器.针对网络特征下采样过程中上层高分辨率信息不断遗失问题,在经典U型网络结构中嵌入多尺度特征融合模块,从而使网络中的低尺度特征也包含高分辨率信息,并在特征融合模块中引入通道注意力机制,进一步突出多尺度融合特征图的关键通道信息.试验结果表明:相比于堆叠沙漏网络(Stacked Hourglass Network,SHN)和级联金字塔网络(Cascaded Pyramid Network,CPN),文中所提出的人体姿态估计算法在COCO数据集上的姿态估计平均准确率分别提高了4.7和3.7.     

融入密集连接的多尺度轻量级人体姿态估计

针对如何在保证轻量化的同时提升网络的性能问题,以轻量级简单基线（LPN）为基础提出的融入密集连接的多尺度轻量级人体姿态估计（LDMNet）,重新设计了下采样的瓶颈结构,将密集连接与深度可分离卷积以及多尺度特征提取相结合,构建了一个轻量高效的特征提取结构,同时改进了空洞空间卷积池化金字塔多特征进行再提取。在MPⅡ数据集以及COCO数据集上的实验表明,与基线方法LPN相比,LDMNet在少量增加参数量和计算量的情况下,在MPⅡ验证集上的平均准确率提升了1.9个百分点,在COCO验证集上的平均准确率提升了3.2个百分点,另外与最新的轻量级网络LiteHRNet相比在COCO验证集与MPⅡ验证集上平均准确率也取得了2.9和1.5个百分点的提升,该网络在轻量化的基础上有效地提升了网络的识别精度。     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

基于通道切分的人体姿态估计算法

为了提高人体姿态估计的准确率和识别速度,提出一种基于通道切分的人体姿态估计算法Channel-Split Residual Steps Network(Channel-Split RSN)。首先,提出通道切分模块,对切分后的特征通道通过卷积提取特征再融合起来,以获得丰富的特征表示。接着,引入特征增强模块,对特征通道进一步分组,并对不同的分组采取不同的处理策略,以减少特征通道内的相似特征。最后,结合改进的空间注意力机制,提出一种基于特征空间相关性的姿态修正机Context-PRM,得到更加准确的人体姿态估计。在COCO test-dev数据集上的实验结果表明,本文方法达到75.9%的AP和55.36的FPS,并且模型的大小Params(M)仅为18.3。相较于传统的RSN18和传统的RSN50,模型的AP分别提高了5和3.4个百分点,FPS比传统的RSN50快12.08。在更具挑战性的CrowdPose数据集上,本文方法达到66.9%的AP和19.16的FPS,相较于RSN18,AP提高了4.6个百分点。有效提高了人体姿态估计的准确率,且模型具有较快的识别速度。本文源代码公开在https://github.com/qdd1234/Channel-Split-RSN。     

融入注意力和密集连接的轻量型人体姿态估计

目前多数人体姿态估计方法聚焦于提升预测结果的准确性,从而造成了网络参数量大和运算复杂度高等问题。为缓解该矛盾,在高分辨率网络的基础上提出一种融入注意力和密集连接方式的轻量型人体姿态估计网络。重新设计高分辨率网络中的瓶颈模块,从而降低部分网络运算复杂度;改进引入的注意力机制并结合密集连接方式构建了轻量型模块,将其替换高分辨率网络的基础模块,使网络保持一定准确性的同时大幅缩减模型参数量和运算复杂度;利用多分辨率特征和反卷积重新设计网络输出的特征融合方式,最大程度提升模型预测精度。在公开数据集MPII和COCO上的实验结果表明,相比较于高分辨率网络,所提网络模型参数量减少了71.5%,在MPII验证集上,运算复杂度缩小了35.8%,在COCO验证集上,运算复杂度缩小了35.2%,平均准确率提升了0.6个百分点,即网络能在保证检测精度的基础上有效降低网络复杂度。     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

基于人体姿态估计的手机使用状态监控

智能手机的日益普及给人们带来便捷的同时也带来了不少的隐患,在一些特定的场景下需要对手机的使用进行监控和限制.本文设计了一套手机使用状态监控系统,先采用YOLOv3检测图像中的人体,然后通过OpenPose姿态估计算法获得人体关节点,再通过YOLOv3判断手部区域是否有手机,最后通过神经网络分类器识别当前的手机使用状态....     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于堆叠沙漏网络的人体姿态估计

人体姿态估计在许多计算机视觉任务中起着重要的作用,然而,由于姿态的多变、光照、遮挡和分辨率低等因素,它仍然是一个具有挑战性的问题.利用深层卷积神经网络的高级语义信息是提高人体姿态估计精度的有效途径,本文提出了一种改进的堆叠沙漏网络,设计了一个大感受野残差模块和预处理模块来更好地获得人体结构特征,以此获得丰富的上下文信息,对部分遮挡、大姿态变化、复杂背景等有较好的效果,此外,还对不同阶段的结果进行了融合,以进一步提高定位精度,在MPII数据集和LSP数据集上对本文提出的模型进行实验和验证,结果证明了本文模型的有效性.