融入密集连接的多尺度轻量级人体姿态估计

针对如何在保证轻量化的同时提升网络的性能问题,以轻量级简单基线（LPN）为基础提出的融入密集连接的多尺度轻量级人体姿态估计（LDMNet）,重新设计了下采样的瓶颈结构,将密集连接与深度可分离卷积以及多尺度特征提取相结合,构建了一个轻量高效的特征提取结构,同时改进了空洞空间卷积池化金字塔多特征进行再提取。在MPⅡ数据集以及COCO数据集上的实验表明,与基线方法LPN相比,LDMNet在少量增加参数量和计算量的情况下,在MPⅡ验证集上的平均准确率提升了1.9个百分点,在COCO验证集上的平均准确率提升了3.2个百分点,另外与最新的轻量级网络LiteHRNet相比在COCO验证集与MPⅡ验证集上平均准确率也取得了2.9和1.5个百分点的提升,该网络在轻量化的基础上有效地提升了网络的识别精度。     

结合密集连接的轻量级高分辨率人体姿态估计

目的 为了更好地实现轻量化的人体姿态估计,在轻量级模型极为有限的资源下实现更高的检测性能。基于高分辨率网络（high resolution network,HRNet）提出了结合密集连接网络的轻量级高分辨率人体姿态估计网络（lightweight high-resolution human estimation combined with densely connected network,LDHNet）。方法 通过重新设计HRNet中的阶段分支结构以及提出新的轻量级特征提取模块,构建了轻量高效的特征提取单元,同时对多分支之间特征融合部分进行了轻量化改进,进一步降低模型的复杂度,最终大幅降低了模型的参数量与计算量,实现了轻量化的设计目标,并且保证了模型的性能。结果 实验表明,在MPII（Max Planck Institute for Informatics）测试集上相比于自顶向下的轻量级人体姿态估计模型LiteHRNet,LDHNet仅通过增加少量参数量与计算量,平均预测准确度即提升了1.5%,与LiteHRNet的改进型DiteHRNet相比也提升了0.9%,在COCO（common objects in context）验证集上的结果表明,与LiteHRNet相比,LDHNet的平均检测准确度提升了3.4%,与DiteHRNet相比也提升了2.3%,与融合Transformer的HRFormer相比,LDHNet在参数量和计算量都更低的条件下有近似的检测性能,在面对实际场景时LDHNet也有着稳定的表现,在同样的环境下LDHNet的推理速度要高于基线HRNet以及LiteHRNet等。结论 该模型有效实现了轻量化并保证了预测性能。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

融合Transformer和注意力的轻量高效人体姿态估计

针对人体姿态估计算法的沉重计算成本和庞大网络规模问题,提出面向人体姿态估计的轻量级高效视觉变换器（lightweight efficient vision transformer for human posture estimation,LEViTPose）。引入深度可分离卷积、通道混洗和多尺度卷积核并行技术来设计轻量级预处理模块LStem;提出一种级联组空间线性退化注意力（cascaded group spatial linear reduction attention,CGSLRA）,采用特征分组划分多个注意头的方式来提升内存存储效率,采用组内特征降维来降低计算冗余;通过引入逐点卷积和分组反卷积来设计轻量级特征还原模块（lightweight feature recovery module,LFRM）。实验结果表明,所提方法相比基线模型,可以在提升网络性能和推理速度的同时降低网络规模和计算开销。在MPII和COCO验证集上与LiteHRNet-30相比,平均准确率分别提高了2.6和3.4个百分点,推理速度提升了1倍。     

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

基于多谱注意力高分辨率网络的人体姿态估计

针对人体姿态估计中多分辨率特征融合时出现的特征信息丢失的问题,基于Lite-HRNet引入多谱注意力机制,设计了一个轻量级的结合多谱注意力机制的高分辨率人体姿态估计网络LiteMSA-HRNet.将多谱注意力机制融入Lite-HRNet,利用多个频率分量,提取更丰富的特征信息,获得更优的多分辨率特征重复融合的效果;在主体网络后利用一个反卷积模块,将其生成的更高分辨率特征和主体网络生成的高分辨率特征进行融合;引入通道置换、逐点分组卷积和深度可分离卷积,轻量化反卷积模块中的残差块,提升网络定位关键点的速度.在COCO2017数据集上的实验结果表明,与其他网络相比,Lite MSA-HRNet在人体姿态估计精度和复杂度之间取得了较好的平衡结果.     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

轻量高效的自底向上人体姿态估计算法研究

针对人体姿态估计算法模型复杂和计算成本高的问题,提出了一种基于HigherHRNet的自底向上轻量高效的人体姿态估计网络（lightweight and efficient HigherHRNet,LE-HigherHRNet）。采用深度可分离卷积（depthwise separable convolutions）,减少特征提取网络的参数数量;引入协调注意力机制（coordinate attention）,更好地捕获位置信息和通道特征信息,突出图像中小目标和遮挡人体关键点的特征信息;通过平行连接实现多阶段分辨率的连接,增强特征信息的提取能力;在网络中采用跳跃链接并设计轻量级CARAFE上采样,保留和重建特征信息,增强高低分辨率之间的空间位置信息。实验结果表明,相比较HigherHRNet在小幅提升精度的同时,显著减少了模型参数量,降低了运算复杂度。     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

结合动态分裂卷积和注意力的多尺度人体姿态估计

人体姿态估计在动画设计、安防监控、运动分析等领域的重要性不断增加,然而目前的人体姿态估计算法注重准确率,导致网络复杂且计算成本高,难以应用在移动设备和嵌入式平台上。为了缓解这一难题,提出结合动态分裂卷积和归一化注意力的多尺度人体姿态估计网络DNSNet。使用动态分裂卷积与动态内核聚合操作,重新设计了高分辨率网络的瓶颈层DKASCneck,避免过多使用大卷积核,在降低计算成本的同时增强了网络对有用特征的提取能力;提出了部分卷积与基于归一化的注意力机制的基础模块NAMPCblock,在减少计算冗余和内存访问的同时保留了通道和空间方面的信息增强跨纬度交互;以多分辨率特征与反卷积为基础进行网络输出特征融合方式的重新设计,提升网络的热图回归预测准确率。实验结果表明,相对于高分辨网络,所提出的网络模型在COCO验证集上平均准确率提升了2.1个百分点,同时运算复杂度减少了32.4%,模型参数量降低了71.9%。在MPII验证集上,运算复杂度降低了38.9%,模型参数量降低了71.9%。实验数据显示,所提出的网络可以大幅度降低网络复杂度,同时可以小幅提升检测精度。     

融合CA-BiFPN的轻量化人体姿态估计算法

针对现有的基于热力图的人体姿态估计网络模型复杂度高、算力需求大、不易部署至嵌入式平台和无人机移动平台等问题,提出了一种基于YOLOv5s6-Pose-ti-lite不使用热力图的轻量化人体姿态估计网络模型。通过将主干网络替换为GhostNet网络,旨在以更少的计算资源输出更有效的特征信息,提升网络检测速度,缓解网络冗余的问题;在主干网络中结合轻量化的坐标注意力CA模块,将图片的人体关键点位置信息聚集到通道上,增强特征提取能力;引入加权双向特征金字塔网络,提升模型的特征融合能力,平衡不同尺度的特征信息;最后将CIoU损失函数替换为Wise-IoU (WIoU),进一步提升模型对人体关键点回归的性能。结果表明,在COCO2017人体关键点数据集上,优化后的网络模型参数量降低26.2%,计算量降低30.0%,平均精确度提升1.7个百分点、平均召回率提升2.7个百分点,能够满足实时性的效果,验证了所提模型的可行性和有效性。     

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络（HRNet）为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。