融入密集连接的多尺度轻量级人体姿态估计

针对如何在保证轻量化的同时提升网络的性能问题,以轻量级简单基线（LPN）为基础提出的融入密集连接的多尺度轻量级人体姿态估计（LDMNet）,重新设计了下采样的瓶颈结构,将密集连接与深度可分离卷积以及多尺度特征提取相结合,构建了一个轻量高效的特征提取结构,同时改进了空洞空间卷积池化金字塔多特征进行再提取。在MPⅡ数据集以及COCO数据集上的实验表明,与基线方法LPN相比,LDMNet在少量增加参数量和计算量的情况下,在MPⅡ验证集上的平均准确率提升了1.9个百分点,在COCO验证集上的平均准确率提升了3.2个百分点,另外与最新的轻量级网络LiteHRNet相比在COCO验证集与MPⅡ验证集上平均准确率也取得了2.9和1.5个百分点的提升,该网络在轻量化的基础上有效地提升了网络的识别精度。     

结合密集连接的轻量级高分辨率人体姿态估计

目的 为了更好地实现轻量化的人体姿态估计,在轻量级模型极为有限的资源下实现更高的检测性能。基于高分辨率网络（high resolution network,HRNet）提出了结合密集连接网络的轻量级高分辨率人体姿态估计网络（lightweight high-resolution human estimation combined with densely connected network,LDHNet）。方法 通过重新设计HRNet中的阶段分支结构以及提出新的轻量级特征提取模块,构建了轻量高效的特征提取单元,同时对多分支之间特征融合部分进行了轻量化改进,进一步降低模型的复杂度,最终大幅降低了模型的参数量与计算量,实现了轻量化的设计目标,并且保证了模型的性能。结果 实验表明,在MPII（Max Planck Institute for Informatics）测试集上相比于自顶向下的轻量级人体姿态估计模型LiteHRNet,LDHNet仅通过增加少量参数量与计算量,平均预测准确度即提升了1.5%,与LiteHRNet的改进型DiteHRNet相比也提升了0.9%,在COCO（common objects in context）验证集上的结果表明,与LiteHRNet相比,LDHNet的平均检测准确度提升了3.4%,与DiteHRNet相比也提升了2.3%,与融合Transformer的HRFormer相比,LDHNet在参数量和计算量都更低的条件下有近似的检测性能,在面对实际场景时LDHNet也有着稳定的表现,在同样的环境下LDHNet的推理速度要高于基线HRNet以及LiteHRNet等。结论 该模型有效实现了轻量化并保证了预测性能。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

融合Transformer和注意力的轻量高效人体姿态估计

针对人体姿态估计算法的沉重计算成本和庞大网络规模问题,提出面向人体姿态估计的轻量级高效视觉变换器（lightweight efficient vision transformer for human posture estimation,LEViTPose）。引入深度可分离卷积、通道混洗和多尺度卷积核并行技术来设计轻量级预处理模块LStem;提出一种级联组空间线性退化注意力（cascaded group spatial linear reduction attention,CGSLRA）,采用特征分组划分多个注意头的方式来提升内存存储效率,采用组内特征降维来降低计算冗余;通过引入逐点卷积和分组反卷积来设计轻量级特征还原模块（lightweight feature recovery module,LFRM）。实验结果表明,所提方法相比基线模型,可以在提升网络性能和推理速度的同时降低网络规模和计算开销。在MPII和COCO验证集上与LiteHRNet-30相比,平均准确率分别提高了2.6和3.4个百分点,推理速度提升了1倍。     

融入双注意力的高分辨率网络人体姿态估计

在人体姿态估计任务中,针对高分辨率网络提取和融合特征图的特征信息时不能有效获取多通道信息和空间特征信息,导致人体姿态估计结果不够精确。在高分辨率网络（HRNet）的基础上,提出一种融入双注意力的高分辨率人体姿态估计网络ENNet。通过引入通道注意力,构造E-ecaneck模块和E-ecablock模块作为基础模块,最大程度地对多通道提取足够多的有用信息,在每一阶段子网的多分辨率融合阶段融入空间注意力机制,提取并融合不同分辨率特征信息,通过上采样的方式输出所有融合低分辨率的高分辨率表征。在公开数据集MS COCO2017上进行验证和测试,结果表明,相比于高分辨率网络,该方法mAP提高3.4%,有效改善网络多分辨率表征的信息融合能力,明显提升基础高分辨率网络HRNet的估计精确度。     

融合空间与通道重构卷积和注意力的轻量型动物姿态估计

动物姿态估计在行为生态学、动物健康监测、野生动物保护等领域的重要性不断凸显。然而,目前主流的动物姿态估计算法过于关注准确率,导致网络复杂度和计算成本不断攀升,这使得在移动设备和嵌入式平台上的应用受到了限制。针对该问题,提出融合空间与通道重构卷积和金字塔分割注意力的多尺度动物姿态估计网络SPANet。使用金字塔分割注意力与坐标注意力机制,重新设计了高分辨率网络的瓶颈层EPSAneck,在减轻过度使用大卷积核带来的计算成本的同时,增强了网络对有用特征的提取能力;提出了基于空间和通道重构卷积以及坐标注意力机制的SCCAblock基础模块,在显著减少计算冗余和内存访问的同时,增强了通道与空间之间的信息交互;利用反卷积模块对网络输出的特征融合方式进行重新设计,进一步提升了网络的准确率。实验结果表明,提出的网络模型相较于高分辨率网络在AP10K测试集上的平均精度提升了1.8个百分点,同时浮点运算量降低了48.5%、模型参数量减少了67.0%。在AnimalPose数据集上,浮点运算量降低49.5%,模型参数量降低67.0%。实验数据表明,该网络可在降低模型复杂度的同时实现预测精度的小范围提升。     

基于多谱注意力高分辨率网络的人体姿态估计

针对人体姿态估计中多分辨率特征融合时出现的特征信息丢失的问题,基于Lite-HRNet引入多谱注意力机制,设计了一个轻量级的结合多谱注意力机制的高分辨率人体姿态估计网络LiteMSA-HRNet.将多谱注意力机制融入Lite-HRNet,利用多个频率分量,提取更丰富的特征信息,获得更优的多分辨率特征重复融合的效果;在主体网络后利用一个反卷积模块,将其生成的更高分辨率特征和主体网络生成的高分辨率特征进行融合;引入通道置换、逐点分组卷积和深度可分离卷积,轻量化反卷积模块中的残差块,提升网络定位关键点的速度.在COCO2017数据集上的实验结果表明,与其他网络相比,Lite MSA-HRNet在人体姿态估计精度和复杂度之间取得了较好的平衡结果.     

轻量高效的自底向上人体姿态估计算法研究

针对人体姿态估计算法模型复杂和计算成本高的问题;提出了一种基于HigherHRNet的自底向上轻量高效的人体姿态估计网络（lightweight and efficient HigherHRNet;LE-HigherHRNet）。采用深度可分离卷积（depthwise separable convolutions）;减少特征提取网络的参数数量;引入协调注意力机制（coordinate attention）;更好地捕获位置信息和通道特征信息;突出图像中小目标和遮挡人体关键点的特征信息;通过平行连接实现多阶段分辨率的连接;增强特征信息的提取能力;在网络中采用跳跃链接并设计轻量级CARAFE上采样;保留和重建特征信息;增强高低分辨率之间的空间位置信息。实验结果表明;相比较HigherHRNet在小幅提升精度的同时;显著减少了模型参数量;降低了运算复杂度。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。     

融合注意力机制的OpenPose人体跌倒检测算法

人员密集场所跌倒事件易引发公共安全问题,对人体跌倒进行实时监测和预警可降低安全风险.针对现有基于姿态估计跌倒检测方法模型规模大、时效性差等问题,提出一种融合注意力机制的OpenPose人体跌倒检测算法DSC-OpenPose.首先借鉴DenseNet稠密连接思想,将每层与之前所有层在通道维度上直接连接,实现特征复用,减小模型参数规模;然后在不同阶段之间添加坐标注意力机制,获取特征图空间方向依赖和精确位置信息,提高姿态估计精度;最后提出一种基于人体外椭圆参数、头部高度、下肢高度共同识别跌倒行为的方法,实现人体目标的跌倒检测.实验结果表明,在COCO数据集上,所提算法在模型规模和精度之间取得了较好的平衡效果;在real fall (RF)数据集上,所提跌倒检测算法的准确率达到98.2%,精度达到96.6%,检测速度达到20.2帧/s,且模型规模较小,满足嵌入式设备实时推理需求.     

结合动态分裂卷积和注意力的多尺度人体姿态估计

人体姿态估计在动画设计、安防监控、运动分析等领域的重要性不断增加,然而目前的人体姿态估计算法注重准确率,导致网络复杂且计算成本高,难以应用在移动设备和嵌入式平台上。为了缓解这一难题,提出结合动态分裂卷积和归一化注意力的多尺度人体姿态估计网络DNSNet。使用动态分裂卷积与动态内核聚合操作,重新设计了高分辨率网络的瓶颈层DKASCneck,避免过多使用大卷积核,在降低计算成本的同时增强了网络对有用特征的提取能力;提出了部分卷积与基于归一化的注意力机制的基础模块NAMPCblock,在减少计算冗余和内存访问的同时保留了通道和空间方面的信息增强跨纬度交互;以多分辨率特征与反卷积为基础进行网络输出特征融合方式的重新设计,提升网络的热图回归预测准确率。实验结果表明,相对于高分辨网络,所提出的网络模型在COCO验证集上平均准确率提升了2.1个百分点,同时运算复杂度减少了32.4%,模型参数量降低了71.9%。在MPII验证集上,运算复杂度降低了38.9%,模型参数量降低了71.9%。实验数据显示,所提出的网络可以大幅度降低网络复杂度,同时可以小幅提升检测精度。     

基于解耦注意力与幻影卷积的轻量级人体姿态估计

随着轻量级网络的发展;人体姿态估计任务得以在计算资源有限的设备上执行;然而;提升精度变得更具有挑战性。这些挑战主要源于网络复杂度与计算资源的矛盾;导致模型在简化时牺牲了表示能力。针对上述问题;提出一种基于解耦注意力和幻影卷积的轻量级人体姿态估计网络（DGLNet）。具体来说;DGLNet以小型高分辨率网络（Small HRNet）模型为基础架构;通过引入解耦注意力机制构建DFDbottleneck模块;采用shuffleblock的结构对基础模块进行重新设计;即用轻量级幻影卷积替代计算量大的点卷积;并利用解耦注意力机制增强模块性能;从而构建DGBblock模块;此外;用幻影卷积和解耦注意力重新构建的深度可分离卷积模块来替代原过渡层模块;从而构建GSCtransition模块;进一步减少计算量并增强特征交互性和提高性能。在COCO验证集上的实验结果显示;DGLNet优于轻量级高分辨率网络（Lite-HRNet）;在计算量和参数量不增加的情况下;最高精度达到了71.9%;与常见的轻量级姿态估计网络MobileNetV2和ShuffleNetV2相比;DGLNet在仅使用21.2%和25.0%的计算量情况下分别实现了4.6和8.3个百分点的精度提升;在AP⁵⁰的评价标准上;DGLNet超过了大型高分辨率网络（HRNet）的同时计算量和参数量远小于HRNet。     

融合CA-BiFPN的轻量化人体姿态估计算法

针对现有的基于热力图的人体姿态估计网络模型复杂度高、算力需求大、不易部署至嵌入式平台和无人机移动平台等问题,提出了一种基于YOLOv5s6-Pose-ti-lite不使用热力图的轻量化人体姿态估计网络模型。通过将主干网络替换为GhostNet网络,旨在以更少的计算资源输出更有效的特征信息,提升网络检测速度,缓解网络冗余的问题;在主干网络中结合轻量化的坐标注意力CA模块,将图片的人体关键点位置信息聚集到通道上,增强特征提取能力;引入加权双向特征金字塔网络,提升模型的特征融合能力,平衡不同尺度的特征信息;最后将CIoU损失函数替换为Wise-IoU (WIoU),进一步提升模型对人体关键点回归的性能。结果表明,在COCO2017人体关键点数据集上,优化后的网络模型参数量降低26.2%,计算量降低30.0%,平均精确度提升1.7个百分点、平均召回率提升2.7个百分点,能够满足实时性的效果,验证了所提模型的可行性和有效性。