改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

并联化高分辨网络的人体姿态估计方法

为降低高分辨网络模型因级联过多造成的参数冗余,设计一种用于人体姿态估计的并联化高分辨网络模型。通过适当的网络裁剪和并联化结构优化处理策略,对原始高分辨网络模型的消融实验结果进行分析,保留网络的前3个阶段,按第四阶段网络的分辨率构建等尺度的U型网络结构,在多尺度分支的第二阶段与第三阶段中分别并联该结构,保持原网络在同分辨率下的特征融合。针对人体姿态估计数据集MPII与MSCOCO进行检测,并联化高分辨网络的参数量仅为原网络的37%,浮点运算量降低30%。     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...     

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示（如人体骨骼）,以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。     

深度学习二维人体姿态估计方法综述

人体姿态估计是计算机视觉中的一项重要任务。传统的姿态估计方法存在难以实现复杂场景下分离目标和背景、易受人为设定先验信息影响、效率过低等问题。随着人工智能技术的发展,深度学习技术日趋成熟,基于深度学习的人体姿态估计方法的精确率和速度等性能均优于传统的人体姿态估计方法。近年来,作为三维人体姿态估计的基础,二维人体姿态估计模型在解决拥挤和遮挡方面取得了长足进步,但大多数网络模型采用的是层数过多的卷积神经网络（convolutional neural network,CNN）模型,对网络速度产生了很大影响。基于部署在边缘侧的实际应用需求,二维人体姿态估计网络的轻量化成为研究热点,且具有潜在的创新应用价值。根据基于深度学习的二维人体姿态估计模型的发展历程和优化趋势,可将其分为单人姿态估计、多人姿态估计以及轻量级人体姿态估计3类。本文对各类人体姿态估计采用的不同卷积神经网络模型进行总结,对各类神经网络模型的特点进行分析,对各类估计方法的性能进行比较。虽然深度卷积神经网络（deep convolutional neural network, DCNN）模型的结构设计越来越多元化,但是各类深度学习网络模型在处理人体姿态估计任务时,仍具有一定的局限性。本文对二维人体姿态估计模型采用的技术方法及其存在的问题进行深入讨论,并给出了未来可能的研究方向。     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

深度学习方法在二维人体姿态估计的研究进展

人体姿态估计的任务是对图像或视频中的人体关键点进行定位和检测,其一直是计算机视觉领域的热点研究方向之一,也是计算机理解人类行为动作的关键一步。近年来,图像和视频中的二维人体姿态关键点预测在许多领域有着广泛的应用,二维人体姿态估计利用深度学习强大的图像特征提取能力,提升了其鲁棒性、准确性并缩短了处理时间,而且表现效果远超传统方法。根据二维人体姿态研究对象数量的不同,可将其分为单人以及多人姿态估计方法。针对单人姿态估计,根据提取到的关键点表示的不同,可采用基于直接预测人体坐标点的坐标回归方法,以及预测人体关键点高斯分布的基于热图的检测方法;针对多人姿态估计,可采用的方法分为解决多人到单人过程的自顶向下方法,以及直接处理多人关键点的自底向上方法。根据现有的人体姿态估计方法对其进行总结,说明网络结构的内部机制及执行过程,并对常用的数据集、评价指标进行分析,最后阐述当前面临的问题及未来发展趋势。     

基于高分辨率网络的人体姿态估计方法

人体姿态估计在人机交互和行为识别应用中起着至关重要的作用,但人体姿态估计方法在特征图尺度变化中难以预测正确的人体姿态.为了提高姿态估计的准确性,将并行网络多尺度融合方法和生成高质量特征图的方法结合进行人体姿态估计(RefinedHRNet).在人体检测基础之上,采用并行网络多尺度融合方法在阶段内采用空洞卷积模块来扩大感...     

一种基于图结构模型的人体姿态估计算法

针对单幅图片中人体姿态的估计问题,在图结构模型的基础上提出了一种新的人体姿态估计算法。算法提出了一个新的部位观测模型和一种新的减小部位状态空间的方法：（1）对人体不同部位采用不同尺寸的细胞单元计算HOG特征,并利用线性SVM进行分类,从而提出一种新的部位观测模型;（2）利用人体部位定位的先验分布确定部位定位区域,然后通过邻域归并和设置与部位模板的匹配度阈值进一步减小状态空间,从而提出了一种减小部位状态空间的方法。仿真实验结果表明所提算法与传统算法相比更加有效。     

基于改进CNN和加权SVDD算法的人体姿态估计

卷积神经网络是人体姿态估计中应用最成功的深度学习模型,但仍存在着提取图像特征时不同图像区域和提取出的不同抽象特征被平等对待的缺陷。为此,提出了一种基于改进卷积神经网络和加权支持向量数据描述算法的关节外观模型,并用其设计了一种人体姿态估计算法。卷积神经网络卷积层中不同图像区域的卷积操作被赋以不同的权值系数以体现其不同作用;采用加权支持向量数据描述算法对每一种抽象特征都构造关节子外观模型,将所有关节子外观模型按不同权值进行线性组合建立了新的关节外观模型,权值的不同体现了不同抽象特征的不同作用。仿真实验表明,与现有基于卷积神经网络的人体姿态估计算法相比,所设计的人体姿态估计算法具有更高的估计准确度。     

基于条件先验人体模型的人体姿态估计

人体姿态估计算法中的人体模型是对人体部位或关节间外观和空间关联情况的数学描述。虽然当前已经有部分人体模型在建立时考虑到了部位或关节的空间定位会满足一定的先验分布,但却都将基于同样先验分布建立的人体模型用于不同待处理图片进行人体姿态估计,并没有考虑到不同图片中的实际定位对先验分布服从程度的不同。为此,提出了一种基于条件先验的人体模型,在人体模型中添加自适应调节参数,参数值根据待处理图片中关节可能定位与外观模型相似度的大小来确定,从而达到根据待处理图片自适应调节先验分布在计算关节定位概率时所起作用大小的目的。将基于条件先验的人体模型用于人体姿态估计,仿真实验表明,与现有基于先验的人体模型相比,所提人体模型用于人体姿态估计时获得了更高的估计准确度。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

基于深度学习的三维点云头部姿态估计

快速、可靠的头部姿态估计算法是高级人脸分析任务的基础。为了解决现有算法存在的光照变化、遮挡、姿态尺度较大等问题,提出一种新的深度学习框架HPENet。该网络以点云数据为输入,首先通过最远点采样算法提取点云结构中的特征点,以特征点为球心,将不同半径的球体内的点构成多个分组,用于后续的特征描述;然后采用多层感知器和最大池化层实现点云的特征提取,提取的特征通过全连接层输出预测的头部姿态。为了验证HPENet的有效性,在公共数据集Biwi Kinect Head Pose上进行测试。实验结果显示,HPENet在俯仰角、侧倾角和偏航角上的误差分别为2.3°、1.5°、2.4°,平均每帧的时间消耗为8 ms。与其他优秀算法相比,所提方法在准确度和计算的复杂度方面都具有更好的性能。     

基于改进LPP的头部姿态估计方法

针对无监督局部保持投影算法在头部姿态估计上的高误差性和对噪音的敏感性的问题,提出一种鲁棒的局部保持投影算法。其基本出发点是先对训练的头部姿态加以姿态标注,并获得各个头部姿态间的偏置距离,再对所有头部姿态样本点进行异常值的度量,训练出较好的线性映射矩阵。实验结果表明,改进的方法比传统的LPP在头部姿态估计上取得较好的效果。     

基于标签分布学习的三维手部姿态估计

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征...     

改进的基于锚点的三维手部姿态估计网络

近年来基于锚点的三维手部姿态估计方法比较流行,A2J(Anchor-to-Joint)是比较有代表性的方法之一.A2J在深度图上密集地设置锚点,利用神经网络预测锚点到关键点的偏差以及每个锚点的权重.A2J使用预测的偏差和权重,以加权求和的方式计算关键点的坐标,降低了网络回归结果中的噪声.虽然A2J简单高效,但是不恰当的...