深度学习的二维人体姿态估计综述

近年来人体姿态估计作为计算机视觉领域的热点,在视频监控、人机交互、智慧校园等领域具有广泛的应用前景.随着神经网络的快速发展,采用深度学习方法进行二维人体姿态估计,相较于传统需要人工设定特征的方法,更能充分地提取图像信息,获取更具有鲁棒性的特征,因此基于深度学习的方法已成为二维人体姿态估计算法研究的主流方向.然而,深度学...     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

基于模板模型的实时人体姿态跟踪研究

人体姿态跟踪是分析和识别人类行为的基础,具有广阔的应用范围。针对实时人体姿态跟踪问题,提出一种基于模板模型的人体姿态实时跟踪方法,该方法采用深度摄像头Kinect捕捉测试者的3D数据信息,并使用线性公式联合估计身体的姿态和运动。实验结果表明,该算法实现了实时人体姿态的跟踪,且可根据单个深度图的数据有效地处理明显的遮挡问题。系统设备成本低、结构简单,输出的网格能够准确地适应测试者的运动和身体形态,并随着时间的推移保持相同的拓扑结构。     

基于深度学习的人体姿态估计方法综述

基于深度学习的人体姿态估计方法旨在通过构建合适的神经网络，直接从二维的图像特征中回归出人体姿态信息。主要按照2D人体姿态估计到3D人体姿态估计的顺序，并从单人检测与多人检测、稀疏的关节点检测与密集的模型构建等方面，对近年来基于深度学习的人体姿态估计方法进行系统介绍，从而初步了解如何通过深度学习的方法得到人体姿态的各个要素，包括肢体部件的相对朝向和比例尺度、骨骼关节点的位置坐标和连接关系，甚至更为复杂的人体蒙皮模型信息。最后,对当前研究面临的挑战以及未来的热点动向进行概述，清晰地呈现出该领域的发展脉络。     

基于多特征融合的分块采样粒子滤波算法在人体姿态跟踪中的应用

针对单目视频中无标记点的人体姿态跟踪问题,在分块采样粒子滤波算法框架下使用颜色(color)、边缘(edge)和运动(motion)特征相融合构造粒子权值度量函数,并根据肢体间的遮挡情况自适应地选择不同模板和图像特征来进行计算,增加了跟踪过程的鲁棒性,而且成功解决了人体运动中发生的多种形式的自遮挡问题.另外,该方法还提出了一种带约束的2维人体模型,并在此模型基础上使用一种改进的BP算法进行权值的传播,使得在一个关节点上能够同时应用多个人体约束.实验中所用测试视频(室内和室外拍摄)包含复杂背景和运动,实验结果表明该方法具有较强的鲁棒性和较高的跟踪精度.     

视频目标跟踪综述

研究近年来主流的目标跟踪算法。通过文献阅读和归纳对比,分析了使用生成式模型和判别式模型的目标跟踪算法。结果显示,对于存在复杂干扰因素的场景,采用第二类模型的目标跟踪算法的跟踪效果更好。文章为视频跟踪领域的研究者们提供了一个关于目标跟踪算法的客观分析。     

基于深度学习的目标视频跟踪算法综述

深度学习理论在计算机视觉中的应用日趋广泛,在目标分类、检测领域取得了令人瞩目的成果,但是深度学习理论在目标跟踪领域的早期应用中,由于存在跟踪时只有目标为正样本,缺乏数据支持,对位置信息依赖程度高等问题,因而应用效果并不理想,传统方法仍占据主流地位.近年来,随着技术的不断发展,深度学习在目标跟踪方向取得了长足的进步.本文首先介绍了目标跟踪技术的基本概念和主要方法,然后针对深度学习在目标跟踪领域的发展现状,从基于深度特征的目标跟踪和基于深度网络的目标跟踪两方面重点阐述了深度学习在该领域的应用方法,并对近期较为流行的基于孪生网络的目标跟踪进行了详细介绍.最后对近年来深度学习在目标跟踪领域取得的成果,以及未来的发展方向作了总结和展望.     

融合生成对抗网络和姿态估计的视频行人再识别方法

随着国家对社会公共安全的日益重视, 无重叠视域监控系统已大规模的普及.行人再识别任务通过匹配不同视域摄像机下的行人目标, 在当今环境下显得尤为重要.由于深度学习依赖大数据解决过拟合的特性, 针对当前视频行人再识别数据量较小和学习特征单一的问题, 我们提出了一种基于视频的改进行人再识别方法, 该方法通过生成对抗网络去生成视频帧序列来增加样本数量和加入了行人关节点的特征信息去提升模型效率.实验结果表明, 本文提出的改进方法可以有效地提高公开数据集的识别率, 在PRID2011, iLIDS-VID数据集上进行实验, Rank 1分别达到了80.2%和66.3 %.     

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

跨阶段结构下的人体姿态估计

目的 基于图像的人体姿态估计是计算机视觉领域中一个非常重要的研究课题,并广泛应用于人机交互、监控以及图像检索等方面。但是,由于人体视觉外观的多样性、遮挡和混杂背景等因素的影响,导致人体姿态估计问题一直是计算机视觉领域的难点和热点。本文主要关注于初始特征对关节点定位的作用,提出一种跨阶段卷积姿态机（CSCPM）。方法 首先,采用VGG （visual geometry group）网络获得初步的图像初始特征,该初始特征既是图像关节点定位的基础,同时,也由于受到自遮挡和混杂背景的干扰难以学习。其次,在初始特征的基础上,构建多层模型学习不同尺度下的结构特征,同时为了解决深度学习中的梯度消失问题,在后续的各层特征中都串联该初始特征。最后,设计了多尺度关节点定位的联合损失,用于学习深度网络参数。结果 本文实验在两大人体姿态数据集MPII （MPII human pose dataset）和LSP （leeds sport pose）上分别与近3年的人体姿态估计方法进行了定性与定量比较,在MPII数据集中,模型的总检测率为89.1%,相比于性能第2的模型高出了0.7%;在LSP数据集中,模型的总检测率为91.0%,相比于性能第2的模型高出了0.5%。结论 实验结果表明,初始特征学习能够有效判断关节点的自遮挡和混杂背景干扰情况,引入跨阶段结构的CSCPM姿态估计模型能够胜出现有人体姿态估计模型。     

并联化高分辨网络的人体姿态估计方法

为降低高分辨网络模型因级联过多造成的参数冗余,设计一种用于人体姿态估计的并联化高分辨网络模型。通过适当的网络裁剪和并联化结构优化处理策略,对原始高分辨网络模型的消融实验结果进行分析,保留网络的前3个阶段,按第四阶段网络的分辨率构建等尺度的U型网络结构,在多尺度分支的第二阶段与第三阶段中分别并联该结构,保持原网络在同分辨率下的特征融合。针对人体姿态估计数据集MPII与MSCOCO进行检测,并联化高分辨网络的参数量仅为原网络的37%,浮点运算量降低30%。     

基于多特征融合的压缩跟踪算法

压缩跟踪将压缩感知理论引入到目标跟踪领域,较好地实现了跟踪的实时性,但是在复杂环境或遮挡情况下,仅利用分类分数最大值的矩形样本确定目标位置容易产生跟踪漂移,而且该算法没有考虑目标尺度因素。针对这些问题,提出了融合局部中心区域梯度方向直方图和多尺度矩形的多特征压缩跟踪算法,并提出利用多样本矩形平均的方法确定最终的目标位置。实验结果表明：该算法在目标剧烈运动、遮挡或者相似物体干扰的场景下能够有效抑制跟踪漂移,提高了跟踪的准确率和鲁棒性。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

基于多特征融合与分层数据关联的空中红外多目标跟踪方法

针对星空背景下目标相似度高、数量大和误检数目较多所导致的空中红外多目标跟踪困难问题，提出基于分层数据关联的空中红外多目标在线跟踪方法。首先，根据红外场景特性来提取目标的位置特征、灰度特征和尺度特征；其次，综合这三个特征来计算目标与轨迹之间的初步关联关系以获得真实目标；再次，将所获得的真实目标按照尺度大小分类，大尺度类目标数据关联采用表观特征、运动特征、尺度特征三种特征相加的方法来计算，小尺度类目标数据关联采用表观特征与运动特征两种特征相乘的方法来计算；最后，根据匈牙利算法对两类目标分别进行目标分配、完成轨迹更新。多种复杂情况下的实验结果表明：与仅采用运动特征的在线跟踪方法相比，所提方法的跟踪准确率提升了12.6%；与采用多特征融合的方法相比，所提方法的分层数据关联不仅提高了跟踪速度，也使跟踪准确率提升了19.6%。综上，该方法不仅跟踪精度高，而且具有较好的实时性和抗干扰能力。     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

基于多特征融合与分层数据关联的空中红外多目标跟踪方法

针对星空背景下目标相似度高、数量大和误检数目较多所导致的空中红外多目标跟踪困难问题,提出基于分层数据关联的空中红外多目标在线跟踪方法。首先,根据红外场景特性来提取目标的位置特征、灰度特征和尺度特征;其次,综合这三个特征来计算目标与轨迹之间的初步关联关系以获得真实目标;再次,将所获得的真实目标按照尺度大小分类,大尺度类目标数据关联采用表观特征、运动特征、尺度特征三种特征相加的方法来计算,小尺度类目标数据关联采用表观特征与运动特征两种特征相乘的方法来计算;最后,根据匈牙利算法对两类目标分别进行目标分配、完成轨迹更新。多种复杂情况下的实验结果表明：与仅采用运动特征的在线跟踪方法相比,所提方法的跟踪准确率提升了12.6%;与采用多特征融合的方法相比,所提方法的分层数据关联不仅提高了跟踪速度,也使跟踪准确率提升了19.6%。综上,该方法不仅跟踪精度高,而且具有较好的实时性和抗干扰能力。     

基于多特征融合的头部跟踪方法研究*

为有效解决头部跟踪鲁棒性较差的问题,利用头部的多种观测信息通过ＤＳ证据理论进行融合跟踪。 在粒子滤波的总体框架下,嵌入ＭｅａｎＳｈｉｆｔ算法产生更加逼近真实后验分布的粒子,同时采用颜色和人体头部椭圆轮廓的最大梯度距离测度（ＤＭＧ）作为观测模型,有效避免了单一颜色特征在光照突变、姿态变化、距离较远以及背景相似情况下的跟踪稳定性较差的问题。实验表明该方法对于复杂条件下的人体头部跟踪问题具有较强的鲁棒性。     

改进的卷积网络目标跟踪算法

在目标跟踪算法中深度网络可以对大量图像进行训练和表示,但是对于特定的跟踪对象,离线训练不仅费时,而且在对大量图像进行学习时,其表示和识别能力效果不佳。基于以上问题提出有模板更新的卷积网络跟踪算法,可以在没有离线训练的大量数据时,也能够利用实现强大的目标跟踪能力。在目标跟踪中,从目标周围区域提取一组归一化的局部小区域块作为新的滤波器,围绕目标定义下一帧中的一组特征映射来提取自适应滤波器周围目标,对随后帧提取的归一化样本进行卷积操作生成一组特征图;利用这些特征图获取每个滤波器和目标的局部强度衍射图样之间的相似性,然后对其局部结构信息进行编码;最后,使用来自全局表示的特征图保存该目标的内部几何设计,再通过软收缩方法去噪抑制噪声值,使其低于自适应阈值,生成目标的稀疏表示。有模板更新改进的CNT算法能稳定地跟踪目标,不会发生严重漂移,具有优于传统CNT的良好跟踪效果。