单帧图像人体姿态估计综述

人体姿态估计是指从图像中检测人体各部分的位置并计算其方向和尺度信息,姿态估计的结果分二维和三维两种情况,而估计的方法分基于模型和无模型两种途径。本文首先介绍了人体姿态估计的研究背景和应用方向,然后对姿态估计的相关概念作了阐述,分析了姿态估计的输出表示,接着从人体目标检测和姿态估计两大类进行了详细分析和讨论,从实际应用的角度对各种方法做了理论上的比较和分析。最后,对相关研究还存在的问题和进一步研究的趋势作了归纳和总结。     

基于长短时记忆网络的人体姿态检测方法

针对在循环神经网络（RNN）网络结构下较为遥远的历史信号无法传递至当前时刻的问题,长短时记忆（LSTM）网络作为RNN的一种变体被提出,在继承RNN对时间序列优秀的记忆能力的前提下,LSTM克服了这种时间序列的长期依赖问题,并在自然语言处理与语音识别领域有较好的表现。对于人体行为动作中也存在作为时间序列的长期依赖问题与使用传统滑窗算法采集数据时造成的无法实时检测的问题,将LSTM扩展应用到人体姿态检测,提出了基于LSTM的人体姿态检测方法。通过目前智能手机中一般都带有的加速度传感器、陀螺仪、气压计和方向传感器实时采集的时序数据,制作了包含3336条带有人工标注数据的人体姿态数据集,对行走、奔跑、上楼梯、下楼梯和平静五种日常持续性行为姿态与跌倒、起立、坐下和跳跃这四个突发行为姿态进行预测分类。对比LSTM网络与该研究领域内常用的浅层学习算法、深度学习全连接神经网络与卷积神经网络,实验结果表明,所提方法使用端对端的深度学习的方法相比基于所制作数据集的人体姿态检测算法模型的正确率提高了4.49个百分点,验证了该网络结构的泛化能力且更适合姿态检测。     

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题.当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大.针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2％AP,速度保持在255 fps,参数...     

基于人体姿态估计的手机使用状态监控

智能手机的日益普及给人们带来便捷的同时也带来了不少的隐患,在一些特定的场景下需要对手机的使用进行监控和限制.本文设计了一套手机使用状态监控系统,先采用YOLOv3检测图像中的人体,然后通过OpenPose姿态估计算法获得人体关节点,再通过YOLOv3判断手部区域是否有手机,最后通过神经网络分类器识别当前的手机使用状态....     

基于深度迁移学习的人体舞蹈姿态检测方法

常规的人体舞蹈姿态检测方法存在多姿态动作检测精度和识别率较低，因此提出基于深度迁移学习的人体舞蹈姿态检测方法。首先，利用Kinect传感器采集人体舞蹈姿态动作三维数据。其次，基于滑动窗口间接分割原理识别动作类别。再次，利用深度迁移学习建立动作识别模型，识别人体舞蹈的特定动作和非特定动作。最后，结合人体关节位置特征，检测人体舞蹈姿态动作中左手、右手、上身及全身4类局部特征信息。实验分析可知，新的方法应用后，舞蹈姿态检测的交并比值较高，显著提升了检测准确性。     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

深度学习方法在二维人体姿态估计的研究进展

人体姿态估计的任务是对图像或视频中的人体关键点进行定位和检测,其一直是计算机视觉领域的热点研究方向之一,也是计算机理解人类行为动作的关键一步。近年来,图像和视频中的二维人体姿态关键点预测在许多领域有着广泛的应用,二维人体姿态估计利用深度学习强大的图像特征提取能力,提升了其鲁棒性、准确性并缩短了处理时间,而且表现效果远超传统方法。根据二维人体姿态研究对象数量的不同,可将其分为单人以及多人姿态估计方法。针对单人姿态估计,根据提取到的关键点表示的不同,可采用基于直接预测人体坐标点的坐标回归方法,以及预测人体关键点高斯分布的基于热图的检测方法;针对多人姿态估计,可采用的方法分为解决多人到单人过程的自顶向下方法,以及直接处理多人关键点的自底向上方法。根据现有的人体姿态估计方法对其进行总结,说明网络结构的内部机制及执行过程,并对常用的数据集、评价指标进行分析,最后阐述当前面临的问题及未来发展趋势。     

基于深度学习的人体姿态估计方法综述

基于深度学习的人体姿态估计方法旨在通过构建合适的神经网络，直接从二维的图像特征中回归出人体姿态信息。主要按照2D人体姿态估计到3D人体姿态估计的顺序，并从单人检测与多人检测、稀疏的关节点检测与密集的模型构建等方面，对近年来基于深度学习的人体姿态估计方法进行系统介绍，从而初步了解如何通过深度学习的方法得到人体姿态的各个要素，包括肢体部件的相对朝向和比例尺度、骨骼关节点的位置坐标和连接关系，甚至更为复杂的人体蒙皮模型信息。最后,对当前研究面临的挑战以及未来的热点动向进行概述，清晰地呈现出该领域的发展脉络。     

弱监督任意姿态人体检测

困难姿态(多视角或者任意姿态)下的弱监督人体检测问题被关注研究。现在大部分人体检测仅仅关注普通的直立姿态,但现实中的人体却呈现非常丰富的姿态(如弯曲的、躺着的、坐着的),这不仅加大了人体检测的难度,而且令标注工作更加困难,实际中通常只能获得弱标注样本。多示例学习方法放松了精准标注的要求,因此常常被用来解决此类问题。但是多示例学习对正示例的质量以及一些模型参数设置相当敏感,例如将示例层次条件概率融合到包层次的策略。在Pascal VOC 2007的人类数据集上对这些重要但很少被关注的问题进行了综合性深度研究,并提出了一种新的选择性弱监督检测算法(selective weakly supervised detection,SWSD)。实验证明,只要添加少量的监督样本,在多示例学习框架下,可以大幅度提高弱监督人体检测性能。     

煤矿井下装备接近探测方法研究

在分析主流接近探测技术特点和应用现状的基础上,提出基于高精度无线测距和三维定位的井下装备接近探测方法。该方法用对称双向到达时间无线测距方法测量个人标签到探测器的距离,通过三维最小二乘法计算个人标签相对于移动设备的精确坐标,最后通过区域设定和判断得出探测结果。现场试验结果表明,该方法可以实现设备周边360°无死角探测,与RSSI方法和磁场区域标识方法相比,具有定位精度高、响应时间短、配置简便等特点。     

煤矿井下巷道变形巡检视频异常检测方法

采用智能视频巡检技术进行煤矿井下巷道变形检测时,常用的背景差分算法因要求输入图像具有良好的时空连续性而无法满足巡检视频背景建模要求。根据煤矿井下巷道变形巡检机器人匀速、定向运动及周期性采集视频数据的特点,提出一种巡检视频异常检测方法:结合巡检机器人定位信息对巡检视频分段并提取相应关键帧,采用均值哈希算法建立背景模型,对背景模型中图像进行特征跟踪以实现校正,之后将背景模型与关键帧进行差分运算,生成二值掩膜并进行去噪及连通处理后,输出异常检测结果并更新关键帧。实验结果表明,该方法在一定条件下可较准确地定位关键帧并检测出异常目标,检测速度约为50帧/s。     

煤矿井下行人检测算法

针对井下光照不均匀、行人特征与背景的相似度高等导致基于计算机视觉的行人检测技术在井下应用面临很大挑战的问题,提出采用Faster区域卷积神经网络(RCNN)进行煤矿井下行人检测。Faster RCNN行人检测算法采用区域建议网络(RPN)生成候选区域,RPN与Fast RCNN共享卷积层,以提高网络训练和检测速度;在图像特征提取过程中采用动态自适应池化方法对不同池化域进行自适应池化操作,提高了检测准确性。实验结果表明,该算法对于不同环境下图像中的行人均具有较好的检测效果。     

可自动回撤煤矿探测机器人设计

为了解决煤矿井下探测机器人工作行程受限的难题,设计了一种可自主延长通信距离和自动回撤的煤矿探测机器人。当无线控制信号减弱时,机器人通过中继器弹射系统延长其无线通信距离;当无线控制信号突然中断时,机器人启动自动回撤功能,根据探测过程中已经记录的传感器数据按原路径回撤,自动回撤到安全位置。机器人自动回撤功能采用编码器与激光传感器数据集成的方法,并使用ICP算法进行双重数据匹配,以逐步调整机器人的位置和方向角,实现较高的回撤精度。测试结果表明,该机器人具有工作行程距离长的特点和自动回撤功能,可以在未知的煤矿灾难现场稳定、安全地工作,可替代煤矿救援人员深入煤矿井下完成初期危险的探测工作,为进一步的救援提供重要的现场数据信息。     

煤矿瓦斯气体的光声光谱检测研究

煤矿瓦斯(CH4)是一种可用于诊断煤矿安全生产的特征气体。光声光谱技术是一种新型的气体检测技术,具有选择性好、灵敏度高、动态监测范围大、不消耗被测气体等优点,能很好地应用到CH4气体的在线监测。基于光声光谱技术的基本原理,利用分布反馈半导体激光器构建一种用以检测CH4的光声光谱装置,利用该装置研究了气体光声信号与CH4浓度、温度、斩波频率、激光功率、背景气体、以及压强之间的关系,并测得甲烷在2ν3带的R(3)支的光声光谱。     

一种煤矿井下图像压缩方法

针对煤矿井下视频监控图像数据量大而导致传输、存储困难等问题,提出了一种基于改进压缩感知算法的图像压缩方法。首先采用Coiflet2小波变换原理对采集图像数据进行稀疏化,然后通过测量矩阵对稀疏化的图像数据进行测量,得到测量数据,最后采用正交匹配追踪算法和小波反变换重构图像。实验结果表明,该方法有效压缩了图像大小,且能够很好地还原图像。     

煤矿带式输送机健康诊断方法

针对基于多传感器信息融合的煤矿带式输送机健康诊断方法运用D-S证据理论在处理冲突证据时失效的问题,提出了一种基于模糊证据理论的带式输送机健康诊断方法。该方法首先利用多种传感器采集带式输送机信息,并根据隶属度函数获取基本概率赋值,从而提取信息特征;然后通过对冲突证据进行修正并应用D-S证据理论的合成规则,实现基于模糊证据理论的信息融合;最后根据决策规则判断带式输送机运行状态。通过实例验证了该方法的有效性。     

煤矿智能视频监控中的运动目标检测研究

针对煤矿智能视频监控环境存在各种复杂动态场景变化的情况,研究了运动目标检测中的3个重要环节:背景建模与更新、前景检测和运动阴影检测与去除。针对这3个环节,提出了相应的处理方法:基于IFCM聚类算法的自适应背景建模与更新方法,对像素灰度取值进行无监督聚类,自适应选取不同个数的聚类构建各像素背景模型,随场景变化进行聚类修改、添加和删除以完成背景自动更新;联合背景差分信息、三帧差分信息和空间邻域信息的前景检测方法,据此获得较为准确的前景目标;运动阴影检测与去除方法,依据在阴影覆盖前后的灰度图像中,像素具有亮度值相关性和纹理特征值不变性,实现了运动阴影的检测与去除。实验结果验证了本文所提方法的有效性和优越性。     

Zigbee技术在煤矿瓦斯检测系统的应用

本文提出一种基于zigbee技术的组建的煤矿瓦斯检测系统方案,该方案采用ZigBee无线通信技术构建无线传感器网络,通过对无线路由算法和自组网络灵活性的研究,实现煤矿瓦斯测量系统的无线网络的集成,实现采集信息远距离传输。具有能耗低、成本低、适应性强等优点、在解决煤矿工人安全方面具有重大意义。