改进YOLOv5s和DeepSORT的井下人员检测及跟踪算法

矿井移动目标的实时监测及跟踪系统是建设智慧矿山必不可少的内容，井下巡检机器人的出现可以实现对作业人员的实时监测，但是井下光照不均、煤尘干扰等因素的存在导致传统图像检测算法无法准确检测出作业人员。基于此提出一种可部署于井下巡检机器人的改进YOLOv5s和DeepSORT的井下人员检测及跟踪算法。首先利用监控摄像头与巡检机器人所录视频制作数据集，然后使用改进YOLOv5s网络对井下人员进行识别：考虑到井下人员检测及跟踪算法包含复杂的网络结构和庞大的参数体量，限制了检测模型的响应速度，使用改进轻量化网络ShuffleNetV2替代原YOLOv5s主干网络CSP-Darknet53。同时，为减少图像中复杂背景的干扰，提升作业人员的关注度，将Transformer自注意力模块融入改进ShuffleNetV2。其次，为了使多尺度特征能够有效融合且使得推理信息能够有效传输，将Neck中FPN+PAN结构替换为BiFPN结构。接着利用改进DeepSORT对人员进行编码追踪：考虑到井下环境黑暗，照度低，无纹理性，DeepSORT难以有效提取到人员的外观信息，于是采用更深层卷积替换DeepSORT中小型残...     

模拟暗湿工况下煤矸混合体态势热敏图像精准辨识试验

煤矸井下智能分选作为智慧矿山建设的重要组成,可有效提升矿井资源绿色利用。现阶段可见光图像识别技术针对井下昏暗潮湿环境中煤矸混合体的辨识还有待完善。基于热红外成像技术和改进YOLOv5算法模型,提出了一种暗湿工况下煤矸混合态势热敏图像辨识方法。将YOLOv5模型的Neck部分改用加权双向特征金字塔（BiFPN）结构,通过多层次特征融合提高煤矸的辨识效率,采用CIOU函数作为损失函数,提升煤矸检测精准率;构建了煤矸混合体热敏采集试验平台,模拟了井下密闭空间低照度、高湿度、高风速环境,通过CLAHE与LAPLACE算子对红外摄像机所采集的热敏图像进行对比度增强和边缘强化预处理,以不同数据集、不同改进模块、不同算法模型等多个角度系统分析了煤矸混合体态势热敏图像辨识结果,探究了湿度变化对暗湿工况下煤矸识别准确率的影响规律。研究结果表明：预处理后的图像平均精准率较原始图像提升了1.7%,F-Measure值提升了6.9%;改进后的YOLOv5模型平均精度均值和F-Measure达到了80.2%和84.6%,高于经典模型的74.6%和79.7%,可有效提升煤矸热敏图像检测精度;环境相对湿度与识别准确...     

改进YOLOv5s的采煤机滚筒与支架护帮板干涉状态智能识别

针对综采工作面液压支架护帮板处于未收回异常状态导致采煤机滚筒与护帮板干涉问题,提出一种改进YOLOv5s的采煤机滚筒与液压支架护帮板干涉状态智能识别方法。运用课题组前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理,提高综采工作面监控视频图像质量;对YOLOv5s模型进行改进,通过将YOLOv5s主干网络中的普通卷积Conv替换为分类效果更佳的Ghost卷积,减少了模型的参数数量,提高了模型识别速度,同时引入坐标注意力机制,提高了模型对护帮板和滚筒特征提取能力,从而提高模型识别精确率。运用软非极大值抑制算法（Soft-NMS）的锚框筛选方法,减少因护帮板重叠而发生漏检问题。针对采煤机滚筒与液压支架护帮板干涉状态判定问题,提出液压支架护帮板与采煤机滚筒锚框重合度的判定方法。运用本文改进YOLOv5s模型与YOLOv5s、YOLOv3-tiny模型进行对比分析,结果表明：本文方法与原模型相比的识别精确率提高了约8.1%,GFLOPs降低1.86倍;mAP@.5达到97.2%、平均识别速度为检测时间为5.9 ms。运用本文方法对煤矿实际综采工作面采煤机滚筒与液压...     

YOLOv2在煤岩智能识别与定位中的应用研究

综采工作面煤层走向复杂，采用“一刀切”的开采方法会加速滚轮截齿的磨损，同时开采效率也大幅降低，对煤岩的精准识别是解决此类问题、实现智能开采的关键。将基于回归方程的深度学习目标检测算法YOLOv2与线性成像模型相结合并通过该算法对井下采集煤岩图像进行了智能识别与定位，同时与Faster R-CNN，SSD对煤岩图像的识别结果进行了对比。结果显示YOLOv2对煤岩的识别精度达到了78%，检测速度达到了63 frame/s，与Faster R-CNN，SSD相比精度高出7.7%，4.7%，而检测速度高出763%，40%；在矿井测量坐标系中YOLOv2标定的煤层边界框角点的计算坐标与实测坐标相比相对误差在3.0%～4.5%之间，相对误差较小，不会对采煤效率产生影响。研究结果表明，YOLOv2可以对煤岩进行准确快速的识别。     

基于改进YOLOv3的煤矸识别方法研究

煤矸识别技术对实现煤和矸石自动分选具有重要意义,而现有的图像识别算法在实用性、准确率方面无法满足实际需求。基于图像处理技术和深度学习技术,提出一种基于改进YOLOv3的煤矸识别方法,针对煤矸识别目标小、辨识度低等问题,对原始YOLOv3的网络结构及损失函数进行了改进,用训练生成的模型在测试集上进行识别测试。测试结果表明:改进的YOLOv3-M在小样本上,可在短时间内使模型快速收敛,单张图像识别时间为21.6 ms,识别准确率为95.4%,能适应不同环境下的煤矸样本,可实现实时检测识别。     

基于CSR-YOLOv5s的煤矸目标检测算法

针对基于深度学习的煤矸目标检测方法速度慢、参数量多、计算量大等问题，文章提出了一种基于CSR-YOLOv5s的煤矸目标检测算法。首先使用轻量化网络ShuffleNetv2作为主干网络，提升目标检测速度；其次将Neck区域的20×20特征图分支删除，降低了模型复杂度；最后SIOU损失函数替换CIOU损失函数，引入CBAM注意力机制使模型更加关注重要特征提高检测性能。实验结果表明：改进后的煤矸检测算法模型大小压缩了92.3%,参数量减少了94.3%,计算量降低了90.5%,帧数提高了34.2帧，可为煤矸的智能分选提供借鉴。     

改进YOLOv4算法井下人员检测的研究

针对矿山企业井下作业人员工作环境光线暗、干扰因 素多、常用井下行人检测的方法精度低、速度慢等问题,提出 基于 YOLOv4算法的井下人员检测系统,引入信息熵的 Kmeans聚类确定目标检测的中心点,提高网络对目标特征的 提取能力。试验结果表明,采用 GeForceRTX2060显卡,相 比人员检测常用的 SSD、FasterR-CNN算法,改进 YOLOv4 算法提高了检测率,平均检测精度达到97.72%,检测速度为 32帧每秒,满足井下人员实时检测的需求。     

基于改进YOLOv5的煤矿井下暗环境矿工安全穿戴智能识别

煤矿井下矿工安全智能识别是防止矿工受到意外伤害的重要保护措施之一。为了提高煤矿井下光线不足等暗环境下的识别准确率,提出一种基于改进YOLOv5的目标检测算法对矿工安全穿戴进行智能识别。首先,实地采集数据构建安全穿戴数据集,将其输入到弱光增强网络Zero-DCE中,提升模型的泛化能力;其次,提出C-ASPP模块,通过对ASPP改进并加入注意力机制,将其加入主干网络之中,使模型更加高效关注安全穿戴区域的特征;然后,在主干融入Transformer算法,增强模型对不同尺度目标的动态调整能力;最后,在特征融合阶段,使用双向特征融合金字塔模型,提高模型的特征提取能力和检测性能。试验结果表明：改进后的YOLOv5算法的平均检测精度提升至90.2%,较原算法提高了3个百分点,检测速度为81.2帧/s,相较于其他算法有着较高的准确度和速度,可满足井下工作区域内矿工安全穿戴识别要求。     

YOLOv2在煤岩智能识别与定位中的应用研究

综采工作面煤层走向复杂,采用“一刀切”的开采方法会加速滚轮截齿的磨损,同时开采效率也大幅降低,对煤岩的精准识别是解决此类问题、实现智能开采的关键。将基于回归方程的深度学习目标检测算法YOLOv2与线性成像模型相结合并通过该算法对井下采集煤岩图像进行了智能识别与定位,同时与FasterR-CNN,SSD对煤岩图像的识别结果进行了对比。结果显示YOLOv2对煤岩的识别精度达到了78%,检测速度达到了63 frame/s,与Faster R-CNN,SSD相比精度高出7.7%,4.7%,而检测速度高出763%,40%;在矿井测量坐标系中YOLOv2标定的煤层边界框角点的计算坐标与实测坐标相比相对误差在3.0%～4.5%之间,相对误差较小,不会对采煤效率产生影响。研究结果表明,YOLOv2可以对煤岩进行准确快速的识别。     

基于HSV色彩空间及改进二维伽马函数的井下图像增强算法

为解决井下光照条件不足、光照不均引起的视频图像质量低下的问题，构造了一种改进二维伽马函数并以此提出了一种基于HSV色彩空间，作用于图像明度和饱和度分量的井下图像质量增强算法。以综采工作面以及井下泵房处图像为增强对象，将算法与目前主流的图像增强算法进行对比验证。结果表明，在井下环境下该算法对井下低亮度区域有着较好的增强效果，一定程度上满足了井下视频图像质量增强需求。     

ZJ—1型综采支架工况实时监测系统

应用计算机和传感器技术，可实时地测试井下综采工作面液压支架的工况状态，准确传输到地面调度室，由计算机屏幕显示并储存数据，供领导和调度人员参考，以减少并防止冒顶事故，有利于综采工作面生产。     

智能化综采工作面全景视频远控技术研究及应用

针对智能化综采工作面建设中对井下少人化、无人化的目标诉求，依托先进的无线通信技术，发展全方位的视频监控系统，提升综采设备的远程操控能力，改善相关生产人员的作业环境，是煤矿智能化开采的重要方向。介绍了智能化综采工作面全景视频远控技术方案和该方案的整体架构，详细阐述了井下综采工作面5G网络部署、短物距下大视场摄像机成像、全景视频实时拼接算法等全景视频远控关键技术，以及对采煤机端侧远程操控进行的改造，同时分析了全景视频远控技术在工程实施过程中的难点。具体实践表明，应用综采工作面全景视频远控技术方案能够促进煤炭生产的减人增安，对煤矿智能化综采工作面的建设具有重要意义。     

基于无人机视觉的河道漂浮垃圾分类检测技术研究

传统人工河道漂浮垃圾巡检耗时耗力,无人机、无人船河道巡检成为主要方式,目前尚局限于河道漂浮垃圾图像人工判读或简单计算机目标检测,缺乏对漂浮垃圾的自动分类检测。基于无人机航拍影像构建了研究区河道漂浮垃圾数据集,使用深度学习方法对垃圾进行分类识别。顾及河道漂浮垃圾类别不均衡以及在无人机影像中占比较小等情况,在多尺度检测以及数据增强等方面对YOLOv5s目标检测算法进行了针对性改进,经试验验证,改进后算法相较于原始算法,提升了对小目标的检测精度,其类别均衡准确率提高了3.47%。研究表明：将深度学习方法与无人机技术相结合能够高效、准确地对垃圾进行识别和分类,为治理河道漂浮垃圾提供决策依据。     

基于改进YOLOv3的锌阴极板残留物图像识别方法

为识别剥锌机锌阴极板的残留物,研究了一种基于深度学习的阴极板残留物图像识别方法。在YOLOv3单阶段图像检测模型的基础上,将原始网络结构Darknet53替换成具有深度可分离卷积的Xception网络结构来提升检测模型的特征提取能力,通过改进候选框生成策略来减轻训练过程中正负样本不平衡。实验从训练过程损失曲线以及识别准确率分别对比了改进结构与原始结构的识别效果。结果表明,基于改进YOLOv3的方法提升了检测模型的泛化能力,对阴极板残留物的识别准确度高达95%,较原始的YOLOv3模型提升了3%。     

基于倒置残差的井下无人车目标检测研究

对井下光线昏暗、光照不均、背景复杂等特殊工况环境的影响下,所形成的图像目标存在细节特征少、图像模糊等问题进行了研究,提出了一种基于倒置残差结构改进YOLOv5s模型的检测算法﹐以此解决井下目标检测精度低的问题。首先主干网络部分引入通道注意力神经网络模块(SE-Net),提高检测精度﹔颈部网络部分在 BottleneckCSP模块中引入倒置残差结构,将通道进行扩充,丰富特征数量,进一步提升检测精度。在自建井下数据集上进行检测试验,结果表明,基于倒置残差的模型平均检测精度均值(交并比为0.5)达84.4%,相比 YOLOv5s模型精度提高了16.7个百分点,参数量减少了17.1%,模型轻量化且精度高,可有效改善井下目标检测精度低的问题,基本满足井下无人车目标检测的需求。     

基于深度学习的井下人员不安全行为识别与预警系统研究

井下作业人员的不安全行为是矿山事故发生的主要原因之一,现有的井下监控方式仍然以人工监控为主,无法快速识别作业人员的不安全行为,导致难以实时预警。设计了一种基于深度学习的井下人员不安全行为识别与预警系统开发方案,首先制作以井下环境为背景的数据集,然后采用YOLOv4网络模型对矿工及安全帽等进行识别以判断安全帽佩戴情况,再采用Open Pose算法及ST-GCN模型对监控视频中的矿工行为进行识别,最后通过系统对不安全行为进行自动预警。结合多种深度学习和计算机开发技术开发了一种井下人员不安全行为识别与预警系统,为井下人员的安全管理提供了新的思路,对于智慧矿山建设具有参考意义。     

基于图像识别的下料口监测告警系统设计

针对球团矿生产过程中回转窑下料口容易出现堵塞而人工观察方法难以及时预警的问题,通过高温工业相机和图像识别技术,采用改进特征提取和优化损失函数的方法对YOLOv3算法进行优化,并通过数据训练获得的网络模型对回转窑内的运行状态进行实时检测和分析,对下料口出现的球团烧结大块进行及时预警.结果表明,系统改进的YOLOv3算法具有较好的识别准确率,能高效及时地对球团大块进行预警,降低生产企业的人工成本,提高钢铁生产设备的运行效率和产能,对实现钢铁智能化生产具有重要的意义.     

基于图像识别的下料口监测告警系统设计

针对球团矿生产过程中回转窑下料口容易出现堵塞而人工观察方法难以及时预警的问题,通过高温工业相机和图像识别技术,采用改进特征提取和优化损失函数的方法对YOLOv3算法进行优化,并通过数据训练获得的网络模型对回转窑内的运行状态进行实时检测和分析,对下料口出现的球团烧结大块进行及时预警.结果表明,系统改进的YOLOv3算法具有较好的识别准确率,能高效及时地对球团大块进行预警,降低生产企业的人工成本,提高钢铁生产设备的运行效率和产能,对实现钢铁智能化生产具有重要的意义.     

智能大采高综采工作面视频分析系统的研究与应用

针对煤矿井下综采工作面没有对人员、设备等移动目标进行自动分析等问题,研究了片帮报警智能视频识别技术,堆煤检测智能视频识别技术,刮板输送机内大块煤及煤量估算智能视频识别技术,人员"三违"预警、报警智能视频识别技术,综采工作面工作人员人脸识别等技术,设计了一套适应于智能大采高综采工作面的视频分析系统;该系统通过视频采集、分析、处理、集控接入等,实现在综采工作面及地面调度实时监管现场视频和自动控制等功能。通过在神东煤炭集团上湾煤矿12401综采工作面进行的示范应用,表明该系统为井下移动目标管理提供了决策依据,能够提高综采工作面的安全监管水平。     

基于本安摄像仪外挂式AI终端的安全帽识别的实现

为了解决目前矿用本安摄像仪大多无智能识别功能，集成了智能识别功能的摄像仪体积大、功耗高、本安化难度大的问题，提出了一种本安型外挂式AI终端的设计，实现了在不改变现有本安型摄像仪配套使用的情况下使其具备智能识别功能。首先，基于现有矿用本安型摄像仪的配套要求，进行了多网口接入的5G路由集成；其次，采用RK3399核心处理芯片实现最高4TOPS算力模块的部署和网络语音的交互接入；最后，提出了一种基于YOLOv5的安全帽检测算法，并从激活函数、锚框设计、网络结构、非极大值抑制等方面进行改进，提高在低算力的嵌入式设备上的检测速度和井下场景的识别效果。试验结果表明：外挂式AI终端能兼容400万像素以内的摄像仪无缝接入从而实现安全帽AI智能识别和声光报警，同时本安化设计和实现使系统配套简单易用，为后续的多场景智能识别提供了技术支撑和产品依托。