煤矿井下网联式自动驾驶技术研究

通过分析地面常规自动驾驶智能化和网联化技术发展现状及技术特点,结合煤矿井下无GNSS（全球卫星导航系统）信号覆盖、巷道照度低、遮挡物与障碍物较多、煤尘粉尘普遍存在的环境特点,提出了煤矿井下开展自动驾驶研究的关键技术,即无GNSS的移动高精定位技术、激光雷达技术、基于毫米波雷达的井下障碍物检测技术、井下低照度视频实时增强和特征匹配技术、井下环境高精地图技术、井下自动驾驶车辆决策规划技术、井下自动驾驶车辆控制执行技术、井下5G通信技术、C-V2X直连通信技术等;指出煤矿井下开展自动驾驶应用具有少人化/无人化需求显著、运营管理主体明确、场景封闭、路线固定、车速较慢、渗透率可控、5G建设基础较好、接口易开放等优势。构建了包括井下自动驾驶车辆、巷道基础设施、人员、煤矿云/边缘计算平台及煤矿自动驾驶应用服务平台的“人-车-巷-云”煤矿井下网联式自动驾驶系统参考架构,设计了包括感知定位系统、网联协同系统、车载操作系统、车辆基础组件的煤矿自动驾驶车辆架构,提出煤矿井下网联式自动驾驶演进将经历3个阶段：第1阶段为远程自动驾驶,实现车辆驾驶人员从井下到井上的转移;第2阶段为具有紧急接管边界的车辆自动驾驶,...     

基于雷达与视觉融合的双模态煤矿井下环境感知技术

环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力。为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。     

毫米波雷达在车路协同系统中的应用研究

随着车路协同系统技术的研究与发展,感知设备的可靠性、稳定性、高性价比、可大规模部署等要求被提出来。而毫米波雷达正是满足这一要求的器件。介绍了一种基于智能网联平台的车路协同的基本组成与架构,阐述其在交通系统中发挥的作用。重点讨论了毫米波雷达感知技术的原理与功能,研究以毫米波雷达为主要感知设备搭建车路协同系统的可行性,研究毫米波雷达技术在智能交叉路口、智能高速/快速公路、智能停车场三种车路协同场景下的应用。可为毫米波雷达技术在车路协同系统中的应用研究提供参考。     

矿井胶轮车无人驾驶自动控制技术研究

作为矿井重要辅助运输设备,无轨胶轮车的运行安全可靠性对煤矿生产安全及效率至关重要。受井下空间狭窄、光线不足等恶劣行驶环境影响,传统人工驾驶模式存在诸多安全隐患,通过无人驾驶技术使矿井胶轮车实现智能化与无人化驾驶是提高井下运输效率、推动煤矿运输智能化发展的重要手段。本文以矿井胶轮车无人化驾驶为研究目标,通过多传感信息融合技术感知胶轮车工况及环境,采用模糊PID自适应控制策略自动控制车辆转向电机,实现井下胶轮车的无人驾驶。     

激光雷达在无人驾驶环境感知中的应用

激光雷达是实现无人驾驶环境感知的重要传感器,特别是通过与相机和毫米波雷达等实现感知信息融合之后,适用于复杂交通环境感知,可以检测交通环境中的不同目标,包括道路、可行驶区域、行驶环境中行人和车辆、交通信号灯和交通标志等交通要素。本文通过激光雷达的技术描述,介绍它在环境感知中的重要作用,分析了激光雷达标定及测试等技术基础,分析了激光雷达在环境感知中的应用,可以为相关技术应用提供参考。     

无人驾驶汽车图像识别与底层控制技术

无人驾驶汽车环境感知技术是研究的最多的部分,其中常用的传感器有摄像机,毫米波雷达,激光雷达,GPS等,本文研究分析的是摄像机图像识别技术.首先对图像识别的原理进行了阐述,并介绍了几种常用的车载摄像机,从而分析了识别车道线的方法以及相关底层控制技术.     

车路协同路侧感知融合方法的研究

随着智能网联汽车技术和产业的不断发展,智能网联汽车逐渐成为人们交通出行的选择之一。但受智能网联汽车自身环境感知系统对特定道路交通场景信息处理的局限,无法实现在所有行驶工况下安全高效的运行,其需车路协同路侧感知技术的辅助方能更安全高效的运行。海量的车路协同感知数据是城市道路和高速公路车路协同、运行分析和科学管理的宝藏,理解和分析这些数据是车路协同路侧感知融合的关键。面对车路协同路侧多传感器的不同数据,如何高效准确地挖掘和提取雷达、视频在不同时间、不同空间维度的数据,实现对重点交通场景(如视野盲区、急转弯道、隧道、桥梁)和交通事件、环境、设施安全等的雷达、视频数据进行快速融合检测、识别与检索,通过蜂窝车联网C-V2X网络在一定时延范围内有效地将路侧感知融合结果数据发送给智能网联汽车,确保其安全高效的行驶,是面向智能网联汽车辅助驾驶的车路协同路侧感知融合的关键问题。基于智能网联汽车其自身环境感知能力,对道路智能基础设施感知网络中的多传感器融合方法进行研究分析,提出了基于误差方差的多传感器融合算法,与非智能道路相比,其效率更高,更加智能化,可有效解决道路交通运行环境中存在的常见问题,为人们提供更加安全、高效、优质的交通出行服务。     

矿用卡车无人驾驶感知技术的设计与应用

针对我国矿区多尘、雨雪等恶劣天气、多碎石、路面颠簸等特殊环境导致障碍物检测不准确,易引起车辙误检的问题,设计了矿用卡车无人驾驶感知系统。构建了融合4D光场相机+激光雷达+毫米波雷达的感知系统,充分利用4D光场相机一次成像即同时可获得二维、三维一体化数据,免标定、无匹配误差、无融合误差、不受震动影响等优势,使感知系统具有极强的稳定性和高度的兼容性;构成了完整的数据通信系统,支持4G/5G/Mesh等多种通信方式,实现V2N、V2V和V2I通信,通过多种通信方式实现高精度差分定位信号的传输。将矿卡无人驾驶系统应用于黑岱沟露天煤矿,通过雷达点云数据、车辆位姿信息及地图融合模块,计算出车辆当前行驶道路路面的平整度、障碍物、可行驶区域检测等信息,在非结构化道路环境中,可实现行驶区域的稳定检测、感知模块可对路沿做稳定检测。     

矿井外因火灾感知方法

为解决可见光图像在井下受矿灯、车灯、巷道灯、粉尘、红色物体等干扰大的问题,提出了基于近红外和可见光图像的矿井外因火灾感知方法,将近红外图像和可见光图像融合,发挥近红外图像中早期火焰特征明显、可见光图像中中期火焰特征明显的优点,以提高矿井外因火灾识别率。提出了基于近红外图像、可见光图像、温度传感器、气体传感器和烟雾传感器等多信息融合的矿井外因火灾感知方法,该方法融合了近红外图像、可见光图像和传感器信息,传感器不需要无盲区覆盖,仅需要设置一定数量的气体传感器、温度传感器和烟雾传感器,具有及时、可靠、成本低等优点。将报警信息分为图像、温度、烟雾和气体4类。图像类火灾报警信息包括近红外图像和可见光图像信息,当近红外图像或可见光图像监测到火灾时,发出图像类火灾报警信号;当温度超限时,发出温度类报警信号;当烟雾超限时,发出烟雾类报警信号;气体类火灾报警信息包括CO、CO_2、O_2等,当CO、CO_2或O_2超限时,发出气体类报警信号。将火灾报警分为蓝色、黄色、橙色和红色4级,红色为最高级。当图像类、温度类、烟雾类、气体类4类信息中有1类报警,发出火灾蓝色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有2类报警,发出火灾黄色报警信号;当图像类、温度类、烟雾类、气体类4类信息中同时有3类报警,发出火灾橙色报警信号;当图像类、温度类、烟雾类、气体类4类全部报警,发出火灾红色报警信号。     

煤矿井下探测搜救机器人地形感知系统及路径规划方法研究

针对常规机器人导航系统采用单一类型地形识别传感器,观察维度单一等问题,对煤矿井下探测搜救机器人地形感知系统进行研究,使用远近感知系统数据融合,提高机器人避障能力。由激光扫描仪采集的二维点云数据建立远距离地形信息,由Kinect相机采集的地形深度信息建立近距离地形信息。基于PCL模型,应用像素遍方法,实现观测信息的采集与云图像的构建。使用2.5维栅格地图构建方法得到近距离环境地形信息。使用Dijkstra算法进行了路径规划研究,建立了融合路径长度和地面危险度等级的目标函数。通过仿真研究验证了本文提出的最优路径减小机器人行走过程的俯仰角、侧倾角的波动幅度。     

基于可见光和红外图像的矿井外因火灾识别方法

分析了矿井外因火灾监测方法,提出了基于可见光和红外图像的矿井外因火灾识别方法。①温度和烟雾等传感器矿井外因火灾监测方法需多点布置,成本高、维护工作量大。②可见光图像矿井外因火灾监测方法具有监测范围广、使用简单、成本低、受距离影响小、分辨率高、色彩信息丰富、边缘纹理信息清晰、火焰结构信息便于提取等优点,但受矿灯、巷道灯、车灯及红色物体等影响大。③红外图像矿井外因火灾监测方法具有监测范围广、使用简单、可在浓烟等能见度低情况下监测火灾等优点,但监视距离、矿尘、环境温度和湿度、物体表面发射率等均会影响温度测量,近距离的作业人员、白炽灯及机电设备等均会影响火灾监测。④基于可见光和红外图像的矿井外因火灾识别方法提高了火灾识别准确率:当可见光图像和红外图像均识别出火灾时,才判定为火灾,发出火灾报警信号;当仅有单一可见光图像或红外图像识别出火灾时,不判定为火灾,发出疑似火灾报警信号。⑤通过试验验证了基于可见光和红外图像的矿井外因火灾识别方法的可行性。     

矿井巷道无线传感器网络监测下位机系统设计

针对目前矿井环境参数监测采用有线通信存在的布线结构复杂、数据采集点固定和容易出现监测盲区的问题.根据矿井巷道环境特点,提出了一种采用Zig Bee技术的适用于煤矿巷道多参数采集的无线传感器网络监测下位机系统设计方案.首先利用多种传感器,通过无线传感器网络实现对井下环境和生产参数的实时监测和智能预警;其次采用Zig Be...     

基于改进DeepSORT的路侧感知方法在露天矿山中的应用

在露天矿山无人驾驶运输作业系统中,路侧感知系统可为无人驾驶车辆提供辅助路况信息。目前的矿卡无人驾驶系统采用基于摄像头、激光雷达和毫米波雷达的多传感器融合技术的路侧感知方法,存在系统成本高、结构复杂、鲁棒性差等问题。对此,文章提出一种基于改进DeepSORT的路侧感知方法。该方法首先使用摄像头采集矿山中车辆和行人数据,采用YOLOv5s算法对摄像头画面中的车辆、行人进行精准识别;然后结合改进的DeepSORT算法对所识别的车辆与行人进行实时跟踪;最后,对跟踪目标进行统计分析,完成车流量统计、车辆异常停车判定和行人侵入判定等功能。在神延西湾露天煤矿矿区8号十字路口对该方法进行了测试,结果表明,采用单一传感器可以很好地实现对矿山十字路口车辆和行人的识别与跟踪,相比基于多传感器融合的路侧感知技术,其有效降低路侧感知系统复杂度并节约了成本。     

煤矿信息全面感知与智慧决策系统

针对目前煤矿安全生产过程中存在煤矿信息感知能力差、决策水平低的问题,提出了一种煤矿信息全面感知与智慧决策系统。该系统由胶囊网络层、数据传输层和云服务层组成:胶囊网络层由人员位置与行为感知胶囊、设备状态感知胶囊、环境感知胶囊构成,实现煤矿"人、机、环"全面感知;数据传输层采用无线传感器网络与有线网络结合的方法来实现煤矿井下数据可靠传输;云服务层通过基于随机森林的智慧决策机制为煤矿生产高效、可靠决策提供了保障。实验结果验证了该系统的有效性。     

煤矿辅助运输机器人关键技术研究

针对煤矿辅助运输机器人移动速度较快、行驶路线多变、行驶路面情况复杂等特殊工况,给出了煤矿辅助运输机器人的结构形式和技术架构:采用无驾驶室的结构设计,以自动驾驶系统为控制中枢,以轮式防爆线控动力底盘为移动平台,通过可更换的多种上装载具,实现不同物料在井下运输的无人化。针对煤矿辅助运输机器人的环境感知、定位导航和路径规划三大功能,提出了相应的解决方案:①矿井低照度环境下的机器视觉增强及感知融合技术:通过深度相机红外成像技术和平面激光雷达探测技术相结合的方式实现机器人的环境感知功能;②煤矿井下受限空间内的无线通信及定位技术:利用物联网无线通信定位和即时定位与地图构建(SLAM)技术相结合的方式实现机器人执行运输作业时的主动精确定位;③矿井复杂地质条件下的路径规划及避障机制:利用最短路径搜索算法和动态窗口算法分别实现该机器人的全局路径规划和局部路径规划功能。     

无人驾驶汽车协同感知信息传输负载优化技术

无人驾驶近年来成为了学术界和工业界的研究热点,无人驾驶汽车的环境感知则是其中的重要基础.仅通过提升无人驾驶汽车上的传感器数量和精度并不能完全消除车辆的感知盲区,因此无人驾驶汽车与路边基础设施进行协同环境感知越来越受到关注.通过车路协同感知,无人驾驶汽车的感知范围能够得到有效扩展,有助于消除感知盲区,对于提升无人驾驶的安全性具有重要意义.在各类环境感知信息中,摄像头拍摄的视频占有最重要的地位.然而,视频帧所包含的数据量较大,传输每个视频帧会导致网络负载过重,传输延迟增大,影响环境感知信息的时效性.本文提出了一种视频感知数据的传输负载优化方法,主要思想是通过路边基础设施把视频帧中的静态背景与动态前景进行分离,仅在初始时传输一次静态背景,其余每次仅传输动态前景信息,这样可以使得传输负载大幅降低.无人驾驶汽车将收到的静态背景图像与动态前景图像重新融合成视频帧,然后基于视频帧所反映的行车环境做出正确的驾驶决策.对于静态背景与动态前景的分离,本文提出了一种基于像素值计算的视频帧背景去除和降噪方法,能够快速地从视频帧中提取动态前景;对于静态背景与动态前景的融合,本文提出了一种基于生成对抗网络的视频帧生成方法,能够快速地把静态背景和动态前景融合成视频帧.通过在真实数据集上的测试可知,本文提出的方法能够在重要环境感知信息不丢失的前提下使传输负载降低85％以上,感知信息处理时间降低70％以上.这表明本文提出的方法能够高效地实现无人驾驶汽车与路边基础设施的协同环境感知,有助于构建更加安全的无人驾驶系统.     

智轨电车多源环境感知系统

智轨电车的多源环境感知系统是车载平台与运行环境的交互纽带,其包括基于激光雷达的障碍物感知子系统、基于毫米波雷达的前侧向障碍物感知子系统以及基于多摄像头的360度环视子系统。基于激光雷达的障碍物感知子系统采用地面分割算法、点云聚类算法和数据关联算法,实现了对运行前方障碍物的检测和跟踪;基于毫米波雷达的前侧向障碍物感知子系统采用目标检测算法和跟踪算法,实现侧向以及前向障碍物探测;基于分布式鱼眼摄像头的360度环视子系统运用图像拼接算法,实现智轨电车周围障碍物感知和预警。实车试验结果表明,该环境感知系统可有效地提高智轨电车的运行安全系数,为车辆智能驾驶提供了全面的环境信息。     

煤矿移动机器人LiDAR/IMU紧耦合SLAM方法

煤矿井下机器人同步定位与地图构建(SLAM)是当前研究热点,但针对提高激光SLAM在井下复杂条件下精度、鲁棒性的研究仍然不足;传统激光SLAM方法在井下复杂环境下存在累计误差迅速增大、旋转过程鲁棒性差、特征关联错误率高等问题;现有激光-惯性融合的定位建图紧耦合融合机制仍需进一步提高对煤矿井下复杂环境的适应能力。针对上述问题,提出了一种煤矿机器人LiDAR(激光雷达)/IMU(惯性测量单元)紧耦合SLAM方法(LI-SLAM方法)。首先利用IMU观测信息预测点云运动状态并进行有效补偿,减少由于剧烈振动、快速旋转等恶劣运动工况导致的点云畸变;然后提取雷达点云的边线与平面特征,基于点-线和点-面扫描匹配构建激光相对位姿约束,并在向量空间与流形空间解析推导了约束的残差、雅可比矩阵、协方差矩阵构建过程;最后通过构建雷达相对位姿约束因子、IMU预积分约束因子、回环检测约束因子,基于因子图优化方法完成LiDAR/IMU紧耦合,实现井下复杂环境下煤矿移动机器人的定位与地图构建。为了验证LI-SLAM方法在颠簸路面、复杂场景的精度与鲁棒性,基于煤矿轮式移动机器人平台,在野外、地下车库环境下进行了试验,在...     

基于毫米波雷达稀疏点云的人体行为识别方法

目前利用毫米波雷达进行人体行为识别的方法在复杂场景下无法很好的区分相似动作,与此同时模型的鲁棒性和抗干扰能力也相对较差;针对以上两个问题,提出了一种通用的基于毫米波雷达稀疏点云的人体行为识别方法,该方法首先利用K-means++聚类算法对点云进行采样,然后使用基于注意力特征融合的点云活动分类网络进行人体行为特征的提取和识别,该网络可以兼顾点云的空间特征以及时序特征,对稀疏点云的运动有灵敏的感知能力;为了验证所提出方法的有效性和鲁棒性,分别在MMActivity数据集和MMGesture数据集上进行了实验,其在两个数据集上取得97.50%和94.10%的准确率,均优于其它方法;此外,进一步验证了K-means++点云采样方法的有效性,相较于随机采样,准确率提升了0.4个百分点,实验结果表明所提出方法能够有效的提升人体行为识别的准确率,且模型具有较好的泛化能力。     

面向无人驾驶的井下行人检测方法

行人检测是煤矿井下无人驾驶的关键技术,受煤矿井下光照不均匀、背景复杂、红外线干扰、光线昏暗和图像中目标小且密集等影响,现有方法检测井下行人时效果不理想。针对上述问题,提出了一种多传感器融合的井下行人检测方法。该方法通过分步多特征融合方式将可见光传感器、红外传感器和深度传感器采集的图像特征进行融合,获得了更加丰富的图像特征;在RetinaNet的基础上,将Dense连接加入到ResNet中,形成一种具有层级相连结构的Dense-ResNet,能够从多传感器融合结果中提取出深层图像特征,增强了对小目标的检测能力。实验结果表明,多传感融合图像相较于单一图像可获得更加丰富的目标特征,有利于提高目标检测精度;Dense-RetinaNet相较于RetinaNet在多目标和小目标检测精度上均有所提高。