基于雷达与视觉融合的双模态煤矿井下环境感知技术

环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法，通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合，从而提高环境感知能力。为了更好地提取目标特征信息，提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理，多模态特征融合网络模块提取融合信息中的目标特征，多任务处理网络模块采用不同的任务头处理目标特征信息，完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验，结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%，对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上，有效提升了煤矿井下环境感知能力，可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。