机器视觉感知理论与技术在煤炭工业领域应用进展综述

机器视觉技术对改善煤矿安全监测手段、提高装备自动化水平具有积极意义。详细阐述了当前煤矿智能化建设过程中基于机器视觉的不同场景和系统下的设备信息状态感知原理,综述了机器视觉感知技术在煤矿安全监测、拣选识别、煤岩识别、定位导航、运输检测、位姿检测和信息测量等方面的实践应用;分析指出未来煤矿机器视觉感知技术应深入挖掘采掘工作面机器视觉场景理解需求,构建生产全视场监视检测体系,提升多时空多维度多变量集成监测效果,改善视频自主监视告警能力,增强视觉引导能力,并形成地面生产管理运行系统的视觉资料统一化管理方式等,重点研究综采装备（群）姿态同时空测量、采掘环境动态变化感知、生产全视场监测与自主告警、煤矿机器人视觉引导控制等技术;指出煤矿机器视觉感知技术在防爆或本安型智能视觉传感器研发、高效视觉测量与分析、检测识别测量精度提升、图像高质量标注方面仍存在挑战,通过开发具有边缘计算能力的视觉传感器,构建井上下视觉分布式测量方案,实现各类复杂环境下开采信息准确识别与测量,可有效提高机器视觉感知技术在煤炭行业的更深层次融合和应用。     

基于立体视觉的串联机器人跟踪检测系统

建立一种六自由度串联机器人视觉跟踪检测系统框架,包括图像采集、摄像机标定、机器臂跟踪检测、机器臂位姿建模与计算等。提出利用CamShift算法对机器人进行在线粗跟踪,搜寻和画定出机器臂操作器在当前窗口的区域位置。对跟踪到的机器臂按照SURF算法进行特征提取与立体匹配。该方法被用于对串联机器人位姿检测进行实验。实验结果表明,2种算法的结合适用于六自由度串联机器人在空间复杂运动的跟踪检测。     

基于LoRa的变电站巡检监控系统的设计

针对变电站巡检技术的发展需求,设计了一种基于巡检机器人的巡检监控系统,该系统结合LoRa物联网技术和计算机嵌入式技术,与电网设施环境结合,能够进行无线视频监测,对机器人位姿、环境温度、前向障碍进行实时采集,将采集图像和数据发送至终端,并能够通过终端操作,对机器人进行运动控制,使其巡检变电站的各个监测环节。测试结果表明,该系统能够实现机器人的远程监测和运动控制,能够有效减少变电站人员工作量,改良变电站巡检方式。     

基于Sagnac环的分布式光纤围栏智能预警安防系统

为了解决电力行业中存在变电站安防检测系统技术落后,不能实现集中管控、误警率高,无法满足全天候防护等问题,本文采用了基于萨格纳克效应传感技术的围栏智能预警新方法,结合现代周界及电力行业对围栏技术的总体要求,构建了基于围栏智能预警安防系统的基本结构模型,按照物理层、采集层、算法层和应用层进行层次分级,对每层涉及的关键技术进...     

LW—1型机器人重复位姿精度检测系统

本文介绍了一种非接触式（ＬＷ－１型）机器人重复位姿精度检测系统。该系统采用电涡流传感器作为位置信息传感器，以这种传感器的检测性能为基础，研究设计了相应的传感器测量结构、数学模型和坐标变换求解方法，使系统技术指标及使用性能达到了检测机器人重复位姿精度的实用要求。该系统具有鲁棒性强、设计合理、结构简单、造价低廉等特点，可以满足我国现阶段在机器人学研究和开发应用方面的需求。     

基于工业机器人的汽车轮毂表面缺陷的视觉检测系统设计

摘要：由于汽车轮毂结构复杂,为解决当前轮毂检测效率低,检测速度慢,工作量大等问题,该文给出了一种基于工业机器人的视觉检测方法。通过把视觉系统安装在机器人的末端执行器上,利用机器人的精确运动来改变视觉系统的姿态,以实现对汽车轮毂各表面的检测,进而可实现对多规格轮毂进行动态检测,并针对多次重复测量时定位累计误差导致成像质量退化的问题,通过对轮毂图像的预处理找到了轮毂的气阀作为检测的初始位置,对机器人调节相应的位姿进行校正。该文以HONDA 1.6X17摩托车轮毂作为研究对象,实验表明,该系统在准确检测的同时,提高了检测效率。     

基于机器视觉技术的变电站巡检机器人自动导航系统

该文设计基于机器视觉技术的变电站巡检机器人自动导航系统,有效规划巡检机器人巡检路径,实现巡检机器人自动导航。该系统利用以PIC16F73为单片机的核心控制器,通过机器视觉采集模块采集变电站巡检设备和路线图像,经过图像处理模块分割、去噪处理后,由无线传输模块传输至巡检导航模块,结合栅格法和蚁群算法得出变电站巡检机器人路线规划最优路线;利用PID控制器控制巡检机器人按照规划路线行驶,实现变电站巡检机器人自动导航。实验结果表明,该系统无线通信性能好、覆盖范围广,可准确采集变电站巡检设备和路线图像并精准实现巡检机器人定位,能够有效规划巡检路线,实现巡检机器人自动导航。     

基于二维码视觉与激光雷达融合的高精度定位算法

为解决以蒙特卡罗定位算法为代表的激光室内定位算法存在的定位精度差和抗机器人绑架性能差的问题,以及传统二维码定位算法环境布置复杂且对机器人运行轨迹有严格要求的问题,提出了一种融合二维码视觉和激光雷达数据的移动机器人定位算法。机器人首先利用机器视觉技术搜索检测环境中的二维码,然后将检测出二维码的位姿分别转换至地图坐标系下,并融合生成先验位姿信息。而后以此作为初始位姿进行点云对准以得到优化后的位姿。同时引入里程计-视觉监督机制,从而有效解决了包括二维码信息缺失、二维码识别错误等由环境因素带来的问题,并保证了位姿的平滑性。基于移动机器人的实验结果表明,所提算法比经典的自适应蒙特卡罗定位（AMCL）算法的雷达采样点平均误差下降了92%,单次位姿计算时间减少了88%,可有效解决机器人绑架问题,并应用于以仓储机器人为代表的室内移动机器人。     

基于ZigBee架构的疗养院智能安防系统设计

目前对于疗养院居住安全要求越来越高,提出了对疗养院的安防设备进行智能控制的要求,为了实现这种需求,提出了基于ZigBee的疗养院安全系统的设计方案,同时并实现了系统的硬件和软件的流程,智能实现了对疗养院安防的监控。基于ZigBee的疗养院安全系统采用STC89C52单片机作为主控设备,在基于ZigBee网络技术的基础上连通了多个检测传感器设备,传感器设备将检测到的数据通过无线局域网传输给主控设备进行处理,系统中对火灾检测的温度阈值设置为40℃,有害气体的检测参数设置为300ppm,非法入侵检测的最远距离为6m。实验结果证明,通过使用基于ZigBee的疗养院安全系统,可以有效地对火灾、有害气体等灾害的有效报警,同时针对非法入侵行为进行警示,达到了实现疗养院智能安防的目的。     

基于机器视觉的机器人自动上料系统设计

本文提出一种基于机器视觉的机器人自动上料系统的设计方案。系统利用相机对工件形状、大小和位姿信息进行采集,上位机的图像软件进行处理并与设定好的标准模板进行特征匹配,最后通过PLC控制的工业机器人利用获得的位姿信息进行快速抓取,触摸屏能够作为操作平台和监控设备来保障系统稳定运行。实验结果显示,自动上料系统能够精确抓取物体,减少了上料时间,提高了生产效率。     

基于HoloLens的变电站运维仿真培训系统

HoloLens增强现实(Augmented Reality, AR)眼镜为现实世界叠加了逼真的3D全息影像,因此其常被采用为平台来开发基于增强现实技术的变电设备运维仿真培训系统。以HoloLens的主相机作为变电站图像采集设备,采用ASIFT设备局部特征识别方法、人工编码标识识别方法和基于光学字符识别技术（OCR）的设备标牌识别方法相结合,实现变电站不同大小和不同形状设备的可靠识别;通过视觉方法寻找人工标识特征点或设备特征点对目标设备进行精确定位和初始化注册,并利用HoloLens的空间锚点（Anchor）技术,实现目标设备的快速跟踪和注册;构建基于增强现实的变电设备运维学习、训练和考核环境,并进行示范验证。本文通过拓展现有实训系统的功能,提升了现有实训系统的实用性、交互性与体验感,提高了培训的效果和效率。     

基于改进YOLOv4的智能变电站二次设备稳态AR红外测温技术

研究了基于改进YOLOv4的智能变电站二次设备稳态AR红外测温技术,实现智能变电站二次设备稳态识别。在分析红外测温原理的基础上,利用AR红外测温眼镜采集智能变电站二次设备温度的红外图像,通过改进加权引导滤波增强算法对采集智能变电站二次设备温度的红外图像实施图像增强处理,将处理后的红外图像输入改进YOLOv4网络中,实现智能变电站二次设备稳态识别。实验表明：该方法可准确采集智能变电站二次设备8个保护屏柜的内部温度,且接近设备实际运行温度;同时有效降低智能变电站二次设备的红外图像的噪声,对智能变电站二次设备稳态识别的应用效果较好,能准确识别出智能变电站的二次设备异常状态,助力智能变电站运维管理员针对设备异常状态做出对应维修方案。     

Research on Application of Location Technology in 3D Virtual Environment Modeling System for Substation Switch Indicator

Substation inspection work plays a very important role in ensuring the normal production and the safe operation of a transformer substation. Use of a substation inspection robot can effectively solve the omission problems of a manual inspection. It can further improve the unmanned and automation of substation and improve security of station. A substation inspection system requires the establishment of a spatial position relation between the robot and the inspection object in the monitoring station. Key technology is the spatial location of the object being detected in the substation. The position of inspection object is unknown. This paper gives technical route of monocular vision positioning system based on switch indicator sign cooperative target. The knife switch indicator is one of the most important objects in the substation inspection. Usually the switch indicator lies in the middle or top of the substation equipment and conventional method can’t measure. This paper presents a substation label measurement method based on monocular vision. In this method, the label frame of knife switch indicator is as a cooperative target. The 3D coordinates and attitude of the label frame can be calculated in a camera coordinates system. At the same time, this paper introduces an extraction process of knife brake indicator label with multi-features under complex background. At last, we do simulation experiment for positioning technology of 3D virtual environment modeling system for substation switch indicator. Simulation results show that the method introduced in this paper can realize positioning of substation switch indicator label.     

基于VR技术的X射线图像安检危险品自动识别

针对当前X射线图像安检危险品识别方法未采集模糊静态图像目标,导致安检危险品图像呈现效果较差、危险品识别率较低、识别时间较长的问题,提出了基于VR技术的X射线图像安检危险品自动识别方法。通过X射线获取安检危险品成像,采用VR技术采集模糊静态图像目标,利用光学成像原理分层处理模糊静态图像目标,获取模糊静态图像目标亮度层和细...     

基于IED与SCD的智能变电站二次设备仿真系统可视化设计

本文基于IED与SCD进行了智能变电站二次设备仿真系统可视化设计.通过智能变电站仿真系统,帮助培训对象充分认知了解变电站技术框架、设施设备、运行机制等,以构建完善的变电站系统框架.基于IED仿真与SCD文件进行了二次设备仿真系统可视化设计,可更加真实地模拟智能变电站二次设备,且通过多媒体视角实现设备可视化设计,还可为变...     

变电站三维可视化管控系统的设计与实现

为对变电站运检人员和设备进行有效管控,为管理者提供辅助决策,开发了一套变电站三维可视化管控系统。系统底层人员定位模块采用基于UWB技术的DWM1000定位模块,系统上层基于UE4游戏引擎开发了一套三维可视化管控平台。平台具有人员位置、设备运行状态信息三维实时显示、视频联动、虚拟电子围栏等功能。系统在国内某110kV变电站进行了实地部署,进行了人员定位等功能测试,结果表明系统画面运行流畅,信息直观,实时性强,可对人员和设备进行有效管控。     

结合机器视觉的采摘机械手的定位仿真研究

对水果采摘机械手空间定位机理进行了研究,分析了双目立体视觉系统的定位误差并建立视觉误差补偿机制,利用虚拟机械手开发软件和CCD视觉硬件构建了仿真系统,通过双目立体视觉获取空间位置数据映射到虚拟环境下引导机械手进行模拟采摘。该系统利用多领域知识融合实现了采摘机构与视觉关联精确定位的仿真,能有效地指导实际作业环境中采摘机械手精确定位的优化设计。     

The Ignorant Led by the Blind: A Hybrid Human–Machine Vision System for Fine-Grained Categorization

We present a visual recognition system for fine-grained visual categorization. The system is composed of a human and a machine working together and combines the complementary strengths of computer vision algorithms and (non-expert) human users. The human users provide two heterogeneous forms of information object part clicks and answers to multiple choice questions. The machine intelligently selects the most informative question to pose to the user in order to identify the object class as quickly as possible. By leveraging computer vision and analyzing the user responses, the overall amount of human effort required, measured in seconds, is minimized. Our formalism shows how to incorporate many different types of computer vision algorithms into a human-in-the-loop framework, including standard multiclass methods, part-based methods, and localized multiclass and attribute methods. We explore our ideas by building a field guide for bird identification. The experimental results demonstrate the strength of combining ignorant humans with poor-sighted machines the hybrid system achieves quick and accurate bird identification on a dataset containing 200 bird species.     

雨天变电站设备智能视觉检测算法与实时实现技术

视频的变电站户外设备监控是保障电力系统安全运维的重要手段,但传统的目视监控效率低、人力成本高,因此无人化智能视觉检测得到广泛关注。变电站户外监控设备在采集图像时,不可避免会遭受雨天等恶劣天气影响,导致设备检测性能严重下降。针对雨天场景下的变电站设备检测给出了软硬件系统解决方案,主要围绕雨天变电站设备视觉检测算法和嵌入式AI实时部署展开研究。首先,提出一种基于细节增强的图像去雨网络（DERN）,利用雨条的高频特性作为注意力权重指导去雨,进一步将其与YOLOv4目标检测算法进行联合优化,从而实现对雨天稳健的变电站设备检测算法;基于昇腾310 AI处理器构建嵌入式边缘端智能计算系统,从算子优化、多线程并行等方面提升计算性能。实验表明,在雨天场景下变电站设施设备目标检测精度从实施前的53.4%提高到82.1%,1080P视频运行速率达到30 f/s,验证了所提算法和系统的有效性,有效提升了变电站设备全天候视觉智能监控能力。     

基于HoloLens的变电站巡检系统

In order to realize the intelligent inspection of substation, the design method of inspection system of substation based on HoloLens is proposed, the overall design framework of inspection system of substation is analyzed, the function modules of the system are constructed. The wearable AR / MR equipment is used to conduct the human-computer interaction and remote information collection in the inspection process of substation, so as to obtain the engineering file configuration of inspection system of substation. Vision sensing and bioelectric signal measurement sensing technology is used to sample and analyze the inspection image information of substation, and realize the design of visual information acquisition module. The near-field wireless communication is used to design the inspection network of substation, and the multimedia virtual reality enhancement technology is applied to 3D display the inspection output of substation, and the virtual scene generator, helmet display, the aligner of virtual scene and real scene are designed. In the process of substation inspection, users can observe and track the line of sight, and optimize the design of substation inspection system based on wearable HoloLens intelligent products. The test results show that the designed substation inspection system can accurately obtain information, the safety factor of substation inspection is high, it has good human-computer interaction and good practical application value.