煤矿带式输送机分拣机器人异物识别与定位系统设计

机器视觉已在煤矿带式输送机分拣机器人目标检测与识别方面具有一定的理论基础,但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别,对造成输送带穿透、撕裂等的异物目标识别的研究较少,且在目标异物精确定位方面的研究也较少。针对上述问题,设计了一种基于机器视觉的煤矿带式输送机分拣机器人异物识别与定位系统,可对输送带上存在的不同类型和不同形状的异物进行识别与定位。采用双目视觉实时获取输送带上异物图像信息,并对图像进行预处理,基于Canny算子进行图像信息增强,通过灰度拉伸方法改进图像边缘信息,突出煤矿带式输送机上异物的边缘特征;利用形态学方法提取异物形状特征,建立异物图像特征样本库,通过图像特征匹配的方式解算出异物存在区域,实现异物类型的检测、分类与识别;在异物类型成功识别的基础上,以目标异物边缘特征值为基础,建立目标异物的感兴趣区域(ROI),构建相机、输送带与目标异物坐标转换关系,利用多目标质心快速计算方法求取目标异物质心坐标,实现对目标异物的定位。系统样机实验结果表明：煤矿带式输送机分拣机器人异物识别与定位系统异物识别率不受尺寸、材质和颜色等因素影响,能够实现输送带目标异物图像的采集、...     

基于双目视觉系统的列车轨道异物距离检测

在线检测列车与轨道异物问的距离并为驾驶员提供减速信息对于行车安全具有重要意义。本文提出了一种基于双目视觉系统的列车轨道异物距离检测方法。通过对在机车上架设的摄像机获得的双目图像中待测目标对应点的准确匹配,应用双目视觉系统原理,根据左右视觉图像的视差实现机车与异物间距离的计算。     

基于视觉传感器的输液中异物检测系统设计

为实现输液中异物的在线自动检测,设计了一种基于高性能视觉传感器的液体中微小异物检测系统.针对输液中微小异物的特点,设计了可编程控制的图像采集系统,以获取高质量的原始视觉图像.对采集到的图像通过预处理、特征提取、异物目标识别分类等算法实现了对异物目标的在线检测.实验表明:该系统对输液中粒径大于50 μm异物的识别准确率和识别速度均高于熟练灯检工.     

胶带输送机智能视频监测与预警方法

针对胶带输送机运动中的跑偏、扭曲等异常问题,提出一种基于视觉计算的胶带输送机智能监测与预警方法。首先利用高斯滤波建立场景模型,并应用背景减除法提取目标图像。然后使用Shi-Tomasi算法检测目标图像中的角点,并利用金字塔LK光流法跟踪检测到的角点。最后根据摄像机成像原理将角点坐标从图像坐标系转换至世界坐标系下,计算出角点的运动速度。根据胶带运输机上角点的速度判断输送机是否正常运行,并在必要时发出预警信息。实验结果表明该方法能够较为准确、实时地计算出输送机上胶带的运行速度。     

矿用带式输送机智能监测系统研究

针对矿用带式输送机运行过程中存在的托辊、滚筒等关键部件与输送带摩擦发热,钢丝绳芯输送带内部损伤与撕裂,运行功耗大等问题,设计了一种矿用带式输送机智能监测系统。该系统包括基于弱磁检测法的钢丝绳芯输送带损伤监测系统、基于红外热成像温度检测法的带式输送机关键部件故障诊断与预警系统和基于视觉检测法的煤流监测、异物监测、胶带撕裂监测及人员安全监测系统,详细介绍了各系统的实现原理。对钢丝绳芯输送带内部损伤识别及带式输送机关键部件故障诊断预警进行了实验验证,结果表明该系统对钢丝绳芯输送带损伤识别的准确率约为98%,且可准确识别带式输送机关键部件故障并发出预警。     

带式输送机煤流量自适应检测方法

针对现有带式输送机煤流量检测方法存在检测精度易受环境影响、实现过程复杂、信息提取耗时较长等问题,提出了一种基于机器视觉的带式输送机煤流量自适应检测方法。首先,采用基于小波变换的融合算法对带式输送机运输煤料原始图像进行增强处理,并采用OTSU算法将增强图像分割为胶带图像和煤料图像;然后,对煤料图像进行空洞填充、轮廓检测和面积计算等处理,获取煤料图像面积信息;最后,采用基于数学建模的煤流量检测算法,通过计算煤料瞬时体积获得煤流量检测值。试验结果表明,该方法平均检测时间约为30ms,检测结果与电子胶带秤测量结果的误差约为5%,满足带式输送机自动调速控制系统对煤流量检测实时性和准确性的要求。     

基于TOF深度图像修复的输送带煤流检测方法

传统的带式输送机煤流检测装置中,核子胶带秤存在一定安全和环保隐患,电子胶带秤检测精度易受输送带张力、刚度等因素的影响;而基于超声波、线激光条纹、双目视觉等技术的非接触式检测方法存在实时性差、测量误差较大等问题。提出了一种基于飞行时间(TOF)深度图像修复的输送带煤流检测方法。通过TOF相机获取输送带运煤图像;对TOF图像进行均衡化处理,采用帧差法和边界跟随算法去除背景噪声,获得感兴趣的煤料区域;针对TOF深度图像因边缘处存在飞行像素噪声与多径误差噪声而导致的边缘信息不准确问题,提出强度图像引导的深度图像修复算法,通过Canny边缘检测算法寻找深度图像和强度图像的相似边缘,基于强度图像的有效边缘信息对深度图像边缘处的不可靠数据进行校正,并进一步基于Navier-Stokes方程和中值滤波器得到高精度深度图像;对煤料区域进行像素级分割,并建立煤料体积计算模型,结合输送带速度得出输送带煤流。实验结果表明,该方法的检测误差不超过3.78%,标准差不超过0.491,平均处理时间为83 ms,满足实际生产要求。     

基于双目被动立体视觉的三维人脸重构与识别

提出一种基于双目被动视觉的三维人脸识别方法, 该方法采用非接触式的人脸信息采集技术, 利用图像中弱特征检测方法实现双目视觉中的人脸检测与初步视差估计, 运用基于复小波的相位相关技术对人脸表面进行亚像素级小区域匹配, 重建人脸三维点云信息. 通过可调训练次数的神经网络技术实现多层次人脸曲面重建, 并结合人脸2D图像对重构曲面进行仿射归一, 继而迭代地进行特征提取与识别过程. 实验结果表明, 双目视觉方法使人脸信息采集过程友好隐蔽; 在对应点匹配中, 运用复小波的相位相关算法可获得密集的亚像素精度配准点对, 用神经网络方法可正确重建人脸曲面. 识别过程对环境以及人脸位姿表情等鲁棒性强. 该系统成本十分低廉, 适合在许多领域推广应用.     

基于双目视觉的矿井外因火灾感知与定位方法

针对目前矿井外因火灾监测方法大都没有火源定位功能的问题,提出了基于双目视觉的矿井外因火灾感知与定位方法。在有电缆、胶带和机电设备的巷道、硐室及采掘工作面多点设置矿用可见光双目摄像机或近红外双目摄像机,采集监控区域图像;对采集到的图像进行预处理,通过阈值分割得到二值化图像;计算图像中的圆形度、矩形度和尖角数量,根据圆形度、矩形度和尖角数量对图像进行火焰识别,若图像检测区域有火焰,发出火灾报警信号,并融合温度、烟雾、二氧化碳、一氧化碳、氧气和红外传感器信息,提高报警准确性;通过矿用可见光双目摄像机或近红外双目摄像机对火源进行测距,结合摄像机位置对火源进行定位,并输出火源位置信息,控制火源附近灭火装置灭火。也可采用远红外双目摄像机进行火灾感知和火源定位,但成本高。基于双目视觉的矿井外因火灾感知与定位方法既可感知火灾又可定位火源,具有监控范围广、成本低、响应快、可视化等优点,解决了矿井外因火灾火源定位的难题。     

基于双目结构光视觉的煤流量测量研究

在常规的双目视觉系统中,常用的加速稳健特征和尺度不变特征转换匹配算法对图像质量要求高,针对煤炭这种颜色纹理比较单一的场景应用时容易失效,且需要消耗大量的计算资源,难以保证实时性;激光雷达在进行煤流量测量时,有效视场范围较小,对应的测量点数较少,扫描频率也较低,在带式输送机运行速度较快时,精度会大幅降低。针对上述问题,提出一种基于双目结构光视觉的煤流量测量方法,将线结构光引入双目视觉系统,利用线结构光的约束,将图像特征点匹配简化成左右2幅图像行之间的匹配。在保证双目系统相机光轴平行度的基础上,采用对应行匹配计算三维坐标点,提高采样频率和分辨率,进而提高煤流量测量精度,降低测量系统对光照和环境的依赖。点云获取：利用线结构光凸显煤料截面曲线,提取煤料截面中心线的图像坐标,利用双目相机获取左右煤料截面线结构光图像,建立双目结构光三维重建模型,左右图像中心线坐标构成匹配点对参与计算煤料截面三维坐标,实现点云的实时获取。煤流量计算：利用空载胶带截面点云和负载胶带截面点云,结合获取煤料点云,利用微元法对煤料三维点云进行采样,分别利用均匀网格化法和三角网格化法求取单位时间内的煤料体积,实现带式输送机煤...     

基于视觉仿生机理的成像目标检测和识别方法及感知计算

目标检测和识别是图像分析和理解的核心问题,构建了一种仿人眼视觉特性的视觉检测和目标识别体系结构及感知计算模式。借鉴人眼视觉信息获取与处理的变空间分辨率机理和稀疏性,构建大场景(LF)子系统和小场景(SF)子系统分别获取多分辨率、多尺度和不同精细粒度的初级视觉特征信息。提出了一种在小波域下受视觉注意力机制引导的LF子系统感知场景整体统计特性的目标检测和定位方法,由SF子系统集中对目标形成凝视并提取细粒度特征信息,对特征进行整合,形成兴趣图,然后采用非均匀采样、多尺度分析和胜者为王(Winner-take-all机制)产生目标间的竞争实现分类识别。仿真实验结果表明,统计分析方法降低了信息冗余,快速准确地检测出感兴趣目标区域,而基于注意机制的目标识别在多类目标分类中达到94.40%的总准确率。     

基于似物性的快速视觉目标识别算法

针对视觉目标识别算法实时性较差的问题,基于似物性提出一种面向视觉目标识别的可变部件模型改进算法。该算法首先对图像进行二进制归一化的似物性检测,并利用检测结果形成视觉目标候选框;然后使用目标识别算法对候选区域进行似然判决,比滑动窗口法缩短了搜索时间;最后通过一个快速扩大-缩小算法对检测目标进行尺度修正,提高目标框的准确度。在PASCAL 图像库上的识别结果表明:该识别方法在准确率上优于当前主流的检测模型,计算耗时较级联DPM算法减少约50%。     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.     

基于改进Mask R-CNN的刮板输送机铁质异物多目标检测

刮板输送机是煤矿井下的关键运输设备,铁质异物进入刮板输送机会引发磨损、断链等,甚至会造成停产、伤人等严重事故。现有刮板输送机异物识别方法存在对井下图像的适应性较差、无法区分异物类别与数量等问题。针对上述问题,提出了一种基于改进掩码区域卷积神经网络（Mask R-CNN）的刮板输送机铁质异物多目标检测方法。采用基于Laplace算子的图像增强算法对井下低照度、高粉尘环境下采集的图像进行预处理,对增强后的图像进行标注,制作数据集。采用Mask R-CNN模型的ResNet-50特征提取器获取铁质异物图像特征;采用特征金字塔网络进行特征融合,保证同时拥有高层的语义特征（如类别、属性等）和低层的轮廓特征（如颜色、轮廓、纹理等）,以提高小尺度铁质异物识别精度;针对Mask R-CNN模型生成的锚点与待检测的铁质异物尺寸不对应的问题,对Mask R-CNN模型进行改进,采用k-meansⅡ聚类算法代替原来的锚点生成方案,通过遍历数据集中标注框的长宽信息得到聚类中心点,实现刮板输送机铁质异物多目标检测。实验结果表明,改进Mask R-CNN模型对单张图像的平均检测时间为0.732 s,与Mask R...     

基于双目视觉的缺陷药片检测

传统基于机器视觉的药片缺陷检测方法中,药片图像多为单摄像机从药片的正上方进行拍摄,该方法难以对上下表面间断裂以及厚度不合格的药片进行有效的检测,该类缺陷药片在厚度上与标准药片可能存在着一定的差值。针对这种情况,本文提出一种基于双目视觉的药片厚度检测方法。该方法将双目摄像机放置于药片正上方,并采集药片图像,采用Canny算子提取图像中药片的边缘特征进行立体匹配,利用双目视觉的三角测距原理计算药片的视差,根据视差计算药片的深度信息,计算标准药片和缺陷药片的深度差,检测出存在厚度缺陷的药片。实验测量结果精度达到0.1 mm,具有较高的检测精度,满足检测的精度要求,表明该方法具有较好的适用性和可靠性。     

基于双目视觉的目标定位与测距系统硬件平台

自主目标识别与定位问题是智能化林业机器人工作的重要基础.以林业环境中树干识别及定位为目标,设计一种基于双目视觉的数字视频实时处理系统硬件平台.使用双目摄像头采集图像,并对采集信息进行三维信息计算,输出目标定位与测距结果.实验结果表明,该硬件平台可以完成图像采集及处理功能,达到预期的实验效果.     

一种基于注意力机制的视觉位置识别算法

视觉位置识别是指利用视觉信息实现对智能体位置的判断，在回环检测、视觉重定位等任务中发挥了重要作用。由于传统算法受环境变化的影响较大，识别准确率低，基于深度学习的视觉位置识别算法得到广泛研究，然而，基于深度学习的方法存在着可解释性差、计算量大、对环境变化适应性不够强、对图像信息的利用不够充分等问题。结合图像的语义信息和显著性检测设计了图像的全局描述符提取方式，并基于注意力机制和语义信息设计了的空间校验方法。实验表明，该方法在光照变化环境下的准确率和召回率等指标上都能够达到先进水平，同时也满足轻量级的要求。     

高速医药自动化生产线大输液视觉检测与识别技术

药品灌装质量检测是制药过程的一个重要环节,是药品质量的可靠保证.针对医药大输液可见异物视觉检测的需求,研制出基于多视觉的大输液自动化检测识别系统.首先研究了医药图像的高速高可靠性预处理方法,有效消除由机械振动和跟踪引起的干扰.研究了以药液微小异物为目标的改进模糊细胞神经网络图像分割方法,揭示了液体中异物目标、微粒、气泡等产生机理,综合分析目标的形态特征、边缘轮廓、运行特征等,得到各种异物的类型特征以及在序列图像中的动态变化信息.最后,使用序列图像的目标特征,基于支持向量机的AdaBoosting分类算法进行异物识别,结果证明本文提出的方法检测识别率高,对工程设备的研制具有重要意义.     

基于DSP的大输液异物实时灯检系统设计

设计了一套基于机器视觉技术的全自动灯检系统,并提出了一种弱小异物目标识别算法,以实现大输液中可见异物的在线实时自动检测.为了有效地解决在线高速实时检测这个关键性问题,将制约系统实时性的弱小目标识别过程分离出来,交由高速DSP芯片进行专门处理.通过理论分析和试验测试证明,基于TMS320C6416 DSP的图像处理平台能够很好地满足大输液异物检测系统对处理速度和精度的要求.该系统能够有效地检测输液中粒径大于50μm的异物,其识别准确率和速度均高于熟练的灯检工.     

基于YOLOv5s-SDE的带式输送机煤矸目标检测

传统的煤矸图像检测方法需要人工提取图像特征,准确率不高,实用性不强。现有基于改进YOLO的煤矸目标检测方法在速度和精度方面有所提升,但仍不能很好地满足选煤厂带式输送机实时智能煤矸分选需求。针对该问题,在YOLOv5s模型基础上进行改进,构建了YOLOv5s-SDE模型,提出了基于YOLOv5s-SDE的带式输送机煤矸目标检测方法。YOLOv5s-SDE模型通过在主干网络中添加压缩和激励（SE）模块,以增强有用特征,抑制无用特征,改善小目标煤矸检测效果;利用深度可分离卷积替换普通卷积,以减少参数量和计算量;将边界框回归损失函数CIoU替换为EIoU,提高了模型的收敛速度和检测精度。消融实验结果表明：YOLOv5sSDE模型对煤矸图像的检测准确率达87.9%,平均精度均值（mAP）达92.5%,检测速度达59.9帧/s,可有效检测煤和矸石,满足实时检测需求;与YOLOv5s模型相比,YOLOv5s-SDE模型的准确率下降2.3%,mAP提升1.3%,参数量减少22.2%,计算量下降24.1%,检测速度提升6.4%。同类改进模型对比实验结果表明,YOLOv5s-STA与YOLOv5s-Gho...