基于多模型级联的双目视觉铸件缺陷检测方法

为了解决铸件表面缺陷检测以及缺陷位置的三维定位问题,采用双目视觉系统获得图像,依靠三角测量法获得点云数据,基于正态分布变换配准方法实现工件的三维定位。通过多模型级联解决少样本和样本比例失衡情况下的表面缺陷检测,结合无监督模型的编码解码方式,依靠正样本训练获得对缺陷图像进行修复的网络模型,将修复后的图像与原始图像进行差异分析获得缺陷位置;使用MASK-RCNN模型进行监督模型训练,获得一体化检测分割模型,直接定位缺陷位置及类别。此外还将运动机构的物理坐标系、双目成像的工件坐标系以及平面图像的坐标进行换算,得到多个坐标系的转换关系,实现了平面缺陷的位置信息映射到三维工件的空间中。实验表明提出的双目视觉系统在工件成像以及检测方面具有良好的效果。     

基于机器视觉的表面缺陷检测方法研究进展

基于机器视觉的表面缺陷检测以无接触、无损伤、自动化程度高及安全可靠等突出优点被广泛应用于各种工业场景中,尤其随着深度学习技术的快速发展,视觉缺陷检测有助于提高产品及装备的智能化水平。综述分析了表面缺陷检测的常用方法、通用数据集、检测结果评价指标和现阶段面临的关键问题。首先,将缺陷检测方法分为传统基于图像处理的缺陷检测、基于传统机器学习模型的缺陷检测及基于深度学习的缺陷检测,并对各种方法进一步细分归类和对比分析,总结了每种方法的优缺点和适用场景;然后,对目前常用的缺陷检测结果评价方法做出了描述,进一步探讨了表面缺陷检测应用在实际工业产品检测过程中关键问题——小样本问题,重点剖析了小样本问题的解决方法和无监督学习在解决这类问题上的优势;最后,从提高缺陷检测方法的工业适用性角度展望了下一步研究方向。     

基于YOLOv5s的铝型材表观缺陷检测方法

目前,在铝制品的加工生产过程中,缺陷检测环节仍以人眼观测为主,这种传统方式存在检测精度差和检测效率低等缺陷,为此,提出基于YOLOv5s的铝型材表观缺陷检测方法。针对具有9种缺陷的铝型材图像,使用labelimg进行标注,构建了铝型材数据集。基于该数据集,以YOLOv5s、YOLOv5m、YOLOv5l在COCO数据集上训练好的权值作为初始权值,对该3种模型进一步迭代训练,并将最优权重进行测试。对比3种模型的实验结果,决定采用YOLOv5s作为铝型材表观缺陷检测的模型,其测试精确度P、召回率R、均值平均精度mAP分别达到了0.684、0.742、0.692。并基于该模型,采用PyQt5开发了铝型材表观缺陷检测系统,其检测速率可达98Fps左右,可以很好地满足实时性要求,从而为铝型材表观缺陷检测提供了有效的参考方案。     

基于深度学习的表面缺陷检测技术研究进展

随着计算机视觉技术的快速发展,基于深度学习的表面缺陷检测技术实现了爆发式的应用,并逐步成为了主流发展方向。基于深度学习的缺陷检测技术可以近似为计算机视觉任务中的分类、检测、分割等任务,其主要目的是找出物体表面缺陷的类别和所在位置,相较于传统图像处理方法,深度学习在特征提取能力和环境适应能力上优势明显。以缺陷数据标签类型为依据,对近年来基于深度学习的表面缺陷检测技术进行梳理划分,总结目前技术的优点与不足,重点阐述了监督学习下的三种缺陷检测方法。探讨了表面缺陷检测技术面临的小样本以及不平衡样本等关键问题：对于小样本问题目前有结构优化、数据增广、迁移学习等解决方法;针对不平衡样本问题,介绍了近年来热点的无监督、弱监督与半监督学习模型。随后介绍了常用的工业表面缺陷数据集并展现了近年来提出的算法在NEU数据集上的应用效果。最后对进一步的研究工作提出展望,希望能给缺陷检测研究提供有意义的参考。     

基于深度学习的高精度外观缺陷检测研究

外观缺陷检测因其多样性和不可预测,给机器视觉检测带来极大挑战,本文的研究主要通过引入深度学习模块,解决了外观缺陷检测中的模糊识别和误判率高问题。     

纹理表面缺陷机器视觉检测方法综述

纹理表面缺陷检测在机器视觉领域具有意义和挑战性,其历史可以追溯到20世纪中后期,近年来随着深度学习技术的蓬勃发展,纹理表面缺陷检测技术大幅飞跃。直至今日,关于纹理表面缺陷检测的调研和综述仍然很少。在此背景下,本文回顾2017年-2021年间200余篇纹理表面缺陷机器视觉检测论文,对纹理表面缺陷机器视觉检测研究进展进行了及时、全面的调查;分析了纹理表面缺陷检测的发展历史和最新研究进展,原则上将纹理表面缺陷机器视觉检测方法分为传统方法与深度学习方法,并对二者进行了深层次研究分析,特别是深度学习方法;对近期出现的几种纹理表面缺陷机器视觉检测方法主题进行总结的同时,也对这些主题的研究进展进行了综述。最后,对未来的研究趋势进行了展望,以期为后续研究提供指导和启示。     

基于机器视觉的太阳能电池片缺陷检测算法综述

太阳能电池片（Photovoltaic, PV）表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。     

基于机器视觉的表面缺陷检测方法研究进展

在半导体、PCB、汽车装配、液晶屏、3C、光伏电池、纺织等行业中,产品外观与产品性能有着千丝万缕的联系。表面缺陷检测是阻止残次品流入市场的重要手段。利用机器视觉的技术进行检测效率高、成本低,是未来发展的主要方向。本文综述了近十年来基于机器视觉的表面缺陷检测方法的研究进展。首先给出了缺陷的定义、分类以及缺陷检测的一般步骤;然后重点阐述了使用传统图像处理方式、机器学习、深度学习进行缺陷检测的原理,并比较和分析了优缺点,其中传统图像处理方式分为分割与特征提取两个部分,机器学习包含无监督学习和有监督学习两大类,深度学习主要囊括了检测、分割及分类的大部分主流网络;随后介绍了30种工业缺陷数据集以及性能评价指标;最后指出缺陷检测方法目前存在的问题,对进一步的工作进行了展望。     

基于卷积神经网络的玻璃瓶口缺陷检测

摘键要：在玻璃瓶的生产中,玻璃瓶制品的质量检测显得尤为重要。随着计算机硬件的更新进步和不同视觉检测算法提出,在工业中机器视觉产品检测逐渐代替人工检测。针对玻璃瓶口的缺陷检测,对玻璃瓶口进行图像采集及预处理,采用预处理的缺陷图作为数据集,利用嵌套残差神经网络的图像识别模型对玻璃瓶口进行缺陷检测并分类。实验结果表明,该方法能够有效提高玻璃瓶口缺陷分类的正确率,验证了该方法的有效性。     

基于深度学习的包装缺陷快速检测方法

包装缺陷在线检测对提升产品质量具有重要意义.针对工业生产中人工目检效率低、漏检率高,以及基于显式特征提取的缺陷检测方法通用性差、特征提取复杂、缺陷区域占比小等问题,本文提出了基于迁移学习的改进MobilenetV2轻量化网络的包装缺陷快速检测方法,并利用某工厂糖果产线包装质检环节存在的4种表面缺陷对其进行测试.结果 表明,该方法具有检测速度快、缺陷正确检测率高等优点,单个产品处理时间为0.053 s,验证集上缺陷识别率为98.333％,在线测试缺陷品召回率为96.596％,在检测精度较高的同时能满足高速产线的实时性需求,最高支持2 m/s的传送带运行速度.     

基于正弦结构光激励的透明材质缺陷检测方法

透明材质广泛用于航空航天及光学设备等领域,但由于其镜面特性及透射、多重反射等光学性质,针对其微小缺陷的高效自动检测方法是领域难点,主要表现为缺陷成像对比度极低。为得到高缺陷对比度图像,现有方法需要采用复杂的系统结构或是反复的角度调试。本文基于缺陷形态对结构光的调制作用,提出结构简单的高缺陷对比度图像成像方法,且该方法对相机角度不敏感。在不同厚度缺陷试件中的实验结果表明,相较于当前的暗场照明方法,本文方法采集的图像对于冲击损伤、划痕、擦伤缺陷对比度有平均27.58%,最高37.41%的提升。本文方法从成像角度提高缺陷对比度,包含了更丰富的缺陷特征信息。在使用多种深度学习检测算法进行对比实验时,当前最佳的暗场照明方法的平均精度均值(mAP)最大仅为34%,而本文方法均接近80%,有显著的提升。     

基于深度学习模型融合的铸件缺陷自动检测

针对目前铸件缺陷检测漏检率高的问题,提出一种基于深度学习模型融合的铸件缺陷检测方法.首先对Faster RCNN网络进行改进,利用特征金字塔结构改进特征提取网络模块,实现多尺度的特征融合,完成铸件缺陷的特征提取;然后,基于ROI Align对网络中的ROI池化层进行改进,将IOU分数引入NMS算法判定过程;再将改进后的...     

特征点辅助的时空上下文目标跟踪与定位

针对动态目标跟踪中快速运动和目标遮挡而跟踪失败问题,提出了一种特征点辅助的时空上下文跟踪算法。首先提取目标特征点,通过特征点匹配和光流跟踪方法进行目标追踪,获得目标预估位置;其次,建立特征点变化率和时空上下文模型更新率关系模型,实时调控更新率,防止引入错误信息;最后,在预估位置区域内,构建局部上下文外观模型,计算与时空上下文模型的相关性获取置信图,进一步精确定位目标。算法在一组测试视频集中进行验证,相比目前4种主流算法(平均跟踪成功率最高为60%,平均跟踪误差最小为26.14 pixel),本算法综合性能达到最优,平均跟踪成功率为90%,平均跟踪误差为7.47 pixel,平均跟踪速率25.31 f/s。在双目视觉移动机器人平台上对随机运动目标进行跟踪实验,在背景干扰、遮挡、目标旋转和快速运动等组合情况下,跟踪成功率97.4%,跟踪距离平均相对误差为4.05%。     

基于Stereo RCNN的锚引导3D目标检测算法

针对当前基于锚的双目3D目标检测算法存在的锚点数量选取较多,从而影响在线计算速度的问题,提出了一种基于Stereo RCNN的锚引导3D目标检测算法FGAS RCNN.在第1阶段中,输入左右图像分别生成相应的概率图以生成稀疏锚点及稀疏锚框,再通过将左右锚作为一个整体生成2D预选框.第2阶段的关键点生成网络利用稀疏锚点信...     

基于视觉的汽车装配件缺陷检测研究进展

汽车装配件的缺陷检测是汽车制造流程中的重要环节,不仅可以提升产品质量,降低退货率,避免成本浪费,还可以为驾驶人员提供安全保障。 最早的缺陷检测依靠专家经验,准确度低,人力成本大,而无损检测技术依靠介质,且效率不高。 引入机器视觉不仅可以平衡检测精度和效率的问题,还能提高检测系统的鲁棒性,是最有发展潜力的缺陷检测技术之一。 本文首先给出了视觉缺陷检测的定义和主要流程,简述了视觉缺陷检测系统中的图像采集硬件,然后从常用的缺陷分割方法、特征提取方法、卷积神经网络 3 个方面综述了近年来汽车装配件缺陷检测的研究进展,并对比分析了相关方法的优缺点。 接着把汽车的装配件大致分为轮毂轮胎、车身漆面、零件、发动机等 4 类,总结了缺陷类型及其缺陷检测算法的研究现状。 随后介绍了与汽车工业相关的 10 个数据集和缺陷检测性能评价指标。 最后指出针对汽车装配件的缺陷检测目前面临着诸多方面的技术挑战,并对进一步的工作进行了展望。     

基于注意力机制的曲轴瓦盖上料机器人视觉定位和检测方法

为了解决曲轴瓦盖人工上料效率低下、易出错的难题,研究了基于注意力机制的曲轴瓦盖上料机器人视觉定位和检测方法,实现自动上料.针对图像特征不明显,在Faster R-CNN的特征提取网络引入注意力机制,将曲轴瓦盖图像不同位置的权重映射到特征通道,使深度学习模型能够更多地关注曲轴瓦盖的边缘和中心语义信息.为进一步提高定位精度...     

基于双目立体视觉技术的子母弹抛撒面积测量方法研究

子母弹已成为枪、火箭弹和导弹增强火力的一种军需品,且已几乎广泛装备于所有国家.子母弹的杀伤效果已引起越来越多的关注.子母弹的散射面积是评估其杀伤效果的主要标准.论文提出了一种基于双目立体视觉测量理论的子母弹抛撒面积的测试方法,研究了双目立体摄像机的标定原理.依赖于相邻像素梯度场的匹配算法是通过采集双目相机左和右图像的一对数据点来得到匹配点的空间信息,从而计算出子母弹飞行路径的3D空间位置.论文采用与静爆子母弹抛撒轨迹相似的雨伞进行室内拍摄实验,得到了雨伞对地面的投影面积.仿真实验结果验证了所提出方法的可行性.     

基于机器视觉的 PCB 缺陷检测算法研究现状及展望

印刷电路板(PCB)是电子零件的基板,需求量极大,承载着电路元件和导线的布局,其优良与否对电子产品的质量有着 重要影响。 由于电子产品的制作逐渐趋于轻薄、精小,基于机器视觉的 PCB 缺陷检测已成为一个具有挑战性的问题。 为了加 深研究人员对 PCB 缺陷检测的理解,本文从传统图像处理方式、传统机器学习及深度学习 3 大维度全面回顾了近 10 年基于机 器视觉的 PCB 缺陷检测算法,并分析其优缺点;介绍了 9 个 PCB 数据集,给出了评价 PCB 缺陷检测算法的性能指标,且在 PCB 数据集及流行的小目标数据集上分别对典型的算法进行了对比分析;最后指出了 PCB 缺陷检测算法目前存在的问题,展望了 未来可能的研究趋势。     

基于图像校正与灰度相关性的立体匹配算法研究

立体匹配是双目视觉系统中必不可少的环节,对特征点进行匹配求解过程复杂,而且误匹配率较高。外极线约束为立体匹配提供了便利条件,但由于实际系统中的外极线是弯曲的,使得沿外极线进行同名点搜索不仅非常耗时,而且计算过程受噪声影响大。给出一种基于图像校正与灰度相关性的立体匹配算法。首先采用图像校正方法将弯曲的外极线变为相互平行的水平外极线,简化了外极线的求取过程;再利用灰度相关性算法对同名点进行匹配。实验结果验证了本文方法的准确性和稳定性。