基于深度学习的表面缺陷检测技术研究进展

随着计算机视觉技术的快速发展,基于深度学习的表面缺陷检测技术实现了爆发式的应用,并逐步成为了主流发展方向。基于深度学习的缺陷检测技术可以近似为计算机视觉任务中的分类、检测、分割等任务,其主要目的是找出物体表面缺陷的类别和所在位置,相较于传统图像处理方法,深度学习在特征提取能力和环境适应能力上优势明显。以缺陷数据标签类型为依据,对近年来基于深度学习的表面缺陷检测技术进行梳理划分,总结目前技术的优点与不足,重点阐述了监督学习下的三种缺陷检测方法。探讨了表面缺陷检测技术面临的小样本以及不平衡样本等关键问题：对于小样本问题目前有结构优化、数据增广、迁移学习等解决方法;针对不平衡样本问题,介绍了近年来热点的无监督、弱监督与半监督学习模型。随后介绍了常用的工业表面缺陷数据集并展现了近年来提出的算法在NEU数据集上的应用效果。最后对进一步的研究工作提出展望,希望能给缺陷检测研究提供有意义的参考。     

基于机器视觉的太阳能电池片缺陷检测算法综述

太阳能电池片（Photovoltaic, PV）表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。     

基于视觉感知的表面缺陷检测综述

基于视觉感知的表面缺陷检测，具有高效、可防止二次损伤等优点，被广泛应用于各种工业场景中。近年来深度学习技术的快速发展进一步推动了视觉缺陷检测的进步与应用。以特征的显式提取与自动提取为思路，对基于视觉感知的缺陷检测方法进行综述和分析。首先，简要描述了视觉缺陷检测系统的基本构成，将缺陷检测中的视觉感知归为分类、目标检测和分割3个层次。然后，将现有的视觉检测方法分为基于显式特征提取的(传统方法)和基于自动特征提取的(深度学习方法)。进一步，将基于显式特征提取的方法分为统计法、谱方法和模型法3类，将基于自动特征提取的方法分为整图分类的、目标检测的和像素分割的方法。对每一类方法的特点和适用场景进行了归纳总结与分析。同时，针对工业应用中数据获取成本高的问题，介绍了近年来出现的弱监督缺陷检测方法与异常检测方法，并介绍了具有较大影响力的工业表面缺陷数据集。最后，针对如何减少对大量标注数据的依赖和如何提高检测方法在工业现场的适用性两个关键问题展开讨论，展望了该领域下一步的研究方向。     

基于深度学习的金属材料表面缺陷检测综述

表面缺陷检测是产品质量检测的关键环节，近年来随着深度学习技术的迅速发展，金属材料表面缺陷检测技术大幅提升。对近几年基于深度学习的金属材料表面缺陷检测方法进行了梳理和分析，并从监督方法、无监督方法以及弱监督方法 3个方面对比论述了近年来的研究现状及应用效果。最后系统总结了金属材料表面缺陷检测中的关键问题及解决方法。结合工业需求，对表面缺陷检测的进一步发展进行了思考与展望。     

基于机器视觉的表面缺陷检测方法研究进展

在半导体、PCB、汽车装配、液晶屏、3C、光伏电池、纺织等行业中,产品外观与产品性能有着千丝万缕的联系。表面缺陷检测是阻止残次品流入市场的重要手段。利用机器视觉的技术进行检测效率高、成本低,是未来发展的主要方向。本文综述了近十年来基于机器视觉的表面缺陷检测方法的研究进展。首先给出了缺陷的定义、分类以及缺陷检测的一般步骤;然后重点阐述了使用传统图像处理方式、机器学习、深度学习进行缺陷检测的原理,并比较和分析了优缺点,其中传统图像处理方式分为分割与特征提取两个部分,机器学习包含无监督学习和有监督学习两大类,深度学习主要囊括了检测、分割及分类的大部分主流网络;随后介绍了30种工业缺陷数据集以及性能评价指标;最后指出缺陷检测方法目前存在的问题,对进一步的工作进行了展望。     

基于视觉的输电线路金具锈蚀缺陷检测方法研究进展

输电线路金具的表面锈蚀作为常见的缺陷类型,是危害输电线路安全运行的重要隐患之一,如何快速、准确地发现锈蚀 的金具设备并进行修复是线路巡检运维工作亟待解决的问题。 本文综述了近十年来基于视觉的输电线路金具锈蚀缺陷检测方 法的研究进展。 首先简述了基于传统图像处理的金具锈蚀缺陷检测流程;然后按照基于传统图像处理、深度学习方法概述了金 具设备锈蚀缺陷检测,重点阐述了基于深度卷积神经网络的目标检测和语义分割算法在输电线路金具锈蚀缺陷检测中的应用; 随后介绍了基于深度学习的金具锈蚀缺陷检测自建数据集以及性能评价指标;最后指出了基于深度学习的输电线路金具锈蚀 缺陷检测方法目前存在的问题,并对未来研究工作进行了展望。     

基于视觉感知的表面缺陷智能检测理论及工业应用

由于在工业产品质量监控中不可比拟的优势,基于视觉感知的表面缺陷检测近年来得到了很多研究者的持续关注,且已广泛应用于不同工业领域,包括汽车工业、半导体加工、玻璃制造、钢铁冶金等。AI学习算法与视觉传感技术的飞速发展为表面缺陷检测研究带来了新的机遇与挑战。综述了基于视觉感知的表面检测研究中的主要方法与进展,重点介绍了图像处理、几何深度学习、面向目标检测的深度学习等方向的研究现状,这些研究有望为表面缺陷智能检测技术的发展带来突破。讨论了工业图像检测与识别在钢铁冶金、大气污染监测以及航空发动机缺陷检测3个领域的应用。最后,提出了值得研究的挑战性问题。     

纹理表面缺陷机器视觉检测方法综述

纹理表面缺陷检测在机器视觉领域具有意义和挑战性，其历史可以追溯到20世纪中后期，近年来随着深度学习技术的蓬勃发展，纹理表面缺陷检测技术大幅飞跃。直至今日，关于纹理表面缺陷检测的调研和综述仍然很少。在此背景下，本文回顾2017年-2021年间200余篇纹理表面缺陷机器视觉检测论文，对纹理表面缺陷机器视觉检测研究进展进行了及时、全面的调查；分析了纹理表面缺陷检测的发展历史和最新研究进展，原则上将纹理表面缺陷机器视觉检测方法分为传统方法与深度学习方法，并对二者进行了深层次研究分析，特别是深度学习方法；对近期出现的几种纹理表面缺陷机器视觉检测方法主题进行总结的同时，也对这些主题的研究进展进行了综述。最后，对未来的研究趋势进行了展望，以期为后续研究提供指导和启示。     

多工位硅胶圈缺陷在线视觉检测系统研究

硅胶圈检测由于缺陷具有种类多、易变形、复杂性高等特点,通过提出多工位、多角度、不同打光方式结合的基于视觉的机电检测系统来解决这类产品的检测问题。整个检测系统的图像处理使用了基于OpenCV库按照实际项目需求进行改进,使用滤波算子、阈值分割和形态学方法。使用VGG16卷积神经网络训练模型在小样本条件对三种缺陷分类和传统视觉检测方法得到的准确率进行对照实验。在小样本下传统机器视觉的检测准确率>98%,优于深度学习的方法。通过Qt完成UI界面的设计。该软件系统使用多线程设计模式编写,并提出了一种多工位循环剔除新方法,具备在线检测计数和剔除功能。就一种特定的硅胶圈产品检测进行实际实验和测试,验证了本系统的可靠性和实用性。     

基于机器视觉的 PCB 缺陷检测算法研究现状及展望

印刷电路板(PCB)是电子零件的基板,需求量极大,承载着电路元件和导线的布局,其优良与否对电子产品的质量有着 重要影响。 由于电子产品的制作逐渐趋于轻薄、精小,基于机器视觉的 PCB 缺陷检测已成为一个具有挑战性的问题。 为了加 深研究人员对 PCB 缺陷检测的理解,本文从传统图像处理方式、传统机器学习及深度学习 3 大维度全面回顾了近 10 年基于机 器视觉的 PCB 缺陷检测算法,并分析其优缺点;介绍了 9 个 PCB 数据集,给出了评价 PCB 缺陷检测算法的性能指标,且在 PCB 数据集及流行的小目标数据集上分别对典型的算法进行了对比分析;最后指出了 PCB 缺陷检测算法目前存在的问题,展望了 未来可能的研究趋势。     

基于深度学习的飞机蒙皮缺陷检测研究

在飞机的飞行过程中,蒙皮表面会出现裂纹、撞击和腐蚀的问题,不仅降低了飞机的使用寿命,而且还对飞行人员造成安全威胁.为了准确实时检测表面缺陷,提出了基于深度学习的飞机蒙皮缺陷检测的方法.首先利用对抗生成网络DCGAN对预处理后的缺陷图像进行增强训练,得到庞大的样本集,接着使用基于Faster R-CNN的深度学习算法进行...     

基于主动小样本学习的管道焊缝缺陷检测方法

基于X射线探伤的焊缝缺陷检测是维护管道安全的关键环节,实现高精度、高效率的缺陷智能检测是推动无损检测智能化、现代化的重要方面。目前,基于深度学习的缺陷检测方法很难达到较高的精度和效率,因其需要大量标注样本且难以获取。针对这一问题,提出了一种基于主动小样本学习的管道焊缝缺陷检测方法。首先,基于轻量级神经网络提取小样本特征,以数据驱动的方式训练缺陷检测器;然后,推理无标签样本计算检测及分类不确定度并充分挖掘价值样本;最后,根据高价值样本微调网络参数,以最小的成本获得较高的性能提升。实验结果表明,方法能够利用更少的样本,在保证运行效率的前提下,提高约8%的精度。     

深度学习在表面质量检测方面的应用

基于深度神经网络(Deep Neural Network,DNN)的深度学习(Deep Learning,DL)在图像识别、语音识别和文本分析等领域取得了巨大成功。但是深度学习在工业领域的应用遇到训练样本数量不够和训练算力不足的困难。将深度神经网络的迁移学习(Transfer Learning)应用到工业产品表面质量检测,解决了深度学习样本和算力不足的问题,其准确率达到了99.8%,超过了传统机器学习算法和没有迁移学习的卷积神经网络(Convolutional Neural Network,CNN)。构造的深度神经网络分为两部分:前面为已经训练好的深度神经网络GoogLeNet,后面部分为识别表面缺陷专用层,训练的时候只需要训练后面部分。     

基于深度学习的视觉同时定位与建图研究进展

随着机器视觉的不断发展，视觉传感器其小巧轻便、价格低廉等优势，使得视觉同时定位与建图(VSLAM)越来越受人们关注，深度学习为处理VSLAM问题提供了新的方法与思路。本文综述了近年来基于深度学习的VSLAM方法。首先回顾了VSLAM的发展历程，系统阐释了VSLAM的基本原理与组成结构。然后从视觉里程计(VO)、回环检测与建图3个方面分析各类基于深度学习的方法，从特征提取与特征匹配、深度估计与位姿估计及关键帧选择等3个部分阐述了深度学习在VO中的应用；基于场景表达方式的不同，总结了几何建图、语义建图及广义建图中的深度学习方法。接着介绍了目前VSLAM常用的各种数据集以及性能评估指标。最后指出了目前VSLAM面临的难题与挑战，展望未来深度学习与VSLAM结合的研究趋势与发展方向。     

基于联合对抗训练的深度学习表面缺陷检测方法

表面缺陷检测是确保产品质量的重要途径。深度学习在表面缺陷检测中已经得到了大量应用,并为实现自动化的表面缺陷检测提供有效的技术途径。然而,深度学习模型容易受到对抗攻击的威胁,进而严重影响其准确性,甚至造成模型失效。为提升深度学习模型对对抗攻击算法的防御能力,基于对抗训练提出新的基于联合对抗训练的深度学习模型。对抗攻击算法包括单步攻击算法和迭代攻击算法,为提升所提联合对抗深度学习模型的防御能力,在对深度学习模型训练时即同时添加不同对抗攻击算法生成的对抗样本,同时增强模型对单步对抗攻击算法和迭代对抗攻击算法的防御能力。为验证所提算法的有效性,所提算法以CIFAR10和磁瓦表面缺陷数据集为基础进行验证。试验结果表明,所提的联合对抗训练深度学习模型能显著提升对单步对抗攻击与迭代对抗攻击的鲁棒性,并优于传统方法。     

融合引导锚框算法的Faster-RCNN缺陷检测

针对传统零件表面缺陷检测方法准确性差效率低,无法满足智能制造需求的问题,提出基于Faster-RCNN深度学习算法的缺陷检测方法.在Faster-RCNN基本算法的基础上,引入引导锚框算法生成anchor方案,解决算法中anchor方案对本次检测的缺陷目标缺乏针对性、产生大量的冗余区域建议窗口的问题,以提高检测的准确性...     

基于机器视觉和深度学习的智能制造缺陷检测技术与应用

在工业智能制造行业中,质量缺陷检测工作面临一定的困难。在传统的物体表面缺陷检测中,人工目测不但过于主观,而且效率低下。基于机器视觉和深度学习的智能检测技术借助光学成像及图像处理等功能,能够准确计算待测物体的坐标信息,然后对物体实施自动定位并引导,同时完成自动装配。该检测技术具备非接触、无损伤、准确性高、连续工作时间长和高效率等优势,是目前智能制造检测较理想的方式。     

基于显著性线索与改进U-Net的织物缺陷检测方法

计算机视觉建立了图像处理与工业之间的联系，将现代感知技术引入到了自动化工业中。同时，基于深度学习的缺陷检测方法已在自动化检测中扮演重要角色。提出一种结合显著性检测算法与改进卷积神经网络CU-Net的织物缺陷检测方法。首先融合五条基于人类视觉机制的重要显著性线索，对织物图像预处理，其次对经典U-Net网络改进，在压缩网络尺寸基础上，引入注意力机制并使用新的复合损失函数进行训练。利用公开的AITEX缺陷织物数据集作为测试样本，结果表明，方法的准确率Acc和召回率RE分别达到98.3%和92.7%，相比于其他检测方法的最高分数提高4.8%和2.3%，显著提升了织物缺陷检测精度。     

基于多模型级联的双目视觉铸件缺陷检测方法

为了解决铸件表面缺陷检测以及缺陷位置的三维定位问题,采用双目视觉系统获得图像,依靠三角测量法获得点云数据,基于正态分布变换配准方法实现工件的三维定位。通过多模型级联解决少样本和样本比例失衡情况下的表面缺陷检测,结合无监督模型的编码解码方式,依靠正样本训练获得对缺陷图像进行修复的网络模型,将修复后的图像与原始图像进行差异分析获得缺陷位置;使用MASK-RCNN模型进行监督模型训练,获得一体化检测分割模型,直接定位缺陷位置及类别。此外还将运动机构的物理坐标系、双目成像的工件坐标系以及平面图像的坐标进行换算,得到多个坐标系的转换关系,实现了平面缺陷的位置信息映射到三维工件的空间中。实验表明提出的双目视觉系统在工件成像以及检测方面具有良好的效果。     

基于机器视觉的透明塑料件缺陷检测

在实际的产品生产当中,由于各种不确定因素的影响,容易导致产品表面出现缺陷,严重影响产品的外观和性能,因此,在线缺陷检测成为了生产过程中必不可少的环节。以机器视觉为基础方法,分别使用基于SVM机器学习方法和基于Faster R-CNN深度学习方法对透明塑料件进行缺陷的识别与定位,并对两者的检测效果进行比较和分析。实验结果表明,基于Faster R-CNN的缺陷检测方法的准确率为90%,比基于SVM缺陷检测方法高20%,验证了基于深度学习的缺陷检测方法的优越性。