基于改进深度度量学习算法的表面缺陷检测

为了解决小批量、多品种工业产品的表面质量检测问题,提出一种基于改进深度度量学习的缺陷检测算法。该算法对VGG16网络模型做改进,更有利于原始图像的隐空间映射。针对产品表面缺陷检测的任务,提出条件三元组损失函数以加强神经网络的拟合能力。同时,在隐空间中进行缺陷判定时,抛弃原始度量学习中基于KNN算法的归类方法,提出基于高斯分布概率的归类模型。在检测新类型产品时,在已训练好的网络模型的基础上,使用新产品的图像数据作为输入对网络进行微调。利用该算法在纽扣缺陷数据集上经K-Fold交叉验证,在只需50个无缺陷样本和50个有缺陷样本的小样本情况下,该算法在不同的查询集上的检测准确率均在90%以上,最高可达99.89%,与传统深度度量学习算法相比,检测准确率提升10%以上。实验结果表明,改进深度度量学习算法可以很好地解决小批量、多品种工业产品的表面缺陷检测问题。     

基于深度学习的表面缺陷检测方法综述

近年来, 基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中. 本文对近年来基于深度学习的表面缺陷检测方法进行了梳理, 根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类, 并对各种典型方法进一步细分归类和对比分析, 总结了每种方法的优缺点和应用场景. 本文探讨了表面缺陷检测中三个关键问题, 介绍了工业表面缺陷常用数据集. 最后, 对表面缺陷检测的未来发展趋势进行了展望.     

基于改进的Faster R-CNN的古建筑地砖缺陷检测

缺陷检测对于古建筑的保护和修缮具有重要的意义,传统的地砖缺陷检测通过目视检查,存在受人力影响大、耗时长等限制。基于深度学习的良好应用前景,建立故宫地砖缺陷的数据集,提出改进型Faster R-CNN的网络。首先,构建可变形卷积,通过网络学习并提取地砖中的缺陷特征;然后,将特征图输入区域生成网络中生成候选区域框,将生成的特征图和候选区域框进行池化操作;最后,输出缺陷检测结果。在故宫地砖图片数据集的测试下,改进后的模型平均准确率均值到达92.49%,与Faster R-CNN模型相比提高了2.99%,更适用于地砖缺陷检测。     

卷积神经网络自动分类手机外壳划痕

塑料手机外壳出厂合格检测时, 使用传统的人工辨别外观缺陷, 费时费力. 利用深度学习的卷积神经网络模型训练一个分类器, 实现手机外壳外观出现的划痕缺陷自动化检测, 可以极大的提高工作效率. 实验首先建立基本的卷积神经网络模型, 训练模型获得识别基线, 再设计修改逐步提高检测准确率. 为了解决小数据集训练中的模型过拟合和提高检测精度, 综合使用了丢弃层、数据增强技术和批量标准化, 减少参数量, 并应用迁移学习等方法. 实验结果证明, 分类器模型能有效提升准确率, 在小数据集上达到非常好的划痕缺陷识别效果.     

基于深度学习的木材缺陷图像的识别与定位

传统的木材缺陷定位方法主要有物理设备检测和传统计算机技术检测,但这两种方法均存在数据收集困难、高度依赖数据本身等问题,不适用于实际生产。本文提出一种基于深度学习的自动缺陷定位模型（Automatic defect location model, ADLM）,包含单缺陷定位模型（Single defect location model, SDLM）与多缺陷定位模型（Multi-defect location model, MDLM）,满足不同需求。模型使用MobileNet作为骨干网,只需少量数据集进行训练。在公开数据集Wood Defect Database中,该模型可获得86.1%的缺陷识别率。在单缺陷数据集中,该模型可获得97.5%的定位精确率。在多缺陷数据集中,该模型可获得90.0%的定位精确率。与传统的木材缺陷识别模型相比,基于深度学习的自动缺陷定位模型无须前期人工提取特征,具有检测速度更快、精准度更高以及适用性更广等优点。     

改进GANomaly模型的印刷辊筒表面缺陷检测方法

工业产品中的缺陷样本获取困难,而且缺陷的表现形式多种多样,因此常使用无监督异常检测方法检测工业产品表面缺陷。无监督异常检测通过计算异常分数来判断图像中是否包含缺陷,但是如何准确定位缺陷是亟待解决的问题。为了解决该问题,提出了一种基于改进的GANomaly模型异常检测方法。该方法首先在原来模型的基础上加入了异常检测模块获取异常分数,其次对利用梯度和最大信息熵的图片,使用分水岭分割算法和特征对齐对缺陷进行定位,最后使用E-measure评估分割结果。实验结果表明,设计方法在印刷辊筒数据集上的检测与分割效果均优于其他无监督异常检测方法。     

面向复杂环境中带钢表面缺陷检测的轻量级DCN-YOLO

基于深度学习的智能检测技术逐渐在复杂钢铁生产环境带钢表面缺陷检测过程中使用。为了应对在资源受限的边缘设备中部署高精度模型的挑战，提出一个面向复杂环境中带钢表面缺陷检测的轻量级DCN-YOLO模型，该模型将可形变卷积网络DCN与原始YOLOv5结合，以提高模型对不同尺寸和形状缺陷的灵敏度。为降低计算复杂度，在YOLO模型中引入了深度可分离卷积DSConv和高效通道注意力机制ECA两个轻量级模块，使模型更好地理解输入数据中各个通道之间的关系，在提高模型的检测精度和泛化能力的同时，大幅降低模型的计算量。进一步通过消融实验及横向对比实验，验证了每个创新模块的有效性。通过经典的开源带钢数据集NEU-DET和实际工业带钢数据集分别验证了轻量级DCN-YOLO模型在表面缺陷检测精度和计算复杂度方面的优势。     

基于深度学习的螺纹钢表面缺陷检测

螺纹钢是土建工程中必不可少的建筑材料, 在轧制过程中因受轧辊磨损、钢坯质量等因素影响, 导致表面缺陷, 如不能及时发现就会生产出大量废品, 严重影响企业经济效益. 本文提出一种基于深度学习的螺纹钢缺陷检测方法, 通过生产现场工业相机采集螺纹钢图像, 对表面缺陷进行分类标记, 建立样本数据集, 利用深度卷积对抗生成网络DCGAN对数据集增强. 采用Faster RCNN构建螺纹钢缺陷检测模型, 利用迁移学习方法实现小样本螺纹钢表面缺陷检测, 通过对损失函数、优化方法、学习率、滑动平均参数的设置来评估优化螺纹钢缺陷检测模型. 实验表明所设计的方法具有较好的稳定性和实用性, 能有效地解决人工检测过程中效率低、误检率高等问题.     

基于Transformer与BiLSTM的网络流量入侵检测

网络流量入侵检测技术对主机和平台安全起着重要作用。目前常采用机器学习和深度学习技术进行网络流量入侵检测,然而相关数据集的不平衡问题导致模型偏向于学习多数类数据的特征而忽视少数类数据的特征,严重影响了检测准确率。结合SMOTE算法和生成对抗网络(GAN)构建OSW模型对训练数据进行预处理,通过Wasserstein GAN学习少数类数据分布情况,避免边缘分布问题,构造平衡数据集。建立基于Transformer与双向长短时记忆-深度神经网络(BiLSTM-DNN)的TBD入侵检测模型,使用Transformer中的编码器捕捉全局联系并对输入数据进行初步特征提取,利用BiLSTM网络进行长距离依赖特征提取保留数据的序列化特征,采用DNN进一步提取深层次特征,最终通过Softmax分类器获得分类结果。在NSL＿KDD数据集上的实验结果表明,在进行数据平衡处理后TBD模型的二分类和五分类任务检测准确率分别达到90.3%和79.8%,均高于对比的深度神经网络模型以及机器学习算法。     

基于深度学习的加密流量分类研究综述

近年来,为保护公众隐私,互联网上的很多流量被加密传输,传统的基于深度包检测、机器学习的方法在面对加密流量时,准确率大幅下降。随着深度学习自动学习特征的应用,基于深度学习算法的加密流量识别和分类技术得到了快速发展,本文对这些研究进行综述。首先,简要介绍基于深度学习的加密流量检测应用场景。然后,从数据集的使用和构建、检测模型和检测性能3个方面对已有工作进行总结和评价,其中检测技术重点论述数据的预处理、不平衡数据集的处理、神经网络构建、实时检测等方法。最后,讨论当前研究中出现的问题和未来发展方向和前景,为该领域的研究人员提供一些借鉴。     

基于STMR-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度,将深度学习研究领域的前沿技术应用于带钢表面缺陷检测.提出了一种以Swin Transformer作为骨干特征提取网络,级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法.将Transformer结构应用于带钢表面缺陷检测领域,与单纯基于卷积网络的深度学习目标检测算法相比,能够达到更加精确的检测效果.首先,使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构,增强特征网络对隐含在图像中的深层语义信息的摄取能力.其次设计多级联检测结构,设置逐级的IoU阈值,实现检测精度与阈值提升的权衡.最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能.实验结果表明:本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果,在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、...     

基于深度学习语义分割的导光板缺陷检测方法

当前导光板表面缺陷仍主要由人工肉眼观察进行检测, 仅有少数生产厂家利用传统的图像处理方法进行检测. 由于导光板缺陷在高分辨率工业相机拍摄的图像成像下仍极其微小, 且不同缺陷的特征各异, 以及整张导光板自身的导光点分布密集、不均匀等纹理特点, 导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本, 准确率低且稳定性差, 为此提出一种基于深度学习语义分割的缺陷检测方法. 该方法通过训练神经网络的方式来自主学习提取导光板缺陷特征从而避免繁杂的特征提取算法编程工作. 首先, 对搜集的导光板缺陷进行缺陷标记, 制作样本集; 其次, 利用迁移学习将预先训练好的金字塔场景解析网络(PSPNet)对标记样本进行再训练; 进而, 利用训练好的模型实现对导光板缺陷的检测; 由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求, 最后还需结合简单的机器视觉方法, 对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选. 实验结果表明, 该方法针对亮点、暗点和划痕3种缺陷的检出率高达96%, 基本可以满足工业检测要求.     

输电线路部件视觉缺陷检测综述

随着我国电网系统的不断发展，基层巡检作业负担越来越重，运维成本越来越高，如何实现输电线路部件缺陷的智能化检测变得愈发重要。同时，由于国家《新一代人工智能发展规划》的提出和国家电网"数字新基建"的部署，人工智能应用于电力设备运维的相关技术得到了快速发展，对输电线路部件视觉缺陷准确检测成为亟待解决的关键问题之一。早期基于图像处理和特征工程的部件视觉缺陷检测方法对图像质量的要求较高，无法真正应用于现实复杂的输电线路作业环境；随着深度学习的兴起，基于深度学习的检测模型可以有效地将部件目标及其缺陷从复杂的输电线路航拍图像中提取出来，既节省了人工设计特征的时间，又在性能上达到了显著提升，因此逐渐成为主流研究方法。本文首先描述了基于传统算法的输电线路关键部件视觉缺陷检测技术，回顾了深度学习的发展过程并分析了深度学习在缺陷检测领域的优缺点；围绕输电线路上3个重要的部件：绝缘子、金具以及螺栓，介绍了其定位与缺陷检测的研究现状；分析了输电线路部件缺陷检测中研究的样本不平衡问题、小目标检测问题、细粒度检测问题等几个关键问题；分析了符合电网巡检任务复杂场景需求和故障诊断标准的输电线路部件缺陷检测技术的未来发展趋势。     

基于深度学习的小样本声目标识别方法

声目标分类识别是声源识别领域的核心问题,然而,在应用深层神经网络进行声目标分类识别时,从少量样本中学习(样本复杂度较低)是一个具有挑战性的问题;针对此问题,提出了一种基于深度学习的小样本声目标识别方法,该方法将手工设计特征和对数梅尔声谱特征结合到一起,扩充了深度学习模型的可利用特征量,提高了声信号识别效率和精度;在实验验证中,该方法在测试集上实现了87.6%的识别精度;更进一步地,用较少量的训练样本对该方法和其它几种主流的深度学习模型的性能进行了比较验证,结果表明,该方法只需要更少量的数据即可实现同样的识别精度,在声源探测领域具有一定应用价值。     

基于深度学习的磁芯表面缺陷检测研究

在产品表面缺陷智能检测过程中,存在缺陷样本收集困难、样本不平衡、目标尺寸小和难以定位等问题。针对磁芯表面缺陷检测中存在的问题进行了研究,提出了一种基于深度学习的图像增强和检测方法,首先利用结合高斯混合模型的深度卷积生成对抗网络生成磁芯缺陷图像,然后结合泊松融合方法产生增强的数据集,最后基于YOLO-v3网络,实现了磁芯表面缺陷的智能检测。实验表明,该方法能够生成质量更高、缺陷更明显的图像,检测准确度提升了5.6%。     

基于深度学习算法的风电机组叶片开裂缺陷分析

为实现对风电机组叶片表面缺陷检测的智能化,本研究应用无人机技术、图像视觉技术和深度学习算法,建立风电机组叶片缺陷检测系统,提高了对叶片上开裂缺陷的检测精度。系统使用 算子计算图像横向和纵向的梯度,并对图像进行阈值分割和去噪处理。构建深度学习模型提取图像缺陷的特征信息,加入了SPP-Net网络进行卷积操作,增加了模型的输入数据尺度,得到特征图后在利用PRN网络筛选特征图。实验结果显示本研究系统能够去除大量无用的背景信息,开裂缺陷部位的特征信息保留完整,对验证集中的图像进行测试后,本研究系统识别出的开裂缺陷数最高可达到50个。     

基于YOLOv5和生成对抗网络的塑料标签缺陷检测

塑料标签物的缺陷检测与识别是工业过程控制和质量控制的关键;为了克服现有塑料标签缺陷检测方法的局限性,使用了单阶段目标检测模型YOLOv5对其瑕疵进行实时检测与分类;此外,为解决由于样本缺陷数量不足造成的模型识别准确率低等问题,采用了一种基于Defect-GAN的生成对抗网络对小样本进行数据增强和扩增;该方法通过模拟缺陷生成和缺陷图像重建的过程,可以高效合成大量具有高保真度和多样性的缺陷样本,尤其适用于形状不规则、分布随机且尺寸不同的瑕疵生成;实验结果表明,通过使用扩增数据集训练目标检测器,并对网络的超参数进行优化,可以显著提高目标检测器的准确率和精度,其平均精度mAP可达99.5%;此外,为了模拟该方法在实际生产中的应用场景,设计并定制了一台半自动的图像采集机械平台用于采集圆柱样品表面的印刷标签,以及一个自主开发的图像处理和统计分析软件用于样本采集、图像处理及统计分析;该方法和平台可以很容易地推广并应用到其他工业质量控制和缺陷检测系统中。     

基于卷积自编码器的医用玻璃瓶口缺陷检测方法

为解决缺陷检测中缺陷样本数量少、种类多、难以提供足够的数据来进行有监督深度学习模型训练的问题,本文利用工业生产中大量易获取没有缺陷的正样本数据,建立Encoder-Decoder结构的卷积自编码网络缺陷检测模型,将空间和通道注意力的卷积注意力模块嵌入编码器中增强网络特征提取能力。在编码阶段加入上下文信息模块,获得更大的感受野,减小计算量。同时,结合多尺度结构相似性MS-SSIM和L1损失来改善图像重构效果,使用峰值信噪比PSNR衡量重构误差并判别异常。实验结果表明,提出的医用玻璃瓶口缺陷检测方法能够准确检出缺陷数据和分割缺陷区域,精确度为99.45%、召回率为97.63%、漏检率为0.55%、误检率为2.93%。该方法能够准确检出玻璃瓶口缺陷,定位缺陷区域,同时图像重构耗时短,仅需10.37 ms左右,能够实现准确、高效的自动化产品质量检测。