基于深度学习的螺纹钢表面缺陷检测

螺纹钢是土建工程中必不可少的建筑材料, 在轧制过程中因受轧辊磨损、钢坯质量等因素影响, 导致表面缺陷, 如不能及时发现就会生产出大量废品, 严重影响企业经济效益. 本文提出一种基于深度学习的螺纹钢缺陷检测方法, 通过生产现场工业相机采集螺纹钢图像, 对表面缺陷进行分类标记, 建立样本数据集, 利用深度卷积对抗生成网络DCGAN对数据集增强. 采用Faster RCNN构建螺纹钢缺陷检测模型, 利用迁移学习方法实现小样本螺纹钢表面缺陷检测, 通过对损失函数、优化方法、学习率、滑动平均参数的设置来评估优化螺纹钢缺陷检测模型. 实验表明所设计的方法具有较好的稳定性和实用性, 能有效地解决人工检测过程中效率低、误检率高等问题.     

深度学习场景文本检测方法综述

自然场景文本检测对于机器理解场景等有着重要作用。近年来,随着深度学习的发展,自然场景文字检测方法也日新月异,取得了很好的检测效果。分析、总结了近年来基于深度学习的场景文字检测方法,将其归纳分类为基于回归、基于分割,以及两者混合三种类型,并对各类检测方法的优缺点进行了对比分析。介绍了场景文本检测性能指标及常用的公开数据集以及下载方式。对场景文字检测领域研究进行总结和展望,有望为深度学习场景文本检测方法提供新的研究方向。     

基于监督学习的单幅图像深度估计综述

单幅图像深度估计是三维重建中基于图像获取场景深度的重要技术,也是计算机视觉中的经典问题,近年来,基于监督学习的单幅图像深度估计发展迅速.文中介绍了基于监督学习的单幅图像深度估计及其模型和优化方法;分析了现有的参数学习、非参数学习、深度学习3类方法及每类方法的国内外研究现状及优缺点;最后对基于监督学习的单幅图像深度估计进行总结,得出了深度学习框架下的单幅图像深度估计是未来研究的发展趋势和重点.     

基于深度学习语义分割的导光板缺陷检测方法

当前导光板表面缺陷仍主要由人工肉眼观察进行检测, 仅有少数生产厂家利用传统的图像处理方法进行检测. 由于导光板缺陷在高分辨率工业相机拍摄的图像成像下仍极其微小, 且不同缺陷的特征各异, 以及整张导光板自身的导光点分布密集、不均匀等纹理特点, 导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本, 准确率低且稳定性差, 为此提出一种基于深度学习语义分割的缺陷检测方法. 该方法通过训练神经网络的方式来自主学习提取导光板缺陷特征从而避免繁杂的特征提取算法编程工作. 首先, 对搜集的导光板缺陷进行缺陷标记, 制作样本集; 其次, 利用迁移学习将预先训练好的金字塔场景解析网络(PSPNet)对标记样本进行再训练; 进而, 利用训练好的模型实现对导光板缺陷的检测; 由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求, 最后还需结合简单的机器视觉方法, 对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选. 实验结果表明, 该方法针对亮点、暗点和划痕3种缺陷的检出率高达96%, 基本可以满足工业检测要求.     

融合多尺度特征的工业缺陷检测模型

利用照相机成像对工业环境中的物体进行表面缺陷检测是自动检测的主要应用之一.近年来，生产规模的扩大对缺陷的快速检测提出了要求，传统方法难以达到较高的效率.同时，缺陷检测更注重对纹理特征的提取，通用的深度卷积网络不能直接应用于该任务.为了克服以上挑战，本文提出了一种基于单阶段目标检测算法的表面缺陷检测模型，通过更宽的骨干网络提取丰富的上下文信息，进行多尺度特征融合，针对不同的检测目标采用差异化的检测头部；同时引入注意力机制，提高特征利用率；为了验证所提出方法的有效性，在3个数据集上进行了实验，取得了较好的性能，并与其他模型进行比较，表明所提出的方法优于现有方法.     

一种基于极限学习机融合模型的实时亚表面缺陷深度检测算法

为提高检测亚表面缺陷深度的速度与精度,本文提出了一种基于极限学习机融合模型的实时亚表面缺陷深度检测算法。首先,构造极限学习机模型将涡流传感器以及超声传感器探测数据转化为导体缺陷在不同深度的概率分布;然后,根据不同传感器采集特点对概率分布进行动态赋权,并采用D-S融合模型计算缺陷深度的概率分布;最后,基于最大概率原则对未知缺陷深度的导体进行分类。实验结果表明,相比单传感器检测方法和传统D-S证据等权融合理论,本文提出的检测方法具有更高的精确度和稳定性。     

弱监督学习下的融合注意力机制的表面缺陷检测

现有基于深度学习的缺陷检测方法通常采用强监督学习策略,检测效果依赖于样本的数量和标注的质量.针对上述问题,提出弱监督学习下融合注意力机制的神经网络算法,仅使用图像级别标签便可同时预测缺陷的位置和概率.首先对多尺度感受野模块提取的特征应用特征融合网络,获取更多边缘细节信息;然后通过多层次的自编码器挖掘特征的深层语义信息;同时通过三线性全局注意力模块进一步细化浅层特征的空间位置信息;最后对浅层边缘特征和深层语义特征进行融合增强,得到最终的精细缺陷特征,达到高效准确的自动化表面缺陷检测的目的.基于PyTorch框架用KolektorSDD电转向器表面缺陷数据集验证所提算法,并与U-Net等缺陷检测算法进行对比.检测视觉效果显示,所提算法可以保留更多的细节纹理信息,能够有效扩大细微缺陷与复杂背景之间的特征差异.通过大量实验表明,该算法在复杂场景下比其他模型更为准确,其精准率、F1值和总体精度都有所提升.     

基于LSTM的设备故障在线检测方法

在工业4.0时代，随着IoT的广泛应用，工业设备的故障检测对于提高设备的可靠性具有重要的意义。在实际的工业场景中，由于设备之间的关系复杂多变，难以用统一的模型来表示设备的运行状态。近年来，随着深度学习技术的不断发展与进步，深度学习技术成为故障检测的主流解决方案。提出了一种基于长短记忆神经网络的在线故障检测模型，采用曲线排齐方法对传感器数据进行特征提取，基于长短时记忆神经网络（LSTM）开发故障检测模型，最后借助滑动窗口技术实现了设备故障的在线检测以及模型的在线更新。基于真实的发电厂传感数据进行了实验验证，实验结果表明了该方法的有效性。     

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.     

基于轻量化模型的钢铁表面缺陷显著性检测研究

钢铁被广泛地应用于工业生产,其质量的优劣影响着钢铁制品的可靠性。现有检测技术基于深度学习等方法来检测钢铁表面缺陷区域,但仍存在检测速度慢、模型参数量大和应对复杂场景处理能力弱的问题。针对问题设计了一种基于轻量化模型的钢铁表面缺陷显著性检测方法,能够实现快速准确地检测钢铁表面缺陷区域。该方法以深度可分离卷积为基础设计模型,从而减小模型整体参数量并提升检测速度;在模型中引入多尺度特征,强化轻量化模型对于图像特征的提取能力,提升对复杂环境下的适应性。该方法在公开数据集SD-saliency-900上进行了广泛的实验,实验结果证明提出模型在检测精度不受影响的前提下,大幅减小模型参数量并显著提升模型推理速度。相较于其他基准方法,所提出模型具有更好的复杂环境应对能力以及实际应用性。     

深度学习在工业表面缺陷检测领域的应用研究

深度卷积神经网络在处理自然图片时取得了非常好的效果,但鲜有针对工业应用领域的细分研究。本文探讨了深度学习模型在工业产品表面缺陷检测领域的应用。以Cp工业产品缺陷检测为着眼点,在设计检测方案时应用深度学习模型并辅助图像处理等相关技术,通过实验分析得到最佳应用模型。创新点在于提出了数据集信息密度这一概念,通过在多个数据集上...     

表面缺陷检测的机器视觉技术研究进展

物体表面缺陷检测技术是工业质检领域的一项重大课题,对工业生产有着重要的意义。针对近些年基于机器视觉的表面缺陷检测技术进行梳理总结。首先,列举了几种缺陷检测在工业领域的应用场景;其次从特征提取和分类算法的角度简要阐述了传统的机器视觉方法;重点探讨了缺陷检测中常用的经典神经网络结构和缺陷检测算法的最新发展,并介绍了两种常用的缺陷检测算法优化方式;最后,分析了缺陷检测领域面临的三大挑战：实时性问题、小样本问题和小目标问题,目的是为工业表面缺陷检测的研究提供有益的参考和脉络梳理。     

基于改进深度度量学习算法的表面缺陷检测

为了解决小批量、多品种工业产品的表面质量检测问题,提出一种基于改进深度度量学习的缺陷检测算法。该算法对VGG16网络模型做改进,更有利于原始图像的隐空间映射。针对产品表面缺陷检测的任务,提出条件三元组损失函数以加强神经网络的拟合能力。同时,在隐空间中进行缺陷判定时,抛弃原始度量学习中基于KNN算法的归类方法,提出基于高斯分布概率的归类模型。在检测新类型产品时,在已训练好的网络模型的基础上,使用新产品的图像数据作为输入对网络进行微调。利用该算法在纽扣缺陷数据集上经K-Fold交叉验证,在只需50个无缺陷样本和50个有缺陷样本的小样本情况下,该算法在不同的查询集上的检测准确率均在90%以上,最高可达99.89%,与传统深度度量学习算法相比,检测准确率提升10%以上。实验结果表明,改进深度度量学习算法可以很好地解决小批量、多品种工业产品的表面缺陷检测问题。     

基于STM R-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度, 将深度学习研究领域的前沿技术应用于带钢表面缺陷检测. 提出了一种以Swin Transformer作为骨干特征提取网络, 级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法. 将Transformer结构应用于带钢表面缺陷检测领域, 与单纯基于卷积网络的深度学习目标检测算法相比, 能够达到更加精确的检测效果. 首先, 使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构, 增强特征网络对隐含在图像中的深层语义信息的摄取能力. 其次设计多级联检测结构, 设置逐级的IoU阈值, 实现检测精度与阈值提升的权衡. 最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能. 实验结果表明: 本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果, 在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、压入氧化铁皮(rolled-inscale, RS)、以及划痕(scratches, Sc)等表面缺陷检测中训练速度和检测精度都有显著的提升, 漏检率显著降低.     

Efficient surface defect detection using self-supervised learning strategy and segmentation network

Surface defect detection plays a crucial role in the production process to ensure product quality. With the development of Industry 4.0 and smart manufacturing, traditional manual defect detection becomes no longer satisfactory, and deep learning-based technologies are gradually applied to surface defect detection tasks. However, the application of deep learning-based defect detection methods in actual production lines is often constrained by insufficient data, expensive annotations, and limited computing resources. Detection methods are expected to require fewer annotations as well as smaller computational consumption. In this paper, we propose the Self-Supervised Efficient Defect Detector (SEDD), a high-efficiency defect defector based on self-supervised learning strategy and image segmentation. The self-supervised learning strategy with homographic enhancement is employed to ensure that defective samples with annotations are no longer needed in our pipeline, while competitive performance can still be achieved. Based on this strategy, a new surface defect simulation dataset generation method is proposed to solve the problem of insufficient training data. Also, a lightweight structure with the attention module is designed to reduce the computation cost without incurring accuracy. Furthermore, a multi-task auxiliary strategy is employed to reduce segmentation errors of edges. The proposed model has been evaluated with three typical datasets and achieves competitive performance compared with other tested methods, with 98.40% AUC and 74.84% AP on average. Experimental results show that our network has the smallest computational consumption and the highest running speed among the networks tested.     

基于深度学习的加密流量分类研究综述

近年来,为保护公众隐私,互联网上的很多流量被加密传输,传统的基于深度包检测、机器学习的方法在面对加密流量时,准确率大幅下降。随着深度学习自动学习特征的应用,基于深度学习算法的加密流量识别和分类技术得到了快速发展,本文对这些研究进行综述。首先,简要介绍基于深度学习的加密流量检测应用场景。然后,从数据集的使用和构建、检测模型和检测性能3个方面对已有工作进行总结和评价,其中检测技术重点论述数据的预处理、不平衡数据集的处理、神经网络构建、实时检测等方法。最后,讨论当前研究中出现的问题和未来发展方向和前景,为该领域的研究人员提供一些借鉴。     

输电线路部件视觉缺陷检测综述

随着我国电网系统的不断发展，基层巡检作业负担越来越重，运维成本越来越高，如何实现输电线路部件缺陷的智能化检测变得愈发重要。同时，由于国家《新一代人工智能发展规划》的提出和国家电网"数字新基建"的部署，人工智能应用于电力设备运维的相关技术得到了快速发展，对输电线路部件视觉缺陷准确检测成为亟待解决的关键问题之一。早期基于图像处理和特征工程的部件视觉缺陷检测方法对图像质量的要求较高，无法真正应用于现实复杂的输电线路作业环境；随着深度学习的兴起，基于深度学习的检测模型可以有效地将部件目标及其缺陷从复杂的输电线路航拍图像中提取出来，既节省了人工设计特征的时间，又在性能上达到了显著提升，因此逐渐成为主流研究方法。本文首先描述了基于传统算法的输电线路关键部件视觉缺陷检测技术，回顾了深度学习的发展过程并分析了深度学习在缺陷检测领域的优缺点；围绕输电线路上3个重要的部件：绝缘子、金具以及螺栓，介绍了其定位与缺陷检测的研究现状；分析了输电线路部件缺陷检测中研究的样本不平衡问题、小目标检测问题、细粒度检测问题等几个关键问题；分析了符合电网巡检任务复杂场景需求和故障诊断标准的输电线路部件缺陷检测技术的未来发展趋势。     

基于卷积去噪自编码器的芯片表面弱缺陷检测方法

芯片表面缺陷会影响芯片的外观和性能,因此表面缺陷检测是芯片生产过程中的重要环节。具有缺陷与背景对比度低、缺陷较小等特点的弱缺陷给传统检测方法带来了挑战。因为近年来深度学习在机器视觉领域展现出了强大的能力,所以文中采用基于深度学习的方法来研究芯片表面弱缺陷的检测问题。该方法将芯片表面缺陷看作噪音,首先应用卷积去噪自编码器(Convolutional Denoising Auto-encoders,CDAE)重构无缺陷图像,然后用重构的无缺陷图像减去输入图像,获得包含缺陷信息的残差图。因为残差图中已经消除了背景的影响,所以最后可以基于残差图较容易地进行缺陷检测。由于基于CDAE重构芯片背景的无缺陷图像时存在随机噪音,导致弱缺陷可能会湮没在重构噪音中,为此,文中提出了重叠分块策略抑制重构噪音,以便更好地检测弱缺陷。因为CDAE是无监督学习网络,所以训练时无需进行大量的人工数据标注,这进一步增强了该方法的可应用性。通过对真实芯片表面数据进行测试,验证了所提方法在芯片表面检测上的有效性。     

基于小样本学习的LCD产品缺陷自动检测方法

针对高分辨率液晶显示器产品(liquid crystal display, LCD)质量在线检测需求,基于深度学习提出一种LCD缺陷自动检测方法。通过设计自适应浅层特征提取层,并引入稀疏卷积结构,多维度、多尺度的提取深层特征,采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练,构建基于小样本学习的LCD表面缺陷检测模型。其特征在于,采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块的判定类别和定位坐标,同时获取多类型缺陷检测结果。实验结果表明,本文模型可以有效提高检出率,并减少漏检率。