基于轻量化重构网络的表面缺陷视觉检测

基于深度学习的方法在某些工业产品的表面缺陷识别和分类方面表现出优异的性能,然而大多数工业产品缺陷样本稀缺,而且特征差异大,导致这类需要大量缺陷样本训练的检测方法难以适用.提出一种基于重构网络的无监督缺陷检测算法,仅使用容易大量获得的无缺陷样本数据实现对异常缺陷的检测.提出的算法包括两个阶段:图像重构网络训练阶段和表面缺陷区域检测阶段.训练阶段通过一种轻量化结构的全卷积自编码器设计重构网络,仅使用少量正常样本进行训练,使得重构网络能够生成无缺陷重构图像,进一步提出一种结合结构性损失和L1损失的函数作为重构网络的损失函数,解决自编码器检测算法对不规则纹理表面缺陷检测效果较差的问题;缺陷检测阶段以重构图像与待测图像的残差作为缺陷的可能区域,通过常规图像操作即可实现缺陷的定位.对所提出的重构网络的无监督缺陷检测算法的网络结构、训练像素块大小、损失函数系数等影响因素进行了详细的实验分析,并在多个缺陷图像样本集上与其他同类算法做了对比,结果表明重构网络的无监督缺陷检测算法有较强的鲁棒性和准确性.由于重构网络的无监督缺陷检测算法的轻量化结构,检测1 024×1 024像素图像仅仅耗时2.82 ms,...     

小样本条件下的带钢表面缺陷检测

针对工业场景下带钢表面缺陷样本少、缺陷尺寸大小不一等问题, 提出一种适用于小样本条件下的带钢表面缺陷检测网络. 首先, 算法以YOLOv5s框架为基础, 设计一种融合注意力机制的多尺度路径聚合网络作为模型的颈部, 增强模型对缺陷目标的多尺度预测能力; 其次, 提出一种自适应解耦检测结构, 缓解小样本情况下分类和定位任务之间的矛盾; 最后, 提出一种融合Wasserstein距离的边界框回归损失函数, 提升模型对小目标缺陷的检测精度. 实验表明, 在构建的小样本带钢表面缺陷数据集上, 本文模型的检测性能优于其他小样本检测模型, 更适用于工业环境下的小样本缺陷检测任务.     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

基于改进ＲＣＦ模型的转子表面缺陷检测

针对发动机转子表面存在磕划伤和凸起等弱对比度微小缺陷难以检测的问题,本文提出一种利用多方向照明结合卷积神经网络模型的发动机转子表面缺陷检测方法。首先,采用光度立体法获得增强图形凹凸性特征的曲率图和高度图作为输入图像;其次,提出一种优化的RCF模型,充分利用跳层连接将首阶段与后续阶段的侧输出特征融合,提高网络深层对精细尺度下信息的保留能力;通过通道及空间注意力机制对模型侧输出进行强化,增强有效特征并抑制干扰;优化损失函数,使数据集中无缺陷信息的图像样本也能够适用于网络模型的训练;最后,以人工标注的方式制作数据集并验证优化模型的有效性。试验结果表明,与经典的缺陷检测方法相比,本文方法对转子的表面缺陷区域具有更好的检测效果,改进模型的像素准确率达94.31%,比RCF提高了0.87个百分点。     

基于深度学习语义分割的导光板缺陷检测方法

当前导光板表面缺陷仍主要由人工肉眼观察进行检测, 仅有少数生产厂家利用传统的图像处理方法进行检测. 由于导光板缺陷在高分辨率工业相机拍摄的图像成像下仍极其微小, 且不同缺陷的特征各异, 以及整张导光板自身的导光点分布密集、不均匀等纹理特点, 导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本, 准确率低且稳定性差, 为此提出一种基于深度学习语义分割的缺陷检测方法. 该方法通过训练神经网络的方式来自主学习提取导光板缺陷特征从而避免繁杂的特征提取算法编程工作. 首先, 对搜集的导光板缺陷进行缺陷标记, 制作样本集; 其次, 利用迁移学习将预先训练好的金字塔场景解析网络(PSPNet)对标记样本进行再训练; 进而, 利用训练好的模型实现对导光板缺陷的检测; 由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求, 最后还需结合简单的机器视觉方法, 对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选. 实验结果表明, 该方法针对亮点、暗点和划痕3种缺陷的检出率高达96%, 基本可以满足工业检测要求.     

基于深度学习的螺纹钢表面缺陷检测

螺纹钢是土建工程中必不可少的建筑材料, 在轧制过程中因受轧辊磨损、钢坯质量等因素影响, 导致表面缺陷, 如不能及时发现就会生产出大量废品, 严重影响企业经济效益. 本文提出一种基于深度学习的螺纹钢缺陷检测方法, 通过生产现场工业相机采集螺纹钢图像, 对表面缺陷进行分类标记, 建立样本数据集, 利用深度卷积对抗生成网络DCGAN对数据集增强. 采用Faster RCNN构建螺纹钢缺陷检测模型, 利用迁移学习方法实现小样本螺纹钢表面缺陷检测, 通过对损失函数、优化方法、学习率、滑动平均参数的设置来评估优化螺纹钢缺陷检测模型. 实验表明所设计的方法具有较好的稳定性和实用性, 能有效地解决人工检测过程中效率低、误检率高等问题.     

结合随机子空间和级联残差网络的缺陷检测

针对基于深度学习的表面缺陷检测方法中的小样本问题,提出一种结合随机子空间和级联残差网络的缺陷检测方法（RSM-MTResNet）。该方法将缺陷数据分解为多个随机子空间,在每个子空间上构建残差网络,通过级联多个残差网络得到融合特征。在NEU表面缺陷数据集上进行实验,运用了混淆矩阵和[F1]值来评估模型性能。结果表明该方法的分类准确率为97.66%,比传统CNN方法的准确率高了14.5%,[F1]值均提高10.0%以上,这证明了该方法不仅能在一定程度解决小样本问题,同时能获得较高的识别性能。     

基于YOLOv5和生成对抗网络的塑料标签缺陷检测

塑料标签物的缺陷检测与识别是工业过程控制和质量控制的关键;为了克服现有塑料标签缺陷检测方法的局限性,使用了单阶段目标检测模型YOLOv5对其瑕疵进行实时检测与分类;此外,为解决由于样本缺陷数量不足造成的模型识别准确率低等问题,采用了一种基于Defect-GAN的生成对抗网络对小样本进行数据增强和扩增;该方法通过模拟缺陷生成和缺陷图像重建的过程,可以高效合成大量具有高保真度和多样性的缺陷样本,尤其适用于形状不规则、分布随机且尺寸不同的瑕疵生成;实验结果表明,通过使用扩增数据集训练目标检测器,并对网络的超参数进行优化,可以显著提高目标检测器的准确率和精度,其平均精度mAP可达99.5%;此外,为了模拟该方法在实际生产中的应用场景,设计并定制了一台半自动的图像采集机械平台用于采集圆柱样品表面的印刷标签,以及一个自主开发的图像处理和统计分析软件用于样本采集、图像处理及统计分析;该方法和平台可以很容易地推广并应用到其他工业质量控制和缺陷检测系统中。     

基于深度森林的人机协同工业制品表面缺陷识别

针对工业制品缺陷分类存在的样本图像少、分类准确性不足和模型训练耗时长等问题,提出了一种基于深度森林的人机协同分类模型.该模型首先通过深度森林对样本图像进行初步识别,经多粒度扫描模块和级联森林模块提取特征,得到初始预测结果并分离出识别困难的样本图像;然后采用人机协同的策略,采用人工方式随机标注部分识别困难的样本,再利用K近邻算法对剩余识别困难的样本进行再分类.通过在公开数据集以及生产线实际采集的真实数据上的实验结果表明,改进的分类模型在工业制品表面缺陷数据集上的性能优于基线算法.     

面向小样本约束的域适应分类算法

近年来,人工智能的相关应用被越来越细化到不同的应用场景,而对不同的应用场景都进行相应的数据收集,模型训练,模型调优等步骤需要消耗大量的时间精力会严重影响人工智能技术应用的效率.因此如何基于现有的成熟的训练过的模型迁移到其他应用场景是当前应用人工智能技术的关键问题.域适应算法主要研究将源域模型有效地迁移到目标域,这为上述问题提供了一个重要的解决思路.本文提出小样本对抗判别域适应算法,相对于无监督域适应算法能够在更严格的约束下-仅需要少量的目标域样本,在标准数据集上取得了优于对抗判别域适应算法(Adversarial Discriminative Domain Adaptation,ADDA)算法的表现,在单任务中最高提升幅度达16.9%.本文中,首先,提出了两种新的数据增强方法,以构建符合双域联合分布的图像以丰富样本多样性并填充特征空间,解决小样本约束下模型易过拟合到少量目标域样本的问题.接着,结合双域样本配对机制和ADDA算法,将以大量目标域样本为条件的无监督域适应算法改进为面向小样本约束的有监督域适应算法.在域适应过程中,引入类标签平滑损失来抑制过拟合现象,并结合度量学习中的最大平均...     

基于改进CenterNet的竹条表面缺陷检测方法

在竹条表面缺陷检测中,竹条表面缺陷形状各异,成像环境脏乱,现有基于卷积神经网络（CNN）的目标检测模型面对这样特定的数据时并不能很好地发挥神经网络的优势;而且竹条来源复杂且有其他条件限制,因此没办法采集所有类型的数据,导致竹条表面缺陷数据量少到CNN不能充分学习。针对这些问题,提出一种专门针对竹条表面缺陷的检测网络。该网络的基础框架为CenterNet,而且为提高CenterNet在较少的竹条表面缺陷数据中的检测性能,设计了一种基于从零开始训练的辅助检测模块：在网络开始训练时,冻结采用预训练模型的CenterNet部分,并针对竹条的缺陷特点从零开始训练辅助检测模块;待辅助检测模块损失趋于稳定时,通过一种注意力机制的连接方式将该模块与采用预训练的主干部分进行融合。将所提检测网络与CenterNet以及目前常用于工业检测的YOLO v3在相同训练测试集上进行训练和测试。实验结果表明,所提检测网络的平均精度均值（mAP）在竹条表面缺陷检测数据集上比YOLO v3和CenterNet的mAP分别提高了16.45和9.96个百分点。所提方法能够针对形状各异的竹条表面缺陷进行有效检测,且没有增加过多的时耗,在实际工业运用中具有很好的效果。     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

光伏板缺陷分类的原型网络改进

在光伏板缺陷分类领域中,传统的缺陷分类手段和新兴的机器学习方法都存在局限性,不足以满足光伏板缺陷分类需求,急需更可靠的解决方案.近些年来小样本学习以其能在有限量数据下快速学习并泛化到新任务的特点,逐渐在各领域兴起,给缺陷技术的优化带来新的思路.在这里,以典型的小样本学习方法——原型网络方法为基础,提出了基于改进的原型网络的光伏板缺陷分类方法.该方法调整了训练模式,通过改进模型主干网络和相似性度量标准来有效解决原型网络对复杂样本的特征嵌入能力较差和模型精度一般的问题,方法在经典的光伏板缺陷数据集进行了多次对比实验.结果表明:改进方法的实验耗时大大缩短,模型精度得到提高.     

Deep-learning-based anomaly detection for lace defect inspection employing videos in production line

Defect inspection plays an essential role in ensuring quality of industrial products. The most widely used human visual inspection method has some drawbacks such as high cost and low efficiency, which bring an eager demand for the application of automatic defect inspection algorithm in actual production. However, few industrial production lines use automatic detection devices due to the gap between data collected in the actual production environment and ready-made datasets. Lace is one of the industrial products which completely depends on manual defect inspection. The complex and fine texture of lace makes it difficult to extract regular patterns using the existing image-based defect inspection methods. In this paper, we propose to collect lace videos in the weaving stage and design a deep-learning-based anomaly detection framework to detect lace defects. The framework contains three stages, namely video pre-processing stage, pixel reconstruction stage and pixel classification stage. In the offline phase, only defect-free lace videos are needed to train the pixel reconstruction model and calculate the detection threshold by our adaptive thresholding method. In the online phase, the proposed framework reconstructs lace videos and performs defect inspection using reconstruction error and the pre-set threshold. As far as we know, this paper the first to detect fabric defects by videos. Experimental results on artificial defect videos demonstrate the effectiveness of the proposed framework.     

基于Siamese-YOLOv4的印刷品缺陷目标检测

在印刷工业生产中,针对直接使用YOLOv4网络进行印刷缺陷目标检测精度低、所需训练样本数量大的问题,提出了一种基于Siamese-YOLOv4的印刷品缺陷目标检测方法。首先,使用了一种图像分割和随机参数变化的策略对数据集进行增强;然后,在主干网络中增加了孪生相似性检测网络,并在相似性检测网络中引入Mish激活函数来计算出图像块的相似度,在此之后将相似度低于阈值的区域作为缺陷候选区域;最后,训练候选区域图像,从而实现缺陷目标的精确定位与分类。实验结果表明：Siamese-YOLOv4模型的检测精度优于主流的目标检测模型,在印刷缺陷数据集上,Siamese-YOLOv4网络对卫星墨滴缺陷的检测准确率为98.6%,对脏点缺陷的检测准确率为97.8%,对漏印缺陷的检测准确率为93.9%;检测的平均精度均值（mAP）达到了96.8%,相较于YOLOv4算法、Faster R-CNN算法、SSD算法、EfficientDet算法分别提高了6.5个百分点、6.4个百分点、14.9个百分点、10.6个百分点。所提Siamese-YOLOv4模型一方面在印刷品缺陷检测中有较低的误检率和漏检率,另一方面通过相似性检测网络计算图像块的相似度从而提高了检测的精度,表明所提缺陷检测方法可应用于印刷质检以提高印刷企业的缺陷检测水平。     

基于STMR-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度,将深度学习研究领域的前沿技术应用于带钢表面缺陷检测.提出了一种以Swin Transformer作为骨干特征提取网络,级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法.将Transformer结构应用于带钢表面缺陷检测领域,与单纯基于卷积网络的深度学习目标检测算法相比,能够达到更加精确的检测效果.首先,使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构,增强特征网络对隐含在图像中的深层语义信息的摄取能力.其次设计多级联检测结构,设置逐级的IoU阈值,实现检测精度与阈值提升的权衡.最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能.实验结果表明:本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果,在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、...