热轧带钢表面缺陷在线检测的方法与工业应用

热轧带钢表面的温度高,辐射光强,并且存在着水、氧化铁皮、光照不均等现象,与冷轧带钢的表面存在着很大的差别.将线阵CCD摄像机作为图像采集装置,用绿色激光线光源作照明,通过窄带滤色镜滤除钢板表面的辐射光,从而提高了缺陷对比度.根据热轧带钢表面的特点提出新的缺陷检测与识别算法流程,通过增加4种不同类型的缺陷检测步骤,去除了大量由水、氧化铁皮等造成的伪缺陷,在保证缺陷检出率的同时,减小缺陷的误识率.经在线应用,该方法可以满足在线检测的要求,缺陷的检出率达95%以上,识别率达85%以上.     

基于改进Faster RCNN的铝材表面缺陷检测方法

针对传统检测算法对工业铝材表面缺陷识别率不高、对于小缺陷定位不准确等问题,提出改进的Faster RCNN深度学习网络对于铝材表面10种缺陷进行检测。首先,对数据进行增强后,在主干网络加入特征金字塔网络(FPN)结构以加强对小缺陷的特征提取能力,随后用感兴趣区域校准(ROI Align)算法来代替粗糙的感兴趣区域池化(ROI Pooling)算法,获得更准确的缺陷定位信息,最后加入K-means算法对缺陷数据进行聚类,得出更适应铝材缺陷的锚框。实验表明,改进后的网络对铝材表面缺陷检测的平均精度均值(mAP50)为91.20%,比原始的Faster RCNN网络提高了16%,并且对铝材小缺陷的检测能力也得到明显的提高。     

基于改进级联Faster RCNN的PCB表面缺陷检测算法北大核心CSCD

针对印制电路板(PCB)存在缺陷的多样性、复杂性以及微小性的问题,文中基于Faster RCNN架构的PCB微小缺陷改进检测模型,首先通过RPN网络产生ROI,为能尽量获得各类维度特征,使用多层卷积。为满足PCB缺陷检测要求,将优化后ROI-Pooling层提取ROI特征,为能更好地在ROI区域分类和回归采取双全连接层的方式。为增强对多尺度和不规则缺陷特征的模仿能力和提升检测模型适用性,添加了过滤特征的金字塔网络。消融实验对比测试结果表明:改进后的检测模型对包括缺失孔、鼠咬伤、开路、短路、杂散、伪铜等缺陷能精确识别。文中模型检测平均分类精度达98.91%,mAP指标达到78.21%,可满足对PCB的有效识别,在工业上具有较强的实用性。     

基于多方位感知的带钢表面缺陷长尾分类方法

缺陷分类在带钢生产中扮演着重要的角色。但由于工业数据集的长尾分布和带钢缺陷的复杂性,现有的带钢表面缺陷检测方法仍然有待改进。文中提出了一种基于多方位感知的长尾分类方法(MDPLC,multi-directional perception of long-tail classification)去解决带钢表面缺陷的长尾分类问题。首先,通过全局和局部图像的多输入来实现模型的多方位感知策略。其次,采用共享层与个性化层结合的三联体网络架构来分别提取多输入的特征,在有效减少计算参数的同时保证特征的多样性。最后,将部分浅层网络的特征与深层特征融合,增加模型对多尺度缺陷的感知能力。实验结果表明：MDPLC在X-SDD热扎带钢表面缺陷数据集上的平均精度达到了97.71%,优于其他对比模型,验证了该方法的有效性和鲁棒性。     

基于卷积神经网络的带钢表面缺陷检测算法

针对现有带钢表面缺陷检测方法准确率低、特征泛化性不强、参数多、识别速度慢等缺陷,基于卷积神经网络,采用DenseNet网络的密集连接算法解决梯度消失和梯度爆炸问题,堆叠式空洞卷积扩大卷积核感受野,深度可分离卷积减少网络参数量,提出一种用于带钢表面陷检测的深度神经网络模型Ds-DenseNet算法。以NEU带钢表面缺陷数据集为基础缺陷样本,加入正样本,并对其进行数据增强操作,创建AUG-NEU数据集,本算法在AUG-NEU数据集上的测试精度高达99.38%,参数量为117958,仅占DenseNet121和ResNet50参数量的1.7%和0.5%,识别速度高达1.3ms/frame,分别是DenseNet121、ResNet50识别速度的2.3倍和2倍,完全可以满足带钢生产线实时检测的需求。     

基于知识图谱推理的热轧带钢产品质量缺陷追溯

热轧带钢生产面临多工况、机理复杂、工艺参数繁多等问题,造成专家很难及时有效给出生产中导致质量缺陷的原因。由此提出一种基于知识图谱推理的质量缺陷追溯方法。首先通过可解释方法SHAP实现对随机森林模型预测结果的解释,并通过知识图谱将数据挖掘结果与工艺机理、专家经验等知识进行融合,进一步将图谱中表示工艺参数与质量参数依赖关系的子图映射到贝叶斯网络,推断不同工艺参数导致产品质量缺陷的后验概率。实际生产数据验证表明,针对不同生产工况,该方法能有效识别各个批次中导致质量缺陷的工艺参数,表现出良好识别率。     

冷轧带钢表面相似线性缺陷检测

针对现有冷轧带钢表面的相似线状缺陷检测精度与识别率差的问题,提出一种局部二制模式LBP直方图特征与支持向量机SVM相结合的检测算法。通过对采集的大量划伤与夹杂的带钢表面缺陷图进行预处理,获得感兴趣区域,再进一步利用LBP等价模式获得目标区域的LBP直方图信息,结果显示可以很好地分辨缺陷与非缺陷,并描述的各种缺陷具有可分辨性。采用核函数为径向基函数核的SVM分类器训练识别,结果表明：该方法对划伤和夹杂的缺陷检测准确率达98%。     

基于改进Cascade Faster R-CNN的铝型材表面缺陷识别研究

在铝型材实际生产过程中,由于碰撞、加工温度、压力等原因,可能导致铝型材产生擦花、脏点、喷流等数种表面缺陷,缺陷目标较小,长宽大,传统目标检测算法的准确率较低,严重影响铝型材的美观和质量.在Faster R-CNN网络的基础上,引入了多阶段模型训练方法使部分无缺陷样本生成对抗样本,用ResNeXt105网络代替原始VGG16网络提取图像特征,设计了Cascade Faster R-CNN的网络结构,采用FPN提取多尺度特征图并进行特征图融合.实验结果表明,在2722张图像测试集上,Faster R-CNN模型准确率为62.7％,网络模型测试准确率达到81.4％,提高了18.7％.故相比于其他网络模型,改进后的Cascade Faster R-CNN的模型具有更强的特征提取能力和泛化能力,为类似小目标检测提高了技术参考.     

基于谱残差视觉显著性的带钢表面缺陷检测

针对带钢表面缺陷检测实时性要求高,采集的图像易受光照环境影响且缺陷特征弱等因素影响,提出一种基于谱残差视觉注意模型的带钢表面缺陷在线检测算法。首先,提出改进同态滤波方法对图像预处理,去除光照不均匀的影响,改善后续的分割结果。然后,构建谱残差视觉注意模型,通过对数频谱曲线差分得到缺陷显著图像。最后,提出加权马氏距离方法对显著图像阈值化增强,并利用连通区域标记法,标记出原带钢图像的缺陷位置。对提出的算法进行了实验验证,结果显示:该算法检测速度快,单幅图像平均检测耗时仅37.6ms,满足带钢在线实时检测要求。在同一缺陷数据库与灰度投影法,多尺度Gabor边缘检测法和隐马尔可夫树模型法进行了性能对比,结果表明:本文算法对带钢常见8类缺陷类型,平均检测率达到了95.3%,且漏检率和误检率较低,有效性高于对比算法。     

基于轻量级卷积神经网络的带钢表面缺陷识别

带钢表面缺陷识别对促进带钢生产质量提升至关重要。然而传统的图像处理与识别方法存在精度不高、且容易受到光线等因素影响;而新兴的基于深度学习的算法,则存在模型参数量大且难以部署等问题,无法在实际生产中得到广泛应用。本文提出了一种轻量级部分深度混合可分离网络(PDMSNet)用于解决以上问题,由于其模型小以及浮点型运算(FLOPs)少更易于部署在资源受限的平台。采用标准的带钢表面缺陷数据集NEU-CLS的测试结果表明,与其他缺陷分类器相比,在带钢表面缺陷检测方面,本文所提出的模型性能更加优越。识别准确率达到了99.78%,而参数量只有0.17 M以及272 M FLOPs,在单一低端的GeForce MX250图形处理单元(GPU)识别一张图片平均时间为0.47 ms,可以满足工业现场实时检测的要求。     

基于语义分割的纸质包装产品表面缺陷检测

针对工业生产中纸质包装产品表面缺陷检测主要依赖人工,效率低下且检测精度无法保证等实际问题,采用一种基于深度学习中语义分割任务的表面缺陷检测方法。以包装纸盒表面缺陷图像数据为例,根据分割任务需求,从结构上改进Unet算法,并基于OpenMMLab开源计算机视觉算法体系中mmsegmentation语义分割工具箱模块,配置DeepLabV3+、Unet、改进Unet三种图像分割算法环境,分别训练迭代相同次数,对比分析分割检测结果以及对验证集图像的预测效果,可以证实改进Unet算法分割性能得到提升,能更好地检测出纸质包装产品表面的深度划痕缺陷;而DeepLabV3+算法性能相对最优,能更好地检测出纸质包装产品表面的破损缺陷,这对于实现纸质包装产品表面缺陷的自动检测具有一定意义。     

隐马尔可夫树模型在带钢表面缺陷在线检测中的应用

通过图像分割算法寻找由缺陷组成的可疑区域是热轧带钢表面缺陷在线检测与识别的关键。将热轧带钢表面图像分为“背景”和“缺陷”两大类,采用隐马尔可夫树(Hidden Markov tree,HMT)模型分别建模并实现多尺度缺陷分割。将不同类别的缺陷用同一个“缺陷模型”来表示,可以降低算法复杂度。HMT模型对带钢表面常见缺陷的分割正确率达到94.4%,分割错误率为18.8%。针对HMT模型得到的细尺度分割结果中分割错误率较高问题,引入基于环境的多尺度融合方法(Context-adaptive hidden Markov tree, CAHMT),将不同尺度的分割结果融合,大幅降低细尺度分割的分割错误率,达到3.7%。     

带钢表面缺陷在线检测图像噪声滤除算法研究

在对带钢表面缺陷进行视觉检测的过程中,光照条件、金属碎末飞溅等外界干扰会产生图像噪声,这种噪声会直接影响到后续的带钢缺陷检测。因而对图像进行预处理十分必要。提出了一种针对带钢图像表面噪声预处理的算法,该算法通过分析带钢表面噪声分布的特点,对其进行标识,进而提出了改进的标准中值算法,对所有噪声点邻域内的中值和均值的差值与设定阈值进行比较,实现对噪声的有效滤除。通过大量的实验证明该算法有效可行,在算法的复杂度上有较大的降低,在噪声滤除效果上有明显的改善。     

FPGA图像处理在带钢表面缺陷视觉检测中的应用

为有效解决冷轧带钢表面缺陷在线视觉检测系统中图像处理的瓶颈问题,本文提出了一种新型冷轧带钢表面缺陷检测与识别算法流程。首先介绍了阀值中值滤波算法及迭代阀值分割算法;接着对这两种算法的计算流程进行了分析;最后采用Xilinx公司的System Generator模块在Simulink中完成缺陷图像的中值滤波变换及迭代阀值分割任务。实验结果表明:Slice Flip Flops使用率28%,4 Input LUTs使用率10%,Occupied Slices使用率34%,FPGA图像处理技术可以解决图像信息实时处理这一关键问题。FPGA图像处理技术基本满足在线检测的稳定可靠、精度高、抗干扰能力强等要求,且能较好的满足实际生产线上的处理速度要求。     

基于机器视觉的表面缺陷检测方法研究进展

基于机器视觉的表面缺陷检测以无接触、无损伤、自动化程度高及安全可靠等突出优点被广泛应用于各种工业场景中,尤其随着深度学习技术的快速发展,视觉缺陷检测有助于提高产品及装备的智能化水平。综述分析了表面缺陷检测的常用方法、通用数据集、检测结果评价指标和现阶段面临的关键问题。首先,将缺陷检测方法分为传统基于图像处理的缺陷检测、基于传统机器学习模型的缺陷检测及基于深度学习的缺陷检测,并对各种方法进一步细分归类和对比分析,总结了每种方法的优缺点和适用场景;然后,对目前常用的缺陷检测结果评价方法做出了描述,进一步探讨了表面缺陷检测应用在实际工业产品检测过程中关键问题——小样本问题,重点剖析了小样本问题的解决方法和无监督学习在解决这类问题上的优势;最后,从提高缺陷检测方法的工业适用性角度展望了下一步研究方向。     

基于深度学习的表面缺陷检测技术研究进展

随着计算机视觉技术的快速发展,基于深度学习的表面缺陷检测技术实现了爆发式的应用,并逐步成为了主流发展方向。基于深度学习的缺陷检测技术可以近似为计算机视觉任务中的分类、检测、分割等任务,其主要目的是找出物体表面缺陷的类别和所在位置,相较于传统图像处理方法,深度学习在特征提取能力和环境适应能力上优势明显。以缺陷数据标签类型为依据,对近年来基于深度学习的表面缺陷检测技术进行梳理划分,总结目前技术的优点与不足,重点阐述了监督学习下的三种缺陷检测方法。探讨了表面缺陷检测技术面临的小样本以及不平衡样本等关键问题：对于小样本问题目前有结构优化、数据增广、迁移学习等解决方法;针对不平衡样本问题,介绍了近年来热点的无监督、弱监督与半监督学习模型。随后介绍了常用的工业表面缺陷数据集并展现了近年来提出的算法在NEU数据集上的应用效果。最后对进一步的研究工作提出展望,希望能给缺陷检测研究提供有意义的参考。     

改进Mask RCNN的焊缝缺陷检测

焊接缺陷检测是焊接行业的一项重要工作,利用X射线焊缝缺陷图像进行缺陷检测是焊接无损检测的重要手段。为实现对缺陷的自动识别和定位,结合缺陷的具体特征提出了一种改进的Mask RCNN实例分割网络实现对图像进行缺陷检测和分割。该方法在原有网络的基础上通过采用变形卷积更好地提取不规则形状缺陷特征信息,引入空洞卷积加强高层特征的感受野,在局部图像中融合全局图像信息使局部图像获取上下文信息,利用迁移学习和数据增强降低对训练数据的需求,提升检测和分割精度。最终,通过对焊缝X射线数据集上进行实验,验证改进的Mask RCNN模型与原始Mask RCNN模型以及Faster RCNN模型等模型进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的Mask RCNN模型可以更好的适用于焊缝缺陷检测中。     

基于深度学习的金属材料表面缺陷检测综述

表面缺陷检测是产品质量检测的关键环节,近年来随着深度学习技术的迅速发展,金属材料表面缺陷检测技术大幅提升。对近几年基于深度学习的金属材料表面缺陷检测方法进行了梳理和分析,并从监督方法、无监督方法以及弱监督方法 3个方面对比论述了近年来的研究现状及应用效果。最后系统总结了金属材料表面缺陷检测中的关键问题及解决方法。结合工业需求,对表面缺陷检测的进一步发展进行了思考与展望。     

基于深度学习的航天密封圈表面缺陷检测

针对航天密封圈表面缺陷人工检测效率低、传统图像处理检测算法通用性差的问题,提出了两种基于深度学习的密封圈表面缺陷检测算法。首先,针对缺陷大部分为小目标的特点,选取对小目标较敏感的RetinaNet网络作为检测算法的基本架构,通过在RetinaNet网络中引入轻量级网络MoGaA构建出MoGaA-RetinaNet算法。然后,为了提高检测精度,在MoGaA-RetinaNet基础上,用分解卷积模块代替MoGaA骨干网络中的深度卷积构建了newMoGaA骨干网络,设计出newMoGaA-RetinaNet算法。最后,在测试集上的实验结果表明,MoGaA-RetinaNet算法比RetinaNet算法检测速度更快,但检测准确率略低;而newMoGaA-RetinaNet算法实现了检测精度与检测速度的良好平衡,比RetinaNet算法准确率提升4.5%,达到92%,检测速度提升55%,达到31 frame/s,网络参数量减少50%。所设计的newMoGaA-RetinaNet算法可以实现密封圈表面缺陷的快速准确检测。     

基于改进SSD的钢材表面缺陷检测

工业生产过程中,钢材表面缺陷的检测对于钢材的质量控制发挥着十分重要的作用,针对钢材表面缺陷检测中存在的检测精度低、检测速度慢等问题,提出了一种钢材表面缺陷检测的改进SSD算法。在所提算法中,采用Transformer多头注意力机制模块代替原SSD结构中的Conv5＿1层,以提高小目标检测的能力;原SSD结构中的Conv7操作替换为Involution算子操作,以减少运算的参数量;对网络结构进行特征融合处理,以更全面地检测特征图中所包含的信息。利用NEU-DET数据集进行实验,实验结果表明改进后的SSD算法是有效的,可以高效检测到钢材表面的小目标缺陷,相比改进前平均检测精度提高了4.5%,检测速度提高了13.6%。