基于深度学习的金属材料表面缺陷检测综述

表面缺陷检测是产品质量检测的关键环节,近年来随着深度学习技术的迅速发展,金属材料表面缺陷检测技术大幅提升。对近几年基于深度学习的金属材料表面缺陷检测方法进行了梳理和分析,并从监督方法、无监督方法以及弱监督方法 3个方面对比论述了近年来的研究现状及应用效果。最后系统总结了金属材料表面缺陷检测中的关键问题及解决方法。结合工业需求,对表面缺陷检测的进一步发展进行了思考与展望。     

改进深度学习框架Faster-RCNN的苹果目标检测

苹果图像的目标检测是研究苹果采摘机器人的关键技术。本研究以自然光源下的苹果图像为研究对象。首先,针对原始RPN结构的3×3单一小滑动窗口摄取特征信息有限问题,设置不同面积、不同尺寸的9个候选框,同时增加1个滑动窗口,以提高感受野的面积与强度,改进深度学习目标检测框架Faster-RCNN,进而搭建深度学习模型。然后,对图像标注目标的实际位置和类别标签,以苹果的测试集作为输出期望,经过训练得到模型的有效权值。实验结果表明,模型迭代3 000次后,改进模型的目标检测准确率为97.6%,而原始模型为95.3%。另外,改进的模型相对原始模型定位精度更高。     

基于卷积神经网络的带钢表面缺陷检测算法

针对现有带钢表面缺陷检测方法准确率低、特征泛化性不强、参数多、识别速度慢等缺陷,基于卷积神经网络,采用DenseNet网络的密集连接算法解决梯度消失和梯度爆炸问题,堆叠式空洞卷积扩大卷积核感受野,深度可分离卷积减少网络参数量,提出一种用于带钢表面陷检测的深度神经网络模型Ds-DenseNet算法。以NEU带钢表面缺陷数据集为基础缺陷样本,加入正样本,并对其进行数据增强操作,创建AUG-NEU数据集,本算法在AUG-NEU数据集上的测试精度高达99.38%,参数量为117958,仅占DenseNet121和ResNet50参数量的1.7%和0.5%,识别速度高达1.3ms/frame,分别是DenseNet121、ResNet50识别速度的2.3倍和2倍,完全可以满足带钢生产线实时检测的需求。     

主从特征融合驱动的铝型材表面缺陷检测

针对因仅考虑纹理特征而造成铝型材表面缺陷检测精度较低的问题,提出一种主从特征融合驱动的表面缺陷检测模型。该模型的构建主要包括3个部分：首先采用经Focal-Loss损失函数优化的UNet模型完成缺陷分布不均匀的样本分割与定位;然后集合卷积神经网络(CNN)与反向传播神经网络(BPNN)构建融合图像纹理特征、梯度信息和缺陷形状特征的主从特征预分类层;最后通过级联特定模糊规则的模糊神经网络完成缺陷的最终分类。利用阿里天池比赛的铝型材数据集中的5类缺陷样本对模型进行了实验验证,平均分类检测精度达到97.2%,为铝型材表面缺陷检测提供了新方法。     

基于卷积神经网络的玻璃瓶口缺陷检测

摘键要：在玻璃瓶的生产中,玻璃瓶制品的质量检测显得尤为重要。随着计算机硬件的更新进步和不同视觉检测算法提出,在工业中机器视觉产品检测逐渐代替人工检测。针对玻璃瓶口的缺陷检测,对玻璃瓶口进行图像采集及预处理,采用预处理的缺陷图作为数据集,利用嵌套残差神经网络的图像识别模型对玻璃瓶口进行缺陷检测并分类。实验结果表明,该方法能够有效提高玻璃瓶口缺陷分类的正确率,验证了该方法的有效性。     

多分支无锚框网络密集行人检测算法

针对街道等多人流量场景图像中人员密集、姿态变化多、人体遮挡严重造成的行人检测漏检问题,提出一种多分支无锚框网络（MBAN）行人检测方法。首先,在检测模型主干网络后加入多分支网络结构用以检测行人的多个关键区域局部特征;然后,设计了关键区域之间的距离损失函数引导分支网络对行人的局部检测位置进行差异化学习,接下来为了提高分支网络对行人局部特征空间信息的理解能力,在Resnet50网络尾部加入四个上采样块构成沙漏结构（Hourglass）;最后,设计了一种局部特征选择网络自适应抑制多分支输出的非最优值,消除预测时的冗余特征框。实验结果表明MBAN方法对多人流量场景行人检测的mAP值、F1值、Prec和Recall分别达到85.22%,0.87,80.07%和94.39%,证明该方法对密集人群检测能力较强,与其他行人检测算法相比有较高的召回率。     

基于云-边缘协同计算的表面缺陷检测系统研究

基于现有表面缺陷检测系统所存在的实时检测难、硬件要求高等问题,提出一种基于云计算与边缘协同计算的表面缺陷检测系统。将轻量化改进后的 YOLOv4 缺陷检测算法模型部署到边缘端嵌入式设备中,在边缘端完成对表面缺陷的检测,并在边缘端和云端设备部署 KubeEdge 框架进行通信和管理。通过案例验证该系统不仅能够满足检测实时性的要求,还能够提取缺陷检测关键信息,同时便于部署在价格低廉的嵌入式设备。     

基于旋转框的电子元器件检测

针对印刷电路板上微小密集且方向任意分布的电子元器件检测过程中存在检测框与目标轮廓贴合度较差的问题,提出一种采用旋转框代替传统水平框的元器件检测方法。通过自建数据集并基于两阶段旋转目标检测算法对元器件进行检测,将特征提取网络改进为Swin Transformer后网络性能进一步提升,精度(mAP)达到98.23%,比原算法提高了1.52%。同时与5种旋转目标检测算法进行对比实验,文中方法检测效果均优于其他方法。     

基于语义分割的纸质包装产品表面缺陷检测

针对工业生产中纸质包装产品表面缺陷检测主要依赖人工,效率低下且检测精度无法保证等实际问题,采用一种基于深度学习中语义分割任务的表面缺陷检测方法。以包装纸盒表面缺陷图像数据为例,根据分割任务需求,从结构上改进Unet算法,并基于OpenMMLab开源计算机视觉算法体系中mmsegmentation语义分割工具箱模块,配置DeepLabV3+、Unet、改进Unet三种图像分割算法环境,分别训练迭代相同次数,对比分析分割检测结果以及对验证集图像的预测效果,可以证实改进Unet算法分割性能得到提升,能更好地检测出纸质包装产品表面的深度划痕缺陷;而DeepLabV3+算法性能相对最优,能更好地检测出纸质包装产品表面的破损缺陷,这对于实现纸质包装产品表面缺陷的自动检测具有一定意义。     

应用于产品表面缺陷检测的神经网络IBS-Net北大核心CSCD

通过将深度学习的两阶段目标检测算法应用于表面缺陷检测中,并依据产品表面缺陷的特性改进网络,提出了IBS-Net算法,实现缺陷的分类识别与定位。IBS-Net改进在于提出了特征相关的非极大抑制方法(FR-NMS)和正样本扩充方法(PSA),依赖特征层间语义关系筛选候选框,将含有局部缺陷信息的候选框作为半正样本以辅助分类任务,体现由部分缺陷推知整体缺陷的思路;其次,利用缺陷之间的互斥性,提出了多类别非极大抑制方法(CR-NMS)应用于后处理阶段,以优化预测结果;此外,利用缺陷之间的重要性差异,改进了表面缺陷检测评估方法。实验结果表明:IBS-Net对13类芯片表面缺陷和6类热轧钢带表面缺陷的检测综合精准度分别达94.8%和89.2%,证明本算法具有良好的有效性和工程应用价值。     

改进的AlexNet模型在玻壳缺陷检测中的应用

针对玻壳缺陷检测的准确率不高的问题,提出了一种基于改进AlexNet的玻壳缺陷检测模型。该模型在AlexNet网络模型基础上,引入1×1卷积、通道洗牌卷积层和残差网络,优化了模型的结构。将改进前后的模型分别对玻壳图库随机抽取的玻壳图片进行测试,实验结果表明:改进后的模型能够识别玻壳残缝、破口、污点等缺陷,识别准确率达95.9%。改进后的AlexNet模型在玻壳缺陷识别具有良好的适用性。     

基于深度学习的表面缺陷检测技术研究进展

随着计算机视觉技术的快速发展,基于深度学习的表面缺陷检测技术实现了爆发式的应用,并逐步成为了主流发展方向。基于深度学习的缺陷检测技术可以近似为计算机视觉任务中的分类、检测、分割等任务,其主要目的是找出物体表面缺陷的类别和所在位置,相较于传统图像处理方法,深度学习在特征提取能力和环境适应能力上优势明显。以缺陷数据标签类型为依据,对近年来基于深度学习的表面缺陷检测技术进行梳理划分,总结目前技术的优点与不足,重点阐述了监督学习下的三种缺陷检测方法。探讨了表面缺陷检测技术面临的小样本以及不平衡样本等关键问题：对于小样本问题目前有结构优化、数据增广、迁移学习等解决方法;针对不平衡样本问题,介绍了近年来热点的无监督、弱监督与半监督学习模型。随后介绍了常用的工业表面缺陷数据集并展现了近年来提出的算法在NEU数据集上的应用效果。最后对进一步的研究工作提出展望,希望能给缺陷检测研究提供有意义的参考。     

基于三级级联架构的接触网定位管开口销缺陷检测

针对高铁接触网定位管开口销在列车长期运行振动中容易松脱并且松脱样本数量匮乏的问题,本文提出一种基于深度卷积生成对抗网络(DCGAN),扩充缺陷样本集后,再训练卷积神经网络(CNN)检测开口销缺陷的三级级联架构。该架构首先采用中心点法提取训练需要的相同规格开口销图像。然后通过改进的DCGAN生成模拟缺陷样本,并搭建轻量级CNN网络对生成的模拟缺陷样本进行筛选。最后将添加了模拟缺陷样本的扩充缺陷样本集与正样本集输入优化后的VGG16卷积神经网络中,以训练分类模型,检测开口销缺陷。实验结果表明,本文所提方法检测接触网定位管开口销缺陷的准确率高达99%。     

基于LabVIEW和Mask R-CNN的柱塞式制动主缸内槽表面缺陷检测

为了解决传统图像处理方法对于铸铝材料表面缺陷检测通用性不高、准确度低等问题,研究了一种基于Mask R-CNN神经网络的缺陷检测系统。首先,采用自主研发的缺陷检测装置采集柱塞式制动主缸内槽表面图像,对其进行预处理,制作成Microsoft COCO格式数据集;其次,搭建适用于该数据集的Mask R-CNN神经网络结构,并绘制训练过程损失函数与平均精度均值曲线;最后,将检测结果与基于SVM和Faster R-CNN模型的检测结果进行比较,统计了3种神经网络模型的单图检测平均时间和识别率。试验结果表明,在相同样本条件下,该方法的识别率比另外2种方法高,达到了93.6%,能够更精确地检测柱塞式制动主缸内槽的表面缺陷。     

基于深度学习的航天密封圈表面缺陷检测

针对航天密封圈表面缺陷人工检测效率低、传统图像处理检测算法通用性差的问题,提出了两种基于深度学习的密封圈表面缺陷检测算法。首先,针对缺陷大部分为小目标的特点,选取对小目标较敏感的RetinaNet网络作为检测算法的基本架构,通过在RetinaNet网络中引入轻量级网络MoGaA构建出MoGaA-RetinaNet算法。然后,为了提高检测精度,在MoGaA-RetinaNet基础上,用分解卷积模块代替MoGaA骨干网络中的深度卷积构建了newMoGaA骨干网络,设计出newMoGaA-RetinaNet算法。最后,在测试集上的实验结果表明,MoGaA-RetinaNet算法比RetinaNet算法检测速度更快,但检测准确率略低;而newMoGaA-RetinaNet算法实现了检测精度与检测速度的良好平衡,比RetinaNet算法准确率提升4.5%,达到92%,检测速度提升55%,达到31 frame/s,网络参数量减少50%。所设计的newMoGaA-RetinaNet算法可以实现密封圈表面缺陷的快速准确检测。     

基于机器视觉的表面缺陷检测方法研究进展

基于机器视觉的表面缺陷检测以无接触、无损伤、自动化程度高及安全可靠等突出优点被广泛应用于各种工业场景中,尤其随着深度学习技术的快速发展,视觉缺陷检测有助于提高产品及装备的智能化水平。综述分析了表面缺陷检测的常用方法、通用数据集、检测结果评价指标和现阶段面临的关键问题。首先,将缺陷检测方法分为传统基于图像处理的缺陷检测、基于传统机器学习模型的缺陷检测及基于深度学习的缺陷检测,并对各种方法进一步细分归类和对比分析,总结了每种方法的优缺点和适用场景;然后,对目前常用的缺陷检测结果评价方法做出了描述,进一步探讨了表面缺陷检测应用在实际工业产品检测过程中关键问题——小样本问题,重点剖析了小样本问题的解决方法和无监督学习在解决这类问题上的优势;最后,从提高缺陷检测方法的工业适用性角度展望了下一步研究方向。     

基于改进级联Faster RCNN的PCB表面缺陷检测算法北大核心CSCD

针对印制电路板(PCB)存在缺陷的多样性、复杂性以及微小性的问题,文中基于Faster RCNN架构的PCB微小缺陷改进检测模型,首先通过RPN网络产生ROI,为能尽量获得各类维度特征,使用多层卷积。为满足PCB缺陷检测要求,将优化后ROI-Pooling层提取ROI特征,为能更好地在ROI区域分类和回归采取双全连接层的方式。为增强对多尺度和不规则缺陷特征的模仿能力和提升检测模型适用性,添加了过滤特征的金字塔网络。消融实验对比测试结果表明:改进后的检测模型对包括缺失孔、鼠咬伤、开路、短路、杂散、伪铜等缺陷能精确识别。文中模型检测平均分类精度达98.91%,mAP指标达到78.21%,可满足对PCB的有效识别,在工业上具有较强的实用性。     

浅层卷积神经网络融合Transformer的金属缺陷图像识别方法

针对金属缺陷识别领域中传统深度学习方法存在参数量多、计算量大的问题,提出了一种浅层卷积神经网络融合Transformer模型的金属缺陷识别方法。利用浅层卷积神经网络学习图像局部信息与位置信息,通过Transformer学习图像全局信息,同时引入通道注意力模块SE关注重要特征通道,实现缺陷图像识别。通过引入公开缺陷数据集验证该方法的有效性,同时利用自建缺陷超声数据集验证所提方法的通用性。实验结果表明,在中小规模数据集上,该方法通用性较强,能够对金属缺陷图像进行有效识别。