Defect-aware transformer network for intelligent visual surface defect detection

Surface defect detection plays an increasing role in intelligent manufacturing and product life-cycle management, such as quality inspection, process monitoring, and preventive maintenance. The existing intelligent methods almost adopt convolution architecture, and the limited receptive field hinders performance improvement of defect detection. In general, a larger receptive field can bring richer contextual information, resulting in better performance. Although operations such as dilated convolution can expand the receptive field, this improvement is still limited. Recently, benefitting from the ability to model long-range dependencies, Transformer-based models achieve great success in computer vision and image processing. However, applying Transformer-based models without modification is not desirable because there is no awareness and pertinence to defects. In this paper, an intelligent method is proposed by using defect-aware Transformer network (DAT-Net). In DAT-Net, Transformer replaces convolution in encoder to overcome the difficulty of modeling long-range dependencies. Defect-aware module assembled by basic weight matrixes is incorporated into Transformer to perceive and capture geometry and characteristic of defect. Graph position encoding by constructing a dynamic graph on tokens is designed to provide auxiliary positional information, which brings desired improved performance and fine adaptability. Specially, we carry out field experiments and painstakingly construct blade defect and tool wear datasets to compare DAT-Net with other methods. The comprehensive experiments demonstrate that DAT-Net has superior performance with 90.19 mIoU on blade defect dataset and 87.24 mIoU on tool wear dataset.     

基于卷积神经网络的焊缝表面缺陷检测方法

针对工业激光焊接中,采用传统方法进行焊缝质量检测效率低下的问题,提出了一种基于卷积神经网络的工业钢板表面焊缝缺陷检测方法;首先基于卷积神经网络,搭建了一个多分类模型框架,并分析了各层中所用到的函数及相关参数;然后基于工业数控机床和工业相机进行了焊缝数据采集,并对这些数据进行了分类、增强、扩增等前期预处理;最后基于数控机器轴,采用滑动窗口检测的形式采集实际待测图像,并通过实验对比了传统的机器学习算法在该类图像数据中的性能评估;经实验证实,通过卷积神经网络训练得到的多分类模型,焊缝缺陷检测精度能达到97%以上,且每张待测图像的测试时间均在300 ms左右,远超机器学习算法,在准确性和实时性上均能达到实际工业要求。     

Invariant and adaptive geometrical texture features for defect detection and classification

Automatic texture defect detection is highly important for many fields of visual inspection. We introduce novel, geometrical texture features for this task, which are Euclidean motion invariant and texture adaptive: An algebraic function (rational, Padé, or polynomial) is integrated over intensities in local, circular neighborhoods on the image including an anisotropical texture analysis. Adaptiveness is achieved through the optimization of this feature kernel and further coefficients based on a simplex energy minimization, constrained by a measure of texture discrimination (Fisher criterion). A backpropagation trained, multilayer perceptron network classifies the textures locally. Our approach contains new properties, usually not common in feature theories: Theoretically implicit, multiple invariances and an automatic and specific adaptation of the features to the texture images. Experiments with a fabric data set and Brodatz textures reveal up to 98.6% recognition accuracy.     

基于卷积神经网络的PCB缺陷检测

印刷电路板(PCB)在生产制造中由于生产工序等问题易导致电路板存在瑕疵缺陷,为提高对电路板缺陷的检测效率,提出了一种基于卷积神经网络(CNN)的电路板缺陷检测网络.该检测网络基于YOLO v4网络进行优化改造,针对于PCB制作精密、复杂,各类缺陷不易检测的难点,在优化后的网络中加入了基于细粒度空间域的长距离全局注意力机...     

基于深度对比网络的印刷缺陷检测方法

基于传统图像处理技术的印刷缺陷检测方法鲁棒性差,而基于深度学习的目标检测方法则不完全适用于印刷缺陷检测任务的问题。为解决上述问题,将模板匹配方法中的对比思想与深度学习中的语义特征结合,提出用于印刷缺陷检测任务的深度对比网络（CoNet）。首先,提出基于孪生结构的深度对比模块（DCM）在语义空间提取并融合检测图像与参考图像的特征图,挖掘二者间的语义关系;然后,提出基于非对称双通路特征金字塔结构的多尺度变化检测模块（MsCDM）,定位并识别印刷缺陷。在公开的印刷电路板缺陷数据集DeepPCB与立金缺陷数据集上,CoNet的平均精度均值（mAP）分别为99.1%和69.8%,与同样采用变化检测思路的最大分组金字塔池化（MP-GPP）和变化检测单次检测器（CD-SSD）相比,分别提升了0.4、3.5个百分点和0.7、2.4个百分点,CoNet的检测精度更高。此外,当输入图像分辨率为640×640时,CoNet的平均耗时为35.7 ms,可见其完全可以满足工业检测任务的实时性要求。     

基于级联神经网络的型钢表面缺陷检测算法

深度学习在缺陷检测方面具有优越性能,然而在工业应用过程中由于缺陷概率低,无缺陷图像的检测过程占据了大部分计算时间,严重限制了整体上的有效检测速度。针对上述问题,提出一种基于级联网络的型钢表面缺陷检测算法SDNet。该算法分为两个阶段：预检阶段和精检阶段。预检阶段采用基于深度可分离卷积（DSC）以及多尺度并行卷积的轻量化ResNet预检网络,判断型钢表面图像是否存在缺陷;精检阶段以YOLOv3作为基准网络对图像中的缺陷进行准确分类与定位,并在主干特征提取网络以及预测分支中引入改进空洞空间金字塔池化（ASPP）模块以及对偶注意力模块,以提升网络的检测性能。实验结果表明,SDNet在1 024像素×1 024像素图像上的检测速度达到每秒120.63帧,准确率达到92.1%。与原YOLOv3算法相比,所提算法的检测速度是原YOLOv3算法的3.7倍,检测精度提高了10.4个百分点,可应用于型钢表面缺陷的快速检测。     

Using perceptual relation of regularity and anisotropy in the texture with independent component model for defect detection

This paper addresses the raw textile defect detection problem using independent components approach with insights from human vision system. Human vision system is known to have specialized receptive fields that respond to certain type of input signals. Orientation-selective bar cells and grating cells are examples of receptive fields in the primary visual cortex that are selective to periodic- and aperiodic-patterns, respectively. Regularity and anisotropy are two high-level features of texture perception, and we can say that disruption in regularity and/or orientation field of the texture pattern causes structural defects. In our research, we observed that independent components extracted from texture images give bar or grating cell like results depending on the structure of the texture. For those textures having lower regularity and dominant local anisotropy (orientation or directionality), independent components look similar to bar cells whereas textures with high regularity and lower anisotropy have independent components acting like grating cells. Thus, we will expect different bar or grating cell like independent components to respond to defective and defect-free regions. With this motivation, statistical analysis of the structure of the texture by means of independent components and then extraction of the disturbance in the structure can be a promising approach to understand perception of local disorder of texture in human vision system. In this paper, we will show how to detect regions of structural defects in raw textile data that have certain regularity and local orientation characteristics with the application of independent component analysis (ICA), and we will present results on real textile images with detailed discussions.     

基于缺陷比例限制的背景差分钢轨表面缺陷检测方法

针对钢轨表面图像具有的光照不均匀、可识别特征有限、对比度低、反射特性易变等特性，提出基于缺陷比例限制的背景差分钢轨表面缺陷检测方法。该方法主要包括轨面图像预处理、背景建模与差分、缺陷比例限制滤波、缺陷比例限制最大熵阈值分割和连通区域标记5个步骤。首先结合轨面图像列灰度均值和列灰度中值进行快速背景建模，将预处理后的图像与背景图像进行差分操作；其次利用轨面图像缺陷占比较低的特征对差分图进行缺陷比例上限的阈值截断，以增强差分图的对比度；随后利用此特征改进最大熵阈值分割，采用自适应加权因子对目标熵进行全局可变加权，并选择出一个合适的阈值使熵值最大化，使得在保留真实缺陷的同时减弱诸如阴影、锈迹等噪声的干扰；最后利用连通区域标记法对阈值分割后的二值图像中的缺陷区域进行统计，并把缺陷面积低于钢轨损伤标准的区域判定为噪声并进行去除，以实现钢轨表面缺陷检测。仿真实验结果表明，新方法可以对钢轨表面缺陷进行很好的检测，其检测结果的召回率、精确率和加权调和平均值分别达到94.19%、88.34%和92.96%，平均错误分类误差值为0.006 4，具有一定的实用价值。     

基于缺陷比例限制的背景差分钢轨表面缺陷检测方法

针对钢轨表面图像具有的光照不均匀、可识别特征有限、对比度低、反射特性易变等特性,提出基于缺陷比例限制的背景差分钢轨表面缺陷检测方法。该方法主要包括轨面图像预处理、背景建模与差分、缺陷比例限制滤波、缺陷比例限制最大熵阈值分割和连通区域标记5个步骤。首先结合轨面图像列灰度均值和列灰度中值进行快速背景建模,将预处理后的图像与背景图像进行差分操作;其次利用轨面图像缺陷占比较低的特征对差分图进行缺陷比例上限的阈值截断,以增强差分图的对比度;随后利用此特征改进最大熵阈值分割,采用自适应加权因子对目标熵进行全局可变加权,并选择出一个合适的阈值使熵值最大化,使得在保留真实缺陷的同时减弱诸如阴影、锈迹等噪声的干扰;最后利用连通区域标记法对阈值分割后的二值图像中的缺陷区域进行统计,并把缺陷面积低于钢轨损伤标准的区域判定为噪声并进行去除,以实现钢轨表面缺陷检测。仿真实验结果表明,新方法可以对钢轨表面缺陷进行很好的检测,其检测结果的召回率、精确率和加权调和平均值分别达到94.19%、88.34%和92.96%,平均错误分类误差值为0.006 4,具有一定的实用价值。     

表面缺陷检测的机器视觉技术研究进展

物体表面缺陷检测技术是工业质检领域的一项重大课题,对工业生产有着重要的意义。针对近些年基于机器视觉的表面缺陷检测技术进行梳理总结。首先,列举了几种缺陷检测在工业领域的应用场景;其次从特征提取和分类算法的角度简要阐述了传统的机器视觉方法;重点探讨了缺陷检测中常用的经典神经网络结构和缺陷检测算法的最新发展,并介绍了两种常用的缺陷检测算法优化方式;最后,分析了缺陷检测领域面临的三大挑战：实时性问题、小样本问题和小目标问题,目的是为工业表面缺陷检测的研究提供有益的参考和脉络梳理。     

基于多尺度卷积神经网络和类内mixup操作的磁瓦表面质量识别

铁氧体磁瓦由于形状的不规则性和表面缺陷的多样性给基于计算机视觉的表面质量识别带来很大的挑战。针对该问题,将深度学习技术引入到磁瓦表面质量识别中,提出一种基于卷积神经网络的磁瓦表面质量识别系统。首先将磁瓦目标从采集到的图像中分割出来并进行旋转从而得到标准图像,然后把改进后的多尺度ResNet18作为骨干网络来设计识别系统。训练时,设计一种新颖的类内mixup操作来提高系统对样本的泛化能力。为了更加贴近实际应用场景,在考虑到光线变化、姿态差异等因素的前提下构建了磁瓦缺陷数据集。在自建的数据集中进行实验的结果表明,该系统可以达到97.9%的识别准确率,为磁瓦缺陷的自动识别提供了可行的思路。     

基于深度主动学习的磁片表面缺陷检测

摘要：磁片表面缺陷的检测一直是磁片厂流水线生产中提高生产效率、降低生产成本的重要环节。当前多种机器视觉检测方法已经被应用,这些方法都是采取人工提取缺陷特征,但由于磁片表面对比度低,磨痕纹理干扰和缺陷块小且亮度变化大等难点,导致准确度不高、通用性不强;另外在实际生产中巨大数据量获取容易,而人工标注成本高;为此提出一种基于深度主动学习的磁片表面缺陷检测方法可以解决以上两个问题;该方法首先,结合边缘检测和模板匹配算法将磁片前景和背景进行分割;其次,使用Inception-Resnet-v2深度神经网络对样本进行训练,完成对缺陷图像的识别;最后,在深度学习过程中,提出一种主动学习的方法来克服数据集庞大但标注成本高的难点。实验结果表明,该方法的缺陷检测识别率达到了96.7%,并且最多能节省25%的人力标注成本。     

机器视觉表面缺陷检测综述

目的 工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响,所以生产企业对产品的表面缺陷进行检测以便及时发现并加以控制。机器视觉的检测方法可以很大程度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端,在现代工业中得到越来越广泛的研究和应用。方法 以机器视觉表面缺陷检测为研究对象,在广泛调研相关文献和发展成果的基础上,对基于机器视觉在表面缺陷检测领域的应用进行了综述。分析了典型机器视觉表面缺陷检测系统的工作原理和基本结构,阐述了表面缺陷视觉检测的研究现状、现有视觉软件和硬件平台,综述了机器视觉检测所涉及到的图像预处理算法、图像分割算法、图像特征提取及其选择算法、图像识别等相关理论和算法研究,并对每种主要方法的基本思想、特点和存在的局限性进行了总结,对未来可能的发展方向进行展望。结果 机器视觉表面缺陷检测系统中,图像处理和分析算法是重要内容,算法各有优缺点和其适应范围。如何提高算法的准确性、实时性和鲁棒性,一直是研究者们努力的方向。结论 机器视觉是对人类视觉的模拟,机器视觉表面检测涉及众多学科和理论,如何使检测进一步向自动化和智能化方向发展,还需要更深入的研究。     

基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法

针对硬币表面缺陷较小、形状多变且易与背景混淆而不易检出的问题,改进YOLOv3算法并提出基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法DCA-YOLO.首先,由于缺陷形状的多变设计了3种在主干网络中不同位置添加可变形卷积模块的网络结构,通过卷积学习偏移量和调节参数来提高缺陷的提取能力;然后,使用自适应空间特征...     

Automatic defect detection of metro tunnel surfaces using a vision-based inspection system

Due to the impact of the surrounding environment changes, train-induced vibration, and human interference, damage to metro tunnel surfaces frequently occurs. Therefore, accidents caused by the tunnel surface damage may happen at any time, since the lack of adequate and efficient maintenance. To our knowledge, effective maintenance heavily depends on the all-round and accurate defect inspection, which is a challenging task, due to the harsh environment (e.g., insufficient illumination, the limited time window for inspection, etc.). To address these problems, we design an automatic Metro Tunnel Surface Inspection System (MTSIS) for the efficient and accurate defect detection, which covers the design of hardware and software parts. For the hardware component, we devise a data collection system to capture tunnel surface images with high resolution at high speed. For the software part, we present a tunnel surface image pre-processing approach and a defect detection method to recognize defects with high accuracy. The image pre-processing approach includes image contrast enhancement and image stitching in a coarse-to-fine manner, which are employed to improve the quality of raw images and to avoid repeating detection for overlapped regions of the captured tunnel images respectively. To achieve automatic tunnel surface defect detection with high precision, we propose a multi-layer feature fusion network, based on the Faster Region-based Convolutional Neural Network (Faster RCNN). Our image pre-processing and the defect detection methods also promising performance in terms of recall and precision, which is demonstrated through a series of practical experimental results. Moreover, our MTSIS has been successfully applied on several metro lines.     

基于轻量级网络的钢铁表面缺陷分类

缺陷分类是钢铁表面缺陷检测的重要内容.在卷积神经网络(CNN)取得良好效果的同时,网络日益增长的参数量耗费了大量计算成本,为缺陷分类任务在个人计算机或低算力设备上的部署带来了巨大的挑战.针对上述问题,提出了一种新颖的轻量级网络模型Mix-Fusion.首先,通过组卷积和通道洗牌两种操作,在保持精度的同时有效降低计算成本...     

冷轧带钢表面缺陷在线检测软件体系结构设计

为解决带钢表面缺陷在线检测系统的信息支持和后续处理的问题,遵循软件工程的设计思想,提出了一套完整的冷轧带钢表面缺陷在线检测系统的软件体系结构设计方案,建立了系统的层次结构模型、功能结构模型及其后台数据库,通过可视化程序设计和关系数据库实现了检测软件的系统功能.该系统不仅能够识别分类各种缺陷,而且可通过数据库保存各类数据信息,便于对各类信息数据进行查询和管理,并解决了系统算法更新的问题.该体系结构的设计为在线检测缺陷分类识别的进一步研究奠定了基础,具有一定的实用价值.     

基于改进相干增强扩散与纹理能量测度和高斯混合模型的导光板表面缺陷检测方法

针对液晶屏(LCD)导光板表面缺陷检测方法存在漏检率和误检率较高,对产品表面复杂渐变的纹理结构适应性差的问题,提出一种基于改进相干增强扩散(ICED)与纹理能量测度和高斯混合模型(TEM-GMM)的LCD导光板表面缺陷检测方法。首先,构建ICED模型,基于结构张量引入平均曲率流扩散(MCF)滤波,使得相干增强扩散(CED)模型对缺陷的细线状纹理有良好的边缘保持效果,并利用相干性得到缺陷纹理增强和背景纹理抑制的滤波后图像;然后,根据Laws纹理能量测度(TEM)提取图像纹理特征,将图像的背景纹理特征作为离线阶段高斯混合模型(GMM)的训练数据,使用期望最大化(EM)算法估计GMM参数;最后,计算待检测图像各像素的后验概率,并将其作为在线检测阶段缺陷像素的判断依据。实验结果表明,该检测方法在导光颗粒随机、规则两种分布的缺陷图像测试数据组上的漏检率和误检率分别为3.27%、4.32%和3.59%、4.87%。所提检测方法适用范围广,可有效检测出LCD导光板表面划痕、异物、脏污和压伤等类型的缺陷。     

一种带钢表面缺陷识别与分类的研究——基于混合加权特征和RBF网络的方法

本论文中,采用灰度直方图特征、灰度共生矩阵特征和小波变换特征的提取方法,三种特征方法的结合能够很好的实现分类的目的。在提取特征向量的基础上,本研究基于MATLAB6.5环境下的神经网络工具箱,采用了兼顾识别速度与分类准确性的RBF神经网络分类器对带钢表面缺陷进行识别与分类,此算法可以作为高速生产线的带钢表面缺陷的实时检测优选方案。     

基于特征融合方法的轻微认知衰退静息态脑电数据自动检测技术研究

轻微认知衰退是阿尔茨海默病的早期阶段,而利用脑电信号进行轻微认知衰退的特征提取与分类是诊断轻微认知衰退的重要方法。在基于脑电人工智能轻微认知衰退自动检测技术中,现有研究只提取脑电波信号中的某一个特征或简单地拼接多个特征,这会导致这些方法并不能较好地考虑特征之间的相关性,并且会引发维度灾难的问题;提出了一种基于卷积神经网络的轻微认知衰退静息态脑电数据自动检测算法,通过提取脑电的功率谱及脑网络特征,并通过矩阵运算的方式对这两种特征进行融合,利用卷积神经网络对融合后的特征进行分类。该方法在上海某医院采集的数据集上获得较高的准确率;此外,通过输入特征集的不同子集,该方法找到了对轻微认知衰退最有贡献的几组特征,从而还具有一定的可解释性。在本数据集上证明了功率脑网络对于轻微认知衰退自动诊断的优势。