基于机器视觉的表面缺陷检测方法研究进展

基于机器视觉的表面缺陷检测以无接触、无损伤、自动化程度高及安全可靠等突出优点被广泛应用于各种工业场景中,尤其随着深度学习技术的快速发展,视觉缺陷检测有助于提高产品及装备的智能化水平。综述分析了表面缺陷检测的常用方法、通用数据集、检测结果评价指标和现阶段面临的关键问题。首先,将缺陷检测方法分为传统基于图像处理的缺陷检测、基于传统机器学习模型的缺陷检测及基于深度学习的缺陷检测,并对各种方法进一步细分归类和对比分析,总结了每种方法的优缺点和适用场景;然后,对目前常用的缺陷检测结果评价方法做出了描述,进一步探讨了表面缺陷检测应用在实际工业产品检测过程中关键问题——小样本问题,重点剖析了小样本问题的解决方法和无监督学习在解决这类问题上的优势;最后,从提高缺陷检测方法的工业适用性角度展望了下一步研究方向。     

基于机器视觉的太阳能电池片缺陷检测算法综述

太阳能电池片（Photovoltaic, PV）表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。     

基于机器视觉的表面缺陷检测方法研究进展

在半导体、PCB、汽车装配、液晶屏、3C、光伏电池、纺织等行业中,产品外观与产品性能有着千丝万缕的联系。表面缺陷检测是阻止残次品流入市场的重要手段。利用机器视觉的技术进行检测效率高、成本低,是未来发展的主要方向。本文综述了近十年来基于机器视觉的表面缺陷检测方法的研究进展。首先给出了缺陷的定义、分类以及缺陷检测的一般步骤;然后重点阐述了使用传统图像处理方式、机器学习、深度学习进行缺陷检测的原理,并比较和分析了优缺点,其中传统图像处理方式分为分割与特征提取两个部分,机器学习包含无监督学习和有监督学习两大类,深度学习主要囊括了检测、分割及分类的大部分主流网络;随后介绍了30种工业缺陷数据集以及性能评价指标;最后指出缺陷检测方法目前存在的问题,对进一步的工作进行了展望。     

基于视觉感知的表面缺陷检测综述

基于视觉感知的表面缺陷检测，具有高效、可防止二次损伤等优点，被广泛应用于各种工业场景中。近年来深度学习技术的快速发展进一步推动了视觉缺陷检测的进步与应用。以特征的显式提取与自动提取为思路，对基于视觉感知的缺陷检测方法进行综述和分析。首先，简要描述了视觉缺陷检测系统的基本构成，将缺陷检测中的视觉感知归为分类、目标检测和分割3个层次。然后，将现有的视觉检测方法分为基于显式特征提取的(传统方法)和基于自动特征提取的(深度学习方法)。进一步，将基于显式特征提取的方法分为统计法、谱方法和模型法3类，将基于自动特征提取的方法分为整图分类的、目标检测的和像素分割的方法。对每一类方法的特点和适用场景进行了归纳总结与分析。同时，针对工业应用中数据获取成本高的问题，介绍了近年来出现的弱监督缺陷检测方法与异常检测方法，并介绍了具有较大影响力的工业表面缺陷数据集。最后，针对如何减少对大量标注数据的依赖和如何提高检测方法在工业现场的适用性两个关键问题展开讨论，展望了该领域下一步的研究方向。     

基于深度学习的金属材料表面缺陷检测综述

表面缺陷检测是产品质量检测的关键环节，近年来随着深度学习技术的迅速发展，金属材料表面缺陷检测技术大幅提升。对近几年基于深度学习的金属材料表面缺陷检测方法进行了梳理和分析，并从监督方法、无监督方法以及弱监督方法 3个方面对比论述了近年来的研究现状及应用效果。最后系统总结了金属材料表面缺陷检测中的关键问题及解决方法。结合工业需求，对表面缺陷检测的进一步发展进行了思考与展望。     

基于语义分割的纸质包装产品表面缺陷检测

针对工业生产中纸质包装产品表面缺陷检测主要依赖人工，效率低下且检测精度无法保证等实际问题，采用一种基于深度学习中语义分割任务的表面缺陷检测方法。以包装纸盒表面缺陷图像数据为例，根据分割任务需求，从结构上改进Unet算法，并基于OpenMMLab开源计算机视觉算法体系中mmsegmentation语义分割工具箱模块，配置DeepLabV3+、Unet、改进Unet三种图像分割算法环境，分别训练迭代相同次数，对比分析分割检测结果以及对验证集图像的预测效果，可以证实改进Unet算法分割性能得到提升，能更好地检测出纸质包装产品表面的深度划痕缺陷；而DeepLabV3+算法性能相对最优，能更好地检测出纸质包装产品表面的破损缺陷，这对于实现纸质包装产品表面缺陷的自动检测具有一定意义。     

基于集成自适应欠采样的铝管表面缺陷检测方法研究

铝管作为一种常见的传输零件,对其表面缺陷进行检测是保证其生产质量、运行安全的必要措施。基于机器视觉的铝管表面缺陷检测方法因其检测精度高、速度快等优点,已取代人工检测,成为主流检测方法之一。但由于缺陷样本与背景样本之间分布不平衡,导致分类器决策边界偏移、检测精度下降,限制了其应用范围。针对这一问题,提出一种基于集成自适应欠采样的铝管表面缺陷检测方法,首先利用支持向量描述方法对数据分布间的重叠区域进行识别,其次通过构建样本局部密度关系自适应确定欠采样对象及数量,最终利用随机空间生成技术同时对数据样本空间和特征空间进行优化。试验结果表明,所提方法在铝管表面缺陷数据集上识别精确率达到98.52%,优于其他先进检测方法。     

基于度量学习的小样本零器件表面缺陷检测

针对零器件表面缺陷检测时存在缺陷样本少、缺陷目标尺寸大小不一和易发生几何形变等问题,提出一种基于度量学习的小样本零器件表面缺陷检测模型。该模型首先将特征金字塔网络中传统卷积改进为动态卷积,并加上区域建议网络对小样本缺陷进行特征提取和边框定位;然后在大型数据集MS COCO上进行预训练,将训练好的模型结构参数迁移到具有少量缺陷样本的检测中;最后建立基于度量学习的多模态网络结构实现小样本零器件表面缺陷检测。实验表明,所提方法在ImageNet LOC公共数据集上与其他模型相比性能更优,5类5样本下均值平均精度为70.43%;在所建立的零器件表面缺陷数据集上,3类5样本的均值平均精度最高可达35.76%,相比RepMet模型性能最大可多提升近70%。     

基于球面正则化的支持向量描述视觉异常检测

异常检测作为视觉领域中一项独特而关键的任务,在医疗、安保等领域具有广泛的前景。 异常检测目前受限于大规模 异常数据标注,因此现有方法集中在单类分类和弱监督学习,深度支持向量描述(Deep SVDD)是实现单类分类的常见方法。 然 而,传统 Deep SVDD 在开展异常检测时往往面临球体崩塌。 针对这一问题,提出了基于球面正则化的 SVDD 异常检测算法,通 过引入软间隔损失与支持向量的思想,优化模型学习流程。 进一步地,面向可标注样本,提出了基于 SVDD 的弱监督异常检测 方法。 在公开数据集 MNIST 和 CIFAR-10 上进行消融和对比实验,实验证明,相比于有监督算法,在 MNIST 数据集上,SR-WSVDD 的性能提高了 3. 7% ,而在 CIFAR-10 数据集上则提高了 16. 7% 。 此外,与其他弱监督算法相比,SR-WSVDD 在 CIFAR- 10 数据集上提升了 1. 8% 。 所提出的 SR-SVDD 异常检测算法,弥补 Deep SVDD 容易发生球体崩塌的缺陷,使模型异常检测结 果更加准确。     

基于视觉感知的表面缺陷智能检测理论及工业应用

由于在工业产品质量监控中不可比拟的优势,基于视觉感知的表面缺陷检测近年来得到了很多研究者的持续关注,且已广泛应用于不同工业领域,包括汽车工业、半导体加工、玻璃制造、钢铁冶金等。AI学习算法与视觉传感技术的飞速发展为表面缺陷检测研究带来了新的机遇与挑战。综述了基于视觉感知的表面检测研究中的主要方法与进展,重点介绍了图像处理、几何深度学习、面向目标检测的深度学习等方向的研究现状,这些研究有望为表面缺陷智能检测技术的发展带来突破。讨论了工业图像检测与识别在钢铁冶金、大气污染监测以及航空发动机缺陷检测3个领域的应用。最后,提出了值得研究的挑战性问题。     

基于视觉的输电线路金具锈蚀缺陷检测方法研究进展

输电线路金具的表面锈蚀作为常见的缺陷类型,是危害输电线路安全运行的重要隐患之一,如何快速、准确地发现锈蚀 的金具设备并进行修复是线路巡检运维工作亟待解决的问题。 本文综述了近十年来基于视觉的输电线路金具锈蚀缺陷检测方 法的研究进展。 首先简述了基于传统图像处理的金具锈蚀缺陷检测流程;然后按照基于传统图像处理、深度学习方法概述了金 具设备锈蚀缺陷检测,重点阐述了基于深度卷积神经网络的目标检测和语义分割算法在输电线路金具锈蚀缺陷检测中的应用; 随后介绍了基于深度学习的金具锈蚀缺陷检测自建数据集以及性能评价指标;最后指出了基于深度学习的输电线路金具锈蚀 缺陷检测方法目前存在的问题,并对未来研究工作进行了展望。     

基于机器视觉的 PCB 缺陷检测算法研究现状及展望

印刷电路板(PCB)是电子零件的基板,需求量极大,承载着电路元件和导线的布局,其优良与否对电子产品的质量有着 重要影响。 由于电子产品的制作逐渐趋于轻薄、精小,基于机器视觉的 PCB 缺陷检测已成为一个具有挑战性的问题。 为了加 深研究人员对 PCB 缺陷检测的理解,本文从传统图像处理方式、传统机器学习及深度学习 3 大维度全面回顾了近 10 年基于机 器视觉的 PCB 缺陷检测算法,并分析其优缺点;介绍了 9 个 PCB 数据集,给出了评价 PCB 缺陷检测算法的性能指标,且在 PCB 数据集及流行的小目标数据集上分别对典型的算法进行了对比分析;最后指出了 PCB 缺陷检测算法目前存在的问题,展望了 未来可能的研究趋势。     

利用深度学习进行目标检测

随着深度学习在最近几年的快速发展,利用深度学习进行多项的计算机视觉任务也变得越来越容易,另外大规模并行计算硬件的发展,为深度学习的大量计算提供了可能。自动驾驶这样一项比较依赖视觉的任务也变得普遍起来,本文利用自建的数据集,主要为开放道路的车辆检测数据,分别使用多种方法进行目标检测任务,最终获得了比Faster R CNN等一步检测的方法更快的速度以及相当的准确率。     

纹理表面缺陷机器视觉检测方法综述

纹理表面缺陷检测在机器视觉领域具有意义和挑战性，其历史可以追溯到20世纪中后期，近年来随着深度学习技术的蓬勃发展，纹理表面缺陷检测技术大幅飞跃。直至今日，关于纹理表面缺陷检测的调研和综述仍然很少。在此背景下，本文回顾2017年-2021年间200余篇纹理表面缺陷机器视觉检测论文，对纹理表面缺陷机器视觉检测研究进展进行了及时、全面的调查；分析了纹理表面缺陷检测的发展历史和最新研究进展，原则上将纹理表面缺陷机器视觉检测方法分为传统方法与深度学习方法，并对二者进行了深层次研究分析，特别是深度学习方法；对近期出现的几种纹理表面缺陷机器视觉检测方法主题进行总结的同时，也对这些主题的研究进展进行了综述。最后，对未来的研究趋势进行了展望，以期为后续研究提供指导和启示。     

基于显著性线索与改进U-Net的织物缺陷检测方法

计算机视觉建立了图像处理与工业之间的联系，将现代感知技术引入到了自动化工业中。同时，基于深度学习的缺陷检测方法已在自动化检测中扮演重要角色。提出一种结合显著性检测算法与改进卷积神经网络CU-Net的织物缺陷检测方法。首先融合五条基于人类视觉机制的重要显著性线索，对织物图像预处理，其次对经典U-Net网络改进，在压缩网络尺寸基础上，引入注意力机制并使用新的复合损失函数进行训练。利用公开的AITEX缺陷织物数据集作为测试样本，结果表明，方法的准确率Acc和召回率RE分别达到98.3%和92.7%，相比于其他检测方法的最高分数提高4.8%和2.3%，显著提升了织物缺陷检测精度。     

基于生成对抗网络的葡萄叶片图像数据增强方法

农作物病害的治理与防治对农作物的产量和品质有着极其重要的影响。近年来,随着计算机视觉与深度学习技术的发展,基于叶片图像的农作物病害识别研究受到了广泛关注。在葡萄病害识别领域,大规模病害叶片标注数据集的缺乏限制了识别的准确率,而获得专业的葡萄病害数据集需要耗费大量的人力和物力。针对叶片数据集缺乏等问题,提出了一种基于循环生成对抗网络的数据生成模型。实验表明,该模型能够生成质量较高的葡萄叶片病害图像,且能够提升小样本葡萄病害的识别准确率。     

基于联合对抗训练的深度学习表面缺陷检测方法

表面缺陷检测是确保产品质量的重要途径。深度学习在表面缺陷检测中已经得到了大量应用,并为实现自动化的表面缺陷检测提供有效的技术途径。然而,深度学习模型容易受到对抗攻击的威胁,进而严重影响其准确性,甚至造成模型失效。为提升深度学习模型对对抗攻击算法的防御能力,基于对抗训练提出新的基于联合对抗训练的深度学习模型。对抗攻击算法包括单步攻击算法和迭代攻击算法,为提升所提联合对抗深度学习模型的防御能力,在对深度学习模型训练时即同时添加不同对抗攻击算法生成的对抗样本,同时增强模型对单步对抗攻击算法和迭代对抗攻击算法的防御能力。为验证所提算法的有效性,所提算法以CIFAR10和磁瓦表面缺陷数据集为基础进行验证。试验结果表明,所提的联合对抗训练深度学习模型能显著提升对单步对抗攻击与迭代对抗攻击的鲁棒性,并优于传统方法。     

基于机器视觉和反向传播神经网络的蓝莓表面缺陷检测

针对蓝莓表面缺陷检测快速、准确的需求,提出一种基于机器视觉和反向传播神经网络的蓝莓表面缺陷检测方法。构建蓝莓表面缺陷图片数据集,通过形态学相加等图像处理技术实现蓝莓图像的背景去除与图像增强,采用最大类间方差阈值方法提取蓝莓表面缺陷。对蓝莓表面缺陷提取外观特征,包括色调分量图像的色调累积频度、纹理特征、几何特征。利用主成分分析优化蓝莓表面缺陷外观特征,构建基于反向传播神经网络的蓝莓表面缺陷检测模型。测试集检测结果表明,采用基于机器视觉和反向传播神经网络的蓝莓表面缺陷检测方法,平均识别率达到92.3%,对腐烂、擦伤、机械损伤、褶皱的识别率均高于83%。     

基于深度学习的飞机蒙皮缺陷检测研究

在飞机的飞行过程中,蒙皮表面会出现裂纹、撞击和腐蚀的问题,不仅降低了飞机的使用寿命,而且还对飞行人员造成安全威胁.为了准确实时检测表面缺陷,提出了基于深度学习的飞机蒙皮缺陷检测的方法.首先利用对抗生成网络DCGAN对预处理后的缺陷图像进行增强训练,得到庞大的样本集,接着使用基于Faster R-CNN的深度学习算法进行...     

铸件缺陷语义分割的编码器-解码器网络

深度学习的快速发展扩展了基于视觉的缺陷检测应用。针对铸件缺陷类间差异小、类内差异大、缺陷规模小等难点，提出一种编码器-解码器架构的语义分割网络，使用在ImageNet上预训练的ResNeSt主干网络作为特征提取器，构建密集连接的多尺度特征融合模块提升有效特征利用率，增强网络特征表示能力，解码器端融合低层级特征改善缺陷边缘分割效果，再通过双线性插值进行上采样以恢复空间分辨率。网络在构建的X射线铸件缺陷分割数据集上进行训练和评估，采用混合损失函数解决数据集样本不均衡问题，提升模型性能。实验结果表明，提出的语义分割方法能够提升铸件缺陷分割精度，效果优于其他语义分割方法。