融合多尺度特征的工业缺陷检测模型

利用照相机成像对工业环境中的物体进行表面缺陷检测是自动检测的主要应用之一.近年来,生产规模的扩大对缺陷的快速检测提出了要求,传统方法难以达到较高的效率.同时,缺陷检测更注重对纹理特征的提取,通用的深度卷积网络不能直接应用于该任务.为了克服以上挑战,本文提出了一种基于单阶段目标检测算法的表面缺陷检测模型,通过更宽的骨干网络提取丰富的上下文信息,进行多尺度特征融合,针对不同的检测目标采用差异化的检测头部;同时引入注意力机制,提高特征利用率;为了验证所提出方法的有效性,在3个数据集上进行了实验,取得了较好的性能,并与其他模型进行比较,表明所提出的方法优于现有方法.     

小波变换三阈值多尺度融合边缘检测算法

充分利用边缘点和噪声点在梯度方向特征上的差异,提出了边缘点的梯度方向特征的概念。在不同尺度上对图像进行小波变换,得到每个像素点的梯度信息,利用双阈值的非极大值抑制法和边缘点的梯度方向特征提取每一尺度上的边缘点,最后用第三个阈值融合各尺度下的检测结果,得到图像边缘。实验结果证明,该算法与经典的Canny算子和Mallat小波算子相比,在保证边缘定位能力的同时,具有更强的抗噪声性,在强噪声干扰下仍可获得满意的边缘检测效果。     

基于改进型SSD算法的空瓶表面缺陷检测

注塑空瓶在生产过程中瓶身表面会产生大量缺陷,这些缺陷对产品的外观和使用造成重要的影响。传统的人工检测由于劳动强度高、检测效率低等缺点已不适用,基于机器视觉的传统检测算法对于复杂的场景变化,所提取的特征通常很难用于缺陷分类和识别。因此,提出一种基于SSD算法,对注塑空瓶表面缺陷进行检测。考虑空瓶表面缺陷较小,特征难以提取,为提高检测效果,在SSD网络结构中加入特征融合模块,为预测层提供丰富的语义特征;同时在网络中引入注意力机制,增加网络的特征提取能力,有效地提高网络的检测精度。通过用空瓶表面缺陷数据集对本文的方法进行验证,准确率为98.3%,漏检率为0.74%,误检率为0.96%,mAP为96.5%,相比原始的SSD算法的mAP,本文算法提高了近5.6个百分点。     

改进YOLOv3的轧钢表面缺陷检测方法

针对轧刚表面缺陷种类多样、形状多变导致检测效率低、精度差的问题,提出了一种改进YOLOv3的轧钢表面缺陷检测算法。首先,对骨干网络提取的特征采用PSA金字塔拆分注意力模块进行多尺度融合。其次,采用PAN结构代替FPN,使得浅层语义和深层语义的特征能充分融合。接着采用Decoupled＿Head,将回归预测和逻辑预测分离以避免之间的干扰。最后,在损失函数方面,根据真实框大小赋予不同权值,以提高网络对小目标的检测效果。实验表明改进后的YOLOv3在NEU-DEU数据集上的平均检测精度为80.01%,比原始的YOLOv3提高了3.05%,且相较于YOLOx、YOLOv5等算法也有较大的检测精度优势。     

基于异常检测的产品表面缺陷检测与分割

工业制造中缺陷样本难以获得且缺陷表现形式多样,只用训练正样本的异常检测技术越来越多地被应用于产品表面缺陷检测。异常检测一般通过评估产品图像的异常分数对产品进行有无缺陷的判断,缺乏对缺陷位置的描述,最新提出的异常分割方法对此进行了改进,但对缺陷区域的分割不够精确。基于异常检测方法,使用标准化流来判断产品表面是否有缺陷,采用多尺度特征融合并对齐来初步定位缺陷位置,结合梯度和最大信息熵,使用分水岭算法对初定位结果进行优化得到缺陷分割掩码。在丽盛制板,KolektorSDD和AITEX3个表面缺陷数据集的检测与分割结果均优于其他同类方法。此外,在小样本数据集上也能达到良好的检测与分割精度。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

增强灰狼自适应阈值去噪法在变压器套管引线超声检测中的应用

超声检测作为一种新型的电力设备检测方式,回波信号极易受到噪声干扰,为了提高信号质量,提出了一种增强灰狼自适应阈值去噪法。首先,对信号进行多尺度小波分解,引入基于梯度下降自适应阈值法,用于估计不同小波分解层的阈值大小。然后改进传统灰狼算法的变异策略与收敛因子,优化自适应阈值函数梯度值,确定最优阈值并完成信号去噪。对仿真及实测超声回波信号的去噪结果表明,经本算法去噪后,超声回波信号的起振位置等有效信息得以保留,信号信噪比更高,均方误差更小,运行时间更短。本算法应用到变压器套管引线超声检测中,可提高超声检测的准确性,获取了变压器套管引线的状态,具有一定的应用价值。     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.     

小样本条件下的带钢表面缺陷检测

针对工业场景下带钢表面缺陷样本少、缺陷尺寸大小不一等问题, 提出一种适用于小样本条件下的带钢表面缺陷检测网络. 首先, 算法以YOLOv5s框架为基础, 设计一种融合注意力机制的多尺度路径聚合网络作为模型的颈部, 增强模型对缺陷目标的多尺度预测能力; 其次, 提出一种自适应解耦检测结构, 缓解小样本情况下分类和定位任务之间的矛盾; 最后, 提出一种融合Wasserstein距离的边界框回归损失函数, 提升模型对小目标缺陷的检测精度. 实验表明, 在构建的小样本带钢表面缺陷数据集上, 本文模型的检测性能优于其他小样本检测模型, 更适用于工业环境下的小样本缺陷检测任务.     

基于自适应阈值的多特征经验融合疲劳检测

在安防领域,疲劳是导致安防工作人员注意力下降,诱发各类问题的重要原因.现有的疲劳检测方法存在各种问题,比如生理指标检测侵入性强且价格昂贵,人脸疲劳检测结果受个体差异和头部姿态的影响以及疲劳预警时长较短等,因此本文提出一种基于自适应阈值和面部多特征经验融合的疲劳早后期检测算法,使用轻量级的SCRFD模型进行人脸检测,使用MobileNetV2模型进行人脸关键点定位,使用梯度提升树学习头部姿态信息与眼睛纵横比(EAR)阈值的映射关系,通过眼睑闭合时间百分比(PERCLOS)、嘴巴张开时间百分比(FOM)和头部姿态6个自由度分别实现眨眼、哈欠、点头前后倾动作的识别.在疲劳估计阶段,为了将多种疲劳行为融合映射成与疲劳相关的KSS值,先根据专家经验预先构建好多种人脸行为的疲劳因果图,接着使用自定义的singleton,mutual和activate/inhibit特征算子,结合因果图从人脸行为检测序列中计算疲劳早期和疲劳后期KSS值,最后使用双尺度KNN实现疲劳早后期估计.实验结果表明所提算法在YawDD数据集上哈欠检测准确率达到93.81%,在UTA-RLDD和Drozy数据集上疲劳识别准确率...     

基于多聚焦图像融合的小孔内表面缺陷检测

针对传统直径3 mm以下小孔内表面缺陷检测缺乏有效检测方法的问题,提出了一种新的基于显微光学与多聚焦图像融合的小孔内表面缺陷检测方法。首先在不同光照环境下,呈斜入射方式沿小孔轴线方向依次采集单侧孔壁的序列图像;然后通过前景光照下得到的掩膜模板提取孔壁图像的感兴趣区域（ROI）,并运用快速鲁棒性特征（SURF）算法实现ROI配准;进而采用基于区域清晰度的小波图像融合方法实现ROI多聚焦图像融合;最后以直径2 mm喷丝板导孔为实验对象,采用阈值分割算法提取导孔内表面的溶蚀斑进行检测分析。实验结果表明,该方法具有一定的可行性,避免了传统人工检测方法效率低的问题,同时打破了传统直径3 mm以下的小孔内表面检测方法不再适用的局限性。     

基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法

针对目标检测中分类和定位子任务分别需要大感受野和高分辨率,难以在这两个相互矛盾的需求间取得平衡的问题,提出一种用于目标检测的基于注意力机制的特征金字塔网络算法。该算法能整合多个不同感受野来获取更丰富的语义信息,以一种更关注不同特征图重要性的方式融合多尺度特征图,并在注意力机制引导下进一步精练复杂融合后的特征图。首先,通过多尺度的空洞卷积获取多尺度感受野,在保留分辨率的同时增强语义信息;其次,通过多级特征融合（MLF）方式将多个不同尺度的特征图通过上采样或池化操作变为相同分辨率后融合;最后,利用注意力引导的特征精练模块（AFRM）对融合后的特征图作精练处理,丰富语义信息并消除融合带来的混叠效应。将所提特征金字塔替换Faster R-CNN中的特征金字塔网络（FPN）后在MS COCO 2017数据集上进行实验,结果表明当骨干网络为深度50和101的残差网络（ResNet）时,平均精度（AP）分别达到了39.2%和41.0%,与使用原FPN的Faster R-CNN相比,分别提高了1.4和1.0个百分点。可见,所提特征金字塔网络算法能替代原FPN,更好地应用在目标检测场景中。     

基于BEMD和自适应阈值的多尺度边缘检测

利用了一种称为经验模式分解(Empirical Mode Decomposition,EMD)的技术,在多尺度下对图像进行分解,得到了多尺度信息并结合自适应阈值提取不同尺度下的边缘.将此技术应用于图像过滤和边缘检测中,发展了一种基于二维经验模式分解(BEMD)的算法,在多尺度下或空间频率中提取信号特征.这些特征,称为内蕴模函数,可通过一个过滤过程得到.在二维过滤过程中,利用形态学算子来检测区域极大值并通过径向基函数(RBFs)进行曲面插值运算,然后利用边缘信息的多尺度特征合成多尺度边缘,得到了单像素宽边缘.通过计算机仿真实验,结果表明这种方法不仅能准确地检测出图像边缘,而且还有效地抑制了噪声,这种算法的性能优于传统的边缘检测算法.     

基于多尺度残差网络优化的工业品表面缺陷检测

工业品表面缺陷检测是工业产品质量评估的关键环节,实现快速、准确、高效的检测对提升工业产能具有重要意义。本文针对传统神经网络提取特征尺度单一、参数量大,网络训练效率低等问题,提出了一种基于残差网络的多尺度特征融合与RBN结合的残差网络模型。首先该模型通过多尺度卷积特征融合模块提取不同尺度的特征信息;然后,通过引入RBN层,使特征分布更加均匀;最后,采用全局平均池化代替传统的全连接层来减少模型的参数量,实现输出通道与特征类别的直接映射。本文提出的网络模型在公开数据集NEU-DET上进行实验,识别率达到100%,在天池人工智能大赛铝型材缺陷数据集上的识别率达到98.8%,模型性能较为优异,可以很好的完成工业品表面缺陷检测任务。     

非下采样Contourlet域自适应阈值面的磁瓦表面缺陷检测

为提高磁瓦表面缺陷人工检测效率、防止缺陷漏检,针对经典缺陷检测算法不能很好地提取颜色暗、对比度低的磁瓦图像缺陷问题,提出一种非下采样Contourlet域自适应阈值面的磁瓦缺陷自动检测方法.该方法根据非下采样Contourlet变换(NSCT)子带系数所在不同区域的特性,采用线扫描的方式对NSCT系数进行阈值处理,给出不同尺度、不同方向的归一化自适应阈值面;并与原始NSCT各子带归一化系数对比分割,以实现对磁瓦图像NSCT系数逐列自适应修正;最后重构NSCT系数提取出磁瓦缺陷.实验结果表明,文中方法能够有效地去除磁瓦表面纹理,提取出磁瓦表面缺陷的准确率可达95%.     

基于多尺度融合的蜂窝复合材料缺陷检测网络

针对航空蜂窝板复合材料外部蒙皮破损导致内部产生泥沙、积水以及裂纹等影响飞行安全的问题,提出采用电容层析成像技术(ECT,electrical capacitance tomography)进行蜂窝板复合材料缺陷检测;针对平面ECT成像精度低的问题,通过构建多尺度融合策略、残差编码解码融合模块,引入一种新的池化模块(Soft-pool)等形成多尺度残差编码解码路径的深层神经网络(Ms RED,multi scale residual encoding and decoding paths),使最终的结果完全融合解码阶段学到的特性,对使用共轭梯度成像算法的重建图像进一步改善;结果表明,应用平面ECT技术可以实现蜂窝材料的缺陷检测,通过Ms RED网络可以提升图像重建效果,更清晰重建出蜂窝结构缺陷图像.     

基于多尺度特征融合的轻量级异常行为检测模型

针对数据量复杂的视频监控场景下现有的异常行为检测模型对小目标异常行为的准确率不高、计算量复杂的问题,本文提出一种基于多尺度特征融合的轻量级异常行为检测模型。首先将YoloV4主干网络替换为MobileNet网络,有效减少模型的参数总量与计算量;其次在MobileNet的逆残差结构中嵌入自注意力机制加强获取全局语义信息的能力;接着使用自适应空间特征融合结构ASFF(Adaptively Spatial Feature Fusion)优化PANet(Path Aggregation Network)网络结构,使模型获得不同尺度特征数据的权重融合,进一步有效利用浅层特征和深层特征,提高对小尺度目标异常行为的检测精度。实验结果证明,文章提出的模型检测在小目标上平均精度均值达到了85.35%,更适合于视频监控场景下的异常行为检测。     

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的 X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络(feature enhancement fusion network, FEFNet)用于X光违禁物品检测。方法 首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果 在SIXRay-Lite(security inspection X-ray)数据集...     

改进YOLOv5s网络在缺陷检测中的应用

针对目前金属表面缺陷检测过程中小目标缺陷检测存在着检测精度低、漏检率高等问题,本文基于经典单阶段目标检测网络的5s版本(YOLOv5s)提出了一种改进方法,并将其应用于金属鼓形滚子表面缺陷检测。由于金属表面存在大量像素占比小、尺度不规整、特征不明显的小目标缺陷,本方法通过自适应锚框计算出适合小目标尺寸的锚框值,并在原网络基础上构建了输出为8倍降采样的特征融合目标检测层,使之更匹配小目标检测任务,同时减小了模型体积,节约了计算时间。将高分辨率工业相机采集的金属鼓形滚子表面缺陷图像制作成数据集,用改进前后的YOLOv5s网络进行对比试验,实验结果表明改进后YOLOv5s网络对小目标缺陷检测的精度有明显提升,能有效检测小目标缺陷。     

基于特征嵌入的无监督火花塞表面缺陷检测

针对火花塞缺陷检测任务中,现有无监督缺陷检测方法由于缺乏检测目标正常特征的界限以及训练样本的不均衡,导致对于标签,反光,油污等不影响产品使用的伪缺陷会产生误检的问题,提出一种基于特征嵌入的无监督缺陷检测算法。使用加入了特征相似度注意力模块的孪生网络训练特征提取器,在高维空间拉近正常特征样本的分布。采用基于密度信息的特征下采样方法,均衡特征的分布并去除冗余特征。使用K近邻算法对测试集特征进行离群点检测,获得每个特征的异常概率作为异常检测和定位的依据。实验结果表明,该方法在自采的火花塞数据集上取得了平均97.0%的检测准确率和96.9%的定位准确率,与几种同类异常检测方法相比,更适用于当下的火花塞缺陷检测任务。