高频噪声下的螺栓表面缺陷检测

螺栓在很多领域内应用广泛,但在制造和加工过程中可能会出现缺陷问题,螺栓表面缺陷的存在将很大程度影响其使用寿命,并可能造成安全隐患.为了更好地检测螺栓表面缺陷,同时提高检测的速度与精度,应用机器视觉相关技术,针对螺栓表面纹理复杂、具有高频噪声难以检测的问题,提出了基于连通域自定义形状描述子的滤波算法.首先通过图像预处理与局部自适应二值化算法得到需要滤波的图像,再根据自定义的形状描述子对连通域进行高效滤波,最后经过后处理得到螺栓表面的缺陷检测结果.提出的算法能准确检测出高频噪声下的螺栓表面缺陷,并为复杂纹理下基于图像的无损质量检测技术提供了新的思路.     

嵌入双注意力机制的Faster R-CNN航拍输电线路螺栓缺陷检测

目的 螺栓是输电线路上最普遍、数量最多的部件,螺栓缺陷检测是输电线路视觉检测任务的一大难点。针对螺栓目标存在背景复杂、目标过小、不同类别之间差异小以及精细特征难以提取的问题,提出一种双注意力机制方法,分别对不同尺度和不同位置的视觉特征进行分析和增强。方法 对于不同尺度的特征,网络使用不同尺度的特征图计算出相应的注意力图,然后将相邻层的注意力图差异性作为正则化项加入网络中,从而增强螺栓区域的精细特征。对于不同位置的特征,先使用特征图计算出图像的空间注意力图,注意力图中每个元素表示两个空间位置的相似程度,然后利用注意力图将局部特征与全局特征融合,从而在全局视野上增强相似的区域,达到增大螺栓与背景的特征差异程度,实现提高螺栓区域的预测效果。结果 本文在航拍输电线路典型螺栓数据集上进行测试,与基线相比,结合双注意力机制的航拍输电线路螺栓检测方法的平均准确率提高了2.21%,其中正常螺栓类提升了0.29%,缺销螺栓类提升了5.23%,螺母缺失螺栓类提升了1.1%。结论 本文提出的基于双注意力机制的航拍输电线路螺栓缺陷检测方法取得了良好的效果,有效避免了螺栓缺陷检测中的误判漏判问题,为进一步对输电线路其他缺陷任务奠定了良好的基础。     

基于隔级交叉特征融合的输电线螺栓缺销检测

目的 螺栓销钉是输电线路中至关重要的连接部件,螺栓的销钉缺失会导致输电线路中关键部件解体,甚至造成大规模停电事故。螺栓缺销检测属于小目标检测问题,由于其尺寸较小且背景复杂,现有的目标检测算法针对螺栓缺销的检测效果较差。为了提升输电线路中螺栓缺销的检测效果,本文以SSD （single shot multibox detector）算法为基础,提出了基于隔级交叉自适应特征融合的输电线路螺栓缺销检测方法。方法 在建立了螺栓缺销故障检测数据集后,首先在SSD网络中加入隔级交叉特征金字塔结构,增强特征图的视觉信息和语义信息;其次,引入自适应特征融合机制进行特征图二次融合,不同尺度的特征图以自适应学习到的权重进行加权特征融合,有效提升螺栓缺销的检测效果;最后,对原始的SSD网络中的先验框尺寸进行调整,使其大小和长宽比更加适合螺栓目标。结果 实验结果表明,本文方法在正常螺栓类的检测精度达到87.93%,螺栓缺销类的检测精度达到89.15%。与原始的SSD网络相比,检测精度分别提升了2.71%和3.99%。结论 本文方法针对螺栓缺销故障的检测精度较高,较原始SSD网络的检测精度有明显提升,与其他方法相比也有一定优势。为后续进一步提升螺栓缺销的检测精度以及对输电线路中其他部件的识别检测工作奠定了良好的基础。     

航拍图像中绝缘子缺陷的检测与定位

长期暴露在自然环境下的绝缘子易产生自爆缺失故障,对此提出了一种绝缘子缺陷检测和定位的图像处理方法。依据绝缘子在航拍图像中的型态特征,采用最大类间方差法以及中值滤波进行图像预处理,提出基于粒子群优化参数的蚁群算法来检测其中的绝缘子轮廓及其数目,最终实现在原图中标记出缺陷绝缘子所在位置的目的。该方法针对简单背景下绝缘子缺陷的标记具有良好的效果,并为进一步实现复杂背景下绝缘子缺陷检测和定位提供了预研基础。     

弱监督学习下的融合注意力机制的表面缺陷检测

现有基于深度学习的缺陷检测方法通常采用强监督学习策略,检测效果依赖于样本的数量和标注的质量.针对上述问题,提出弱监督学习下融合注意力机制的神经网络算法,仅使用图像级别标签便可同时预测缺陷的位置和概率.首先对多尺度感受野模块提取的特征应用特征融合网络,获取更多边缘细节信息;然后通过多层次的自编码器挖掘特征的深层语义信息;同时通过三线性全局注意力模块进一步细化浅层特征的空间位置信息;最后对浅层边缘特征和深层语义特征进行融合增强,得到最终的精细缺陷特征,达到高效准确的自动化表面缺陷检测的目的.基于PyTorch框架用KolektorSDD电转向器表面缺陷数据集验证所提算法,并与U-Net等缺陷检测算法进行对比.检测视觉效果显示,所提算法可以保留更多的细节纹理信息,能够有效扩大细微缺陷与复杂背景之间的特征差异.通过大量实验表明,该算法在复杂场景下比其他模型更为准确,其精准率、F1值和总体精度都有所提升.     

基于机器视觉高空飞机螺栓松动监测仿真

高空飞机受到自身振动、气流冲击和温度瞬变等干扰时,导致飞机螺栓结构松动、断裂或者脱落等问题.飞机螺栓结构具有复杂的动态性,传统的飞机螺丝辅助视觉松动检测方法在处理飞机螺栓复杂结构时,获取的螺丝帽和螺丝杆的相对位置过程中,受到采集环境的影响,很难得到稳定特征,导致图像监测误差,无法获取准确的螺栓松动监测结果.提出聚类RBF神经网络算法的高空飞机螺栓紧固方法.根采集检测部分螺丝视觉图像序列,并对上述图像进行离散变换处理,提取高空飞机螺栓图像的可识别分离特征.针对螺栓机器视觉图像特征误差较大的缺陷,构建特征分离目标函数,并建立聚类RBF神经网络模型,对特征进行多次校验计算,完成判断.实验结果表明,利用改进算法进行机器视觉的高空飞机螺栓松动监测,能够极大的提高监测的准确性.     

一种医用口罩缺陷的机器视觉在线检测系统

针对口罩生产中口罩片短小、鼻梁条缺失或过短、耳绳缺失、断裂或短小、油污、破洞等8类缺陷，设计一种基于机器视觉的口罩缺陷在线检测系统。硬件方面，设计出的高亮均匀的多光源光学系统具备颜色自适应性，且能直接照射出口罩内层污点，极大降低了后期检测算法的复杂度；算法方面，首先对几何校正和定位后的口罩图像采用改进自适应Canny算子进行边缘检测，再根据各缺陷特征完成口罩片、鼻梁条和耳绳缺陷检测，并提出了一种基于Blob分析的油污、破洞缺陷检测算法。实验结果表明，算法检测精度达0.3 mm，平均检出率为99.1%，口罩检测速度高达120 pcs/min，可满足医用口罩实时在线生产需求。     

基于图像处理的手机屏幕缺陷检测系统研究

针对手机屏幕生产中的缺陷检测问题,提出了基于机器视觉的手机屏幕玻璃缺陷检测系统,采用光学成像模块、图像采集模块和图像处理软件设计模块对手机屏幕玻璃缺陷进行识别检测,检测效率高,实时性好.对手机屏幕玻璃缺陷检测所需用到的算法进行了研究,针对手机屏幕玻璃缺陷细微、痕浅等特点,提出了基于图像快速匹配的差分算法,实现了缺陷特征的准确提取.     

基于YOLOv5算法的钢轨扣件分类检测研究

钢轨扣件是保障轨道车辆安全运行的基础，目前依靠人工检查钢轨扣件状态效率低且具有缺陷性。基于YOLOv5算法对钢轨弹条断裂、缺失、移位以及螺栓缺失四种状态扣件进行分类检测研究，文章选取706张含故障扣件的图片进行标注形成钢轨故障扣件数据集，讨论了YOLOv5s、YOLOv5m两种模型对数据集分别训练50、100次后的识别效果，结果显示：采用YOLOv5m模型训练100次的YOLOv5算法对各类别故障扣件的测试精度、召回率、mAP@.5、mAP@.5:.95分别为0.988、0.967、0.987、0.822。该方法对钢轨扣件分类检测具有很好的应用价值。     

基于机器视觉方法的焊缝缺陷检测及分类算法

对于在工业生产中如何有效地识别薄壁金属罐焊缝的缺陷及其类型判别的问题,提出了一种基于机器视觉技术的自动化焊缝缺陷检测及分类算法。利用混合高斯模型,提出了一种改进的背景差分法,主要用来提取焊缝缺陷的特征区域。在此基础上,以不同缺陷类型的缺陷面积、亮度及波形特征等差别作为依据,对焊缝缺陷进行了分类。实验检测结果表明,算法可以对主流的薄壁金属制罐焊缝缺陷类型进行准确的识别和归类,达到了96%以上的精确度。同时,算法的运算时间也能够满足在实际生产中的高实时性需求。     

基于卷积去噪自编码器的芯片表面弱缺陷检测方法

芯片表面缺陷会影响芯片的外观和性能,因此表面缺陷检测是芯片生产过程中的重要环节。具有缺陷与背景对比度低、缺陷较小等特点的弱缺陷给传统检测方法带来了挑战。因为近年来深度学习在机器视觉领域展现出了强大的能力,所以文中采用基于深度学习的方法来研究芯片表面弱缺陷的检测问题。该方法将芯片表面缺陷看作噪音,首先应用卷积去噪自编码器(Convolutional Denoising Auto-encoders,CDAE)重构无缺陷图像,然后用重构的无缺陷图像减去输入图像,获得包含缺陷信息的残差图。因为残差图中已经消除了背景的影响,所以最后可以基于残差图较容易地进行缺陷检测。由于基于CDAE重构芯片背景的无缺陷图像时存在随机噪音,导致弱缺陷可能会湮没在重构噪音中,为此,文中提出了重叠分块策略抑制重构噪音,以便更好地检测弱缺陷。因为CDAE是无监督学习网络,所以训练时无需进行大量的人工数据标注,这进一步增强了该方法的可应用性。通过对真实芯片表面数据进行测试,验证了所提方法在芯片表面检测上的有效性。     

可变形NTS-Net的螺栓属性多标签分类

目的 螺栓是确保输电线路安全牢靠的基石,螺栓缺销、松动和锈蚀等缺陷是造成输电线路损坏甚至重大事故的重要原因之一。本文针对螺栓缺陷存在视觉不可分的问题,提出了一种改进NTS-Net（navigator-teacher-scrutinizer network）的螺栓属性多标签分类方法。方法 为了增强模型对不规则轮廓的处理能力,采用可变形卷积的ResNet-50网络作为特征提取网络从原图中提取全局特征。利用NTS-Net学习得到图像信息量最大的判别性局部区域。为了考虑不同局部特征对不同属性标签的不同影响,在局部特征与全局特征融合时引入通道注意力机制,提取特征的通道权重,获取关键通道特征以改善多标签分类效果。结果 实验结果表明,本文在螺栓多属性分类数据集上的平均分类精确率为84.5%,比采用传统的多标签分类精确率提升了10%~20%。结论 本文通过可变形卷积提升网络的特征提取能力以及引入通道注意力机制实现了对NTS-Net提供的局部特征的高效利用,为解决螺栓多属性分类中存在的问题提供了一种新的思路。     

贝叶斯优化的表面缺陷超分辨率检测

金属表面缺陷待测样本往往存在分辨率低、缺陷边界模糊、缺陷密集、缺陷目标小的情况,同时,构建的检测模型存在大量的超参数需要手动调参,缺乏模型自适应调参能力,本文提出一种基于贝叶斯优化的表面缺陷超分辨率检测算法.通过设计精细化分层结构,丰富主干网络特征图的感受野,增强对高低频信息的提取,重建出边缘纹理清晰的高分辨率图像;通过构建瓶颈残差密集结构,丰富主干特征提取网络的浅层特征和深层特征,提升模型对小目标和密集目标的分类和定位能力;通过贝叶斯优化算法以较小的时间代价自适应优化检测模型的关键超参数.实验表明,本文对NEU-DET数据集中6类金属表面缺陷的mAP_0.5可达0.782,同时检测速度可达102 f/s,优于其他检测算法.     

钢板表面低对比度微小缺陷图像增强和分割

目的 环境干扰及光学元件不稳定等因素往往会造成钢板表面图像照度不均,钢板表面的微小缺陷具有图像灰度不均、对比度低、形态微小等特点,给后续图像分析和缺陷识别带来因难。为此,提出一种钢板表面低对比度微小缺陷图像增强和分割算法,以消除照度不均并突出缺陷信息,从而有效分割缺陷目标。方法 采用小波-同态滤波算法进行图像增强处理,即先利用小波变换对图像进行分解,再基于同态滤波对小波低频系数进行图像灰度修正,同时对高频系数进行高通滤波,然后将处理后的小波低频系数和高频系数进行重构得到增强的图像,从而达到消除照度不均、增强缺陷细节信息的目的。最后利用最大类间方差法（Otsu法）确定自适应阈值提供给Canny算子进行边缘检测。结果 采用本文算法对钢板表面多类型低对比度表面微小缺陷进行研究,有效消除了光照不均;单一的Otsu阈值分割和Canny算子难以有效检测这些缺陷,而本文Otsu-Canny算法的正确检测率达96%。结论 采用小波-同态滤波进行图像增强处理后,再利用Otsu-Canny算法对钢板表面多类型、低对比度的微小缺陷进行边缘检测取得了良好效果。     

最优知识传递宽残差网络输电线路螺栓缺陷图像分类

目的 输电线路螺栓图像具有分辨率低和视觉信息较差的特点,针对螺栓缺陷图像分类时教师网络（大模型）参数量大、学生网络（小模型）分类精度低的问题,提出了一种最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,来弥补使用大小模型进行分类任务的局限性。方法 首先改变大模型宽度,即拓宽网络特征表达维度来增加向小模型传递的螺栓缺陷知识和简化小模型结构至3个残差块;然后为了选出传递螺栓缺陷知识性能最优的大模型,提出知识偏差的概念来可视化大模型向小模型螺栓缺陷知识传递的程度,综合分析不同宽度大模型利用知识蒸馏算法与注意力转移算法分别指导小模型训练后的分类准确率,并用知识偏差来确定最优知识传递模型;最后将最优知识传递模型利用知识蒸馏算法与注意力转移算法相结合指导小模型训练,尽可能提升小模型的螺栓缺陷分类性能。结果 在自建螺栓缺陷图像分类数据集上进行了验证,结果表明宽度为5的大模型向小模型传递螺栓缺陷知识性能最优,使小模型的螺栓缺陷分类准确率提高了5.56%,小模型与最优大模型的分类准确率只差2.17%,知识偏差为0.28,且小模型的参数量仅为大模型参数量的0.56%。结论 本文提出的最优知识传递宽残差网络输电线路螺栓缺陷图像分类方法,弥补了大小模型螺栓缺陷图像分类的局限性,实现了精度与资源消耗的平衡。     

基于ButterWorth滤波和EM算法的电子布疵点检测

为了精确定位和分割电子布生产过程中产生的疵点,提出一种基于ButterWorth滤波和EM算法的电子布疵点检测方法。因电子布的背景纹理对疵点检测存在影响,首先采用ButterWorth滤波弱化图像背景纹理信息;再应用高斯混合模型对预处理后的图像进行表征,通过EM算法迭代模型的最优解,对像素进行标记;最后,根据标记结果分离背景与疵点区域,定位并分割疵点。实验结果表明,该方法既能准确定位疵点位置,又能有效保留疵点的细节信息,并且能够检测多种类型的疵点,在疵点检测方面具有一定的参考价值。     

基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法

为了满足锂离子电池电极缺陷检测精度与实时性的需求,解决电极图像背景噪声复杂、缺陷微小且对比度低等问题,提出一种基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法.在YOLOv4的基础上,首先,将SE(squeeze-and-excitation)注意力模块嵌入特征提取主干网络中,区分feature map中不同通道的重要性,强化目标区域的关键特征,提高网络的检测精度;其次,加入融合空洞卷积的池化金字塔(ASPP)结构,增大网络感受野的同时最大程度地保留多尺度特征信息,提高算法对小目标的检测性能;然后,设计一种多尺度稠密特征金字塔,在三尺度特征图的基础上增加一个浅层特征,采用稠密连接的方式融合特征,提升浅层细节特征与高级语义信息的融合能力,增强对微小缺陷特征的提取;最后,采用$ K $-means++算法聚类先验框,引入focal loss损失函数增大小目标样本的损失权重,有效提高网络学习的收敛速度.实验结果表明,所提算法较原YOLOv4模型的mAP值提升6.42%,较其他常用算法综合性能上有着较大的优势,可较好地满足实际工业生产的实时监测需求.