基于多模型级联的轻量级缺陷检测算法

基于深度学习技术的缺陷检测算法往往因为网络参数较多而需要大量的图像样本去训练模型,但是在工业生产过程中缺陷产品数量极少,采集大量缺陷数据图像费时又费力。针对这一难题,本文提出了一种基于多模型级联的轻量级缺陷检测算法,它采用监督学习的训练方式,通过少量缺陷样本就可以获得较好的检测效果。首先,使用CBAM注意力残差模块代替常规卷积层进行特征提取,以聚焦缺陷特征,强化网络对缺陷的表征能力;其次,设计了SE-FPN模块,促进各级特征之间有效融合,提高网络对缺陷的分割效果,尤其是对小缺陷的分割效果;最后,在训练阶段,采用监督学习方式对本文所提的多模型算法网络进行训练。实验结果表明,本文所提算法在KolektorSDD数据集上的检测准确率高达99.28%,每张图像的平均检测时间仅需10.5ms,不但充分满足了工业检测行业高精度、实时性的要求,同时,还能实现对缺陷区域精准定位。因此,本文的研究内容非常适合应用在工业产品表面质量在线检测领域。     

一种无人机在线喷涂绝缘子RTV质量评价方法

针对无人机在线喷涂绝缘子RTV涂层的问题,提出一种基于计算机视觉和深度学习模型的喷涂质量评价方法。构建语义分割模型提取图像中绝缘子RTV喷涂区域,将提取的区域进行网格划分生成子图像块,再将每个图像块送入神经网络分类模型进行缺陷检测和分类,最后结合模糊评价手段,按照各类子图像块所占的面积比例来生成评定分数,实现喷涂质量的评价。经实验验证,所提方法能准确有效地检测喷涂缺陷,生成的评价结果符合运检标准,满足实际生产需要。     

基于卷积神经网络的轮胎缺陷X光图像分类

轮胎缺陷的类型直接决定着轮胎是否为残次品或废品,对于轮胎定级具有重要参考价值,探索高性能的轮胎缺陷分类方法至关重要.采用卷积神经网络技术,提出一个端到端的图像自动分类算法.首先,从国内某轮胎生产线上通过现场运行的轮胎X光射线缺陷检测系统采集胎侧异物缺陷、胎冠异物缺陷、气泡缺陷、胎冠劈缝、胎侧开根5种最常见缺陷类型和1种正常胎侧图像作为分类目标,并且依据缺陷图像的缺陷尺度,将每幅图像缩放到127×127像素的统一大小;然后,设计含有5个卷积层、3个池化层、3个全连接层的网络结构.最后,用采集的缺陷样本对所设计的深度网络进行训练学习与测试.并将该算法和大量传统分类算法进行实验对比,取得更好的分类效果,平均测试识别率高达96.51％.     

基于改进YOLOv5-s的火龙果多任务识别与定位

在复杂的农业环境下，水果采摘机器人系统感知端的识别与定位性能是提高水果采摘成功率的重要指标。本文以复杂外形的火龙果作为研究对象，针对采摘机器人的视觉系统提出了一种适用于火龙果图像自主检测的实时多任务卷积神经网络——SegYOLOv5。该网络基于YOLOv5 s卷积神经网络的主体架构进行适应性改进，通过提取3层加强特征作为改进级联RFBNet语义分割网络层的输入，实现图像检测和语义分割的多任务目标识别检测，有效提升了模型的整体性能。改进的SegYOLOv5网络结构能够适应对边界敏感的图像语义分割农业场景，测试集的平均精度均值和平均交并比分别为9310%和8364%，与YOLOv5 s+原始RFBNet和YOLOv5 s+BaseNet模型相比，高出了前者123%和274%，高于后者238%和145%。SegYOLOv5平均检测速度达到7194 fps，相比EfficientDet D0提高4079 fps，平均精度均值高出58%。通过端到端输出SegYOLOv5检测结果并结合图像几何矩算子，能够实时准确定位火龙果质心作为理想采摘点。改进的算法具有较高的鲁棒性和通用性，为基于视觉感知的水果采摘机器人奠定了有效的实践基础。     

基于改进YOLOv5s的光伏电池EL缺陷图像检测模型

针对光伏电池电致发光(electroluminescence, EL)缺陷图像存在复杂背景干扰、缺陷目标长宽比和尺寸变化大等问题,在YOLOv5s网络的基础上提出一种改进的YOLOv5s-GD检测模型。首先在特征提取层融合GhostNetV2模块,通过聚合本地和远程信息同步,在压缩模型参数量的同时增强模型对缺陷特征的提取能力;其次在特征融合层引入改进的DenseNet密集网络模块,通过特征重用进一步深度融合多级特征并改善信息传递,有效减少缺陷图像检测中漏检误检的情况;最后添加坐标注意力(CA)机制模块,兼顾通道和空间信息进行特征增强,提高了模型对缺陷目标区域的关注程度。与YOLOv5s原网络相比,YOLOv5s-GD检测模型在增长少量参数的情况下mAP@0.5提升了3.3%,mAP@0.5:0.95提升了2.8%。研究结果表明,提出的YOLOv5s-GD检测模型对光伏电池EL缺陷图像可以有效地定位识别,检测精度有了显著的提高,同时检测速度达到75 fps,为实际工业生产环境中光伏电池EL缺陷图像检测提供技术参考。     

基于通道剪枝的ACAM-YOLOv5s绝缘子缺陷检测

针对现有的绝缘子缺陷检测深度神经网络模型规模大、计算资源消耗高、检测精度低,难以部署在边缘端,本文基于通道剪枝和YOLOv5s方法提出具有非对称卷积和注意力机制的轻量级绝缘子缺陷检测模型ACAM-YOLOv5s。ACAM-YOLOv5s模型采用非对称卷积模块ACBlock替换YOLOv5s骨干网络残差结构中的标准卷积,并结合通道和空间混合的注意力CBAM进行特征融合,以增强骨干网络的表达能力、特征提取能力以及鲁棒性。引入对边界框大小和位置灵敏性高的PIoU作为定位回归损失,解决绝缘子纵横比高导致缺陷检测定位准确率低的问题。基于BN层通道剪枝方法对ACAM-YOLOv5s模型进一步稀疏化训练、剪枝和微调,得到轻量化缺陷检测模型。实验结果表明,剪枝后的ACAM-YOLOv5s模型和原始YOLOv5s相比,在检测精度、计算量和模型体积方面,具有相对优势,能够满足边缘设备部署的需求,在无人机航拍绝缘子缺陷检测领域具有潜在价值。     

改进YOLOv4的绝缘子图像检测模型

为了满足无人机巡检过程中实时检测的需求，提出一种改进YOLOv4的绝缘子缺陷检测方法，在保证绝缘子检测精度的前提下，减小模型参数量，提升检测速度。该方法使用CSPDarknet53和MobileNetV1提取绝缘子的特征信息，对输出特征层进行堆叠处理，缩减通道数，减少模型计算量；精简路径聚合网络(path aggregation network, PANet)结构,将其中的标准卷积替换为深度可分离卷积；使用Decoupled Head替换原有预测网络；在训练过程中加入迁移学习策略和数据增强方法提高训练精度，使用绝缘子图像和视频测试网络训练效果。实验结果表明，改进后模型的绝缘子检测精度达到98.17%,同时对于单张绝缘子图像的识别速度提升5 ms。     

基于机器视觉的配网工程安全管控检测方法

针对配电网工程在施工现场受外界环境干扰因素多、现场监管难度大等问题,提出了一种基于改进的YOLOv5网络模型的配电网工程实时检测方法,并对配电网工程图像精确识别及缺陷检测进行了研究。首先,对配电网工程现场样本数据集进行标注,改进YOLOv5网络的特征提取网络,以加快多尺度融合并提高小目标物体检测的精度。在此基础上,改进损失函数、非极大值抑制模块,提高模型的识别精度与收敛速度。最后,经过Darknet深度学习模型对识别样本进行多次迭代训练,保存最优权重数据用于测试集的测试。算法通过 TensorBoard 可视化工具显示训练和测试结果。测试结果表明,每种配电网样本的平均识别准确率可达到95%以上,图片的识别速度可达到140 帧/s。同时,所改进算法检测准确率高,实时性强,满足工程现场实时使用需求。     

改进 YOLOv4 的内丝接头密封面缺陷检测算法

针对传统目标检测算法对内丝接头密封面的缺陷识别率不高的问题,提出利用改进的YOLOv4算法对其进行检测。首先使用K-means++聚类算法对目标样本进行先验框参数优化,提高先验框与特征图的匹配度;其次在主干网络嵌入SENet注意力机制模块,强化图像关键信息,抑制图像背景信息,提高不易识别缺陷的置信度;然后在网络颈部增加SPP模块,增强主干网络输出特征的接受域,分离出重要的上下文信息;最后采用收集的内丝接头密封面缺陷数据集分别对改进前后的YOLOv4进行训练,并分别测试模型效果。实验结果表明,YOLOv4检测内丝接头密封面缺陷的性能较好,但有部分小目标漏检;改进后的模型对小目标缺陷的检测表现优异,均值平均精度(mAP)达到了87.47%,相比于原始YOLOv4提升了10.2%,平均检测时间为0.132 s,实现了对内丝接头密封面缺陷的快速准确检测。     

电厂安全帽佩戴安全性监控的智能图像处理方法

立足于电厂安全管理现状,针对部分人员不按规定佩戴安全帽进入电厂作业区域造成安全隐患问题,对基于图像智能处理的安全帽佩戴检测技术开展研究。设计一种安全帽佩戴检测方法,通过掩膜区域卷积神经网络(mask region convolution neural network,Mask R-CNN)深度学习算法对作业人员图像分析,采集5000张安全帽佩戴照片样本作为训练图集,对其进行预处理,再由改进的特征金字塔网络算法(feature pyramid networks,FPN)进行神经网络训练。对于测试集500张图像分析结果表明,结合改进的FPN算法和ResNet-101作为主干网络的Mask R-CNN模型能够有效实现对安全帽佩戴与否及佩戴错误的检测,模型精确率为0.971,召回率为0.973,均值平均精确度为0.970,获得较准确的电厂应用场景下安全帽佩戴安全性检测效果。     

基于改进Faster R CNN的光伏电池内部缺陷检测

光伏电池近红外图像中复杂异构背景使内部缺陷检测成为一项极具挑战性的问题,为此,提出了一种基于深度学习的目标检测框架-残差通道注意力Faster R-CNN(residual-channel-attention-faster R-CNN,RCA-Faster R-CNN),该网络通过卷积层-池化层提取图像特征,再送入新颖...     

基于原型嵌入图网络的小样本图像分类

针对在小样本图像分类中传统骨干卷积网络进行特征提取时会有上下文信息单一和感受野受限以及边特征相似度度量缺乏全局性问题,本文提出了一种基于原型嵌入图网络的小样本图像分类算法。首先,将CBAM产生的权重值与ASPP以不同采样率获取的不同尺度特征进行相乘的特征作为图网络的节点嵌入特征。然后,采用原型网络的方法在度量模块中构建了原型节点,使得成对节点之间的相似性计算转化为单个节点与原型节点相似性的和计算,将得到的相似度作为边特征输入图神经网络。最后,利用双图结构在多个更新代后将标签信息从有标签样本传播到无标签样本。在以ResNet-12为骨干卷积网络的算法分类任务中,本文在miniImageNet、tieredImageNet、CUB-200-2011和CIFAR-FS 4个数据集上的5-way 1-shot的任务分类准确率分别达到了71.47%、75.41%、86.21%和79.84%,在以Conv-4作为骨干卷积网络中,本文提出的算法在5-way 1-shot和5-way 5-shot任务中都优于现有的图网络方法。     

基于 EfficientDet 的风机叶片缺陷检测方法

受工作环境恶劣等原因影响,风机叶片常会出现裂纹、凹坑等缺陷。针对当前常用目标检测算法对风机叶片小尺寸缺陷检测准确率低的问题,提出一种基于EfficientDet算法的风机叶片缺陷检测方法。首先采集图像数据并建立Pascal VOC格式的风机叶片缺陷图像数据集,然后对EfficientDet算法中的主干特征提取网络进行改进,减少向下采样次数并调整有效特征层从而增强主干特征提取网络对小尺寸缺陷的检测能力,同时为特征融合网络增加融合路径提升算法的多尺度特征融合能力,选用FReLU作为激活函数实现像素级空间信息建模,并通过Mosaic数据增强和Focal Loss损失函数增加小尺寸缺陷样本对于检测器的贡献。在建立的风机叶片缺陷图像数据集上的测试结果表明改进后的算法模型平均类别精度达到了96.15%,相较于原版的EfficientDet提升了3.77%,对小目标的检测性能有明显提升。     

改进Faster R-CNN的微型扁平电机FPC表面焊点缺陷检测

目前微型扁平电机制造厂仍采用人工观察法对电机FPC板焊点的焊接质量进行检测,其检测准确率低、速度慢。针对这一问题,提出了一种基于改进Faster R-CNN的缺陷分类检测方法。首先通过多尺度特征融合网络对VGG16的最后两层网络进行融合后,代替原Faster R-CNN中区域候选网络的输入特征图,然后从三个不同深度的多尺度特征融合算法比较改进后网络的准确率、召回率和分数。试验结果表明：改进后的两层多尺度融合特征图代入模型,其缺陷分类检测准确率均值为91.89%,比传统模型增加了7.72%;与其他二种模型相比,改进后的模型分类检测准确率和精度是最高的。     

基于改进 YOLOv7 的液晶面板电极缺陷视觉检测技术研究

电极质量对液晶面板的显示效果极其重要,针对液晶面板电极缺陷种类多、尺度小、背景复杂而导致难以检测的问题, 本文提出了一种基于改进 YOLOv7 的液晶面板电极缺陷视觉检测方法。 首先,将 CBAM 注意力模块嵌入到 YOLOv7 骨干网络 中,抑制背景信息干扰,强化缺陷特征;其次,采用跨层级连接操作,实现浅层网络与深层网络特征信息的融合;然后,将 C2f 模 块融入特征金字塔网络中以轻量化模型,提高训练速度;最后,使用 WIoU 替换 YOLOv7 模型的损失函数,减小低质量标注产生 的有害梯度,提高对缺陷的定位性能。 在自定义的电极缺陷数据集上进行测试,结果表明,该算法对电极大划伤、划伤、磕伤以 及脏污 4 类缺陷的平均检测精度达 67. 8%,单张检测时间为 5. 6 ms。     

基于 AG-CNN 的轻量级调制识别方法

针对传统卷积神经网络在调制方式盲识别过程中,存在模型体积大、运算量高、无法部署至移动端等问题,提出了一种基于双注意力机制与Ghost模块的轻量级CNN模型AG-CNN(attention and Ghost convolution neural network)调制识别方法,该方法首先将调制信号映射至复空间,并根据归一化点密度对映射点进行颜色处理,得到高阶特征密度星座图;将该特征作为AG-CNN模型的输入进行学习训练,最后使用训练好的模型对接收端接收到的未知信号进行识别。实验表明,AG-CNN模型对散点为10 000的密度星座图识别率在99.95%以上,与相同层数的CNN模型相比,卷积层参数量压缩6.01倍,计算量压缩6.76倍,且相较于VGG-16、InceptionV3、ResNet-50、Shufflenet、Efficientnet等卷积网络模型,参数量与浮点数运算数下降明显,且在大幅节省学习参数量、降低模型复杂度的情况下,表现出优秀的分类性能。     

应用于绝缘子缺陷检测的轻量化YOLOv4研究

针对YOLOv4主干网络庞大、参数量多,应用于绝缘子缺陷检测中无法满足实时性要求的问题,提出一种轻量化的YOLOv4检测模型。首先,引入含ECA集成组件的GhostNet作为特征提取网络,保证特征提取能力的同时大幅减少模型参数,加快模型推理速度。其次,使用K-means++聚类算法确定出初始锚框尺寸,以适应绝缘子缺陷大小,提升缺陷定位精度。最后,在交叉熵损失函数的基础上引入Quality Focal Loss改进损失函数,进一步提升模型检测性能。实验结果表明,改进后的轻量化YOLOv4与原始YOLOv4相比,模型大小压缩至原来的62.47%,每秒帧率提升了68.83%,绝缘子缺陷检测的准确率提升了1.07%,在显著提升检测速度的同时保证了算法检测精度,且在小目标和复杂背景下表现突出。     

基于 FAMGAN 的轮胎 X 光图像缺陷检测

针对气泡缺陷特征和图像背景像素差异较小、检测困难的问题,以Skip-GANomaly为基础框架,提出了融合注意力机制生成对抗网络(FAMGAN),首先,生成器中编码器和解码器之间的跳连层由注意力特征融合模块(AFF)和注意力机制模块(CBAM)构成,提高了对目标特征的关注、减少了图像特征丢失;然后,在判别器中加入联合上采样模块(JPU),提高了模型检测图像缺陷的速度。最后,将本文提出的FAMGAN网络与近几年经典的生成对抗网络在自制的轮胎缺陷数据集上进行训练、测试和评估。实验结果表明,本文提出的网络对轮胎气泡缺陷检测的精度达到0.837,相比于Skip-GANomaly网络提高了近30%。     

改进 YOLOv5 网络的带钢表面缺陷检测方法

带钢表面缺陷检测已成为保证带钢生产质量的重要环节之一。 针对当前带钢缺陷检测算法精度有待提高等问题,提出 了一种基于 YOLOv5 网络改进的算法模型 MT-YOLOv5。 首先在主干网络中引入 Transformer 自注意力机制,使主干网络更聚焦 于图像全局特征信息的提取;其次采用 T-BiFPN 网络结构,将 Transformer 层与 BiFPN 网络结构相结合,进一步增强了图像浅层 特征信息与深层特征信息的融合;然后引入改进后的轻量化网络 RepVGG 替换主干网络中的部分卷积层,增强主干网络的特征 提取能力;最后增加预测层,检测不同尺度的目标。 实验结果表明,MT-YOLOv5 算法在 NEU-DET 数据集上的均值平均精度 (mAP)达到了 82. 4%,较原 YOLOv5s 算法提高了 5. 3%,检测速度为 65. 4 fps,更好地均衡了检测速度与检测精度。