改进YOLOv5的瓷砖表面缺陷检测

现有瓷砖表面缺陷检测存在识别微小目标缺陷能力不足、检测速度有待提升的问题, 为此本文提出了基于改进YOLOv5的瓷砖表面缺陷检测方法. 首先, 由于瓷砖表面缺陷尺寸偏小的特性, 对比分析YOLOv5s的3个目标检测头分支的检测能力, 发现删除大目标检测头, 只保留中目标检测头和小目标检测头的模型检测效果最佳. 其次, 为了进一步实现模型轻量化, 使用ghost convolution和C3Ghost模块替换YOLOv5s在Backbone网络中的普通卷积和C3模块, 减少模型参数量和计算量. 最后, 在YOLOv5s的Backbone和Neck网络末端添加coordinate attention注意力机制模块, 解决原模型无注意力偏好的问题. 该方法在天池瓷砖瑕疵检测数据集上进行实验, 实验结果表明: 改进后的检测模型的平均精度均值达66%, 相比于原YOLOv5s模型提升了1.8%; 且模型大小只有10.14 MB, 参数量相比于原模型减少了48.7%, 计算量减少了38.7%.     

基于融合池化和注意力增强的细粒度视觉分类网络

细粒度视觉分类核心是提取图像判别式特征.目前大多数方法引入注意力机制,使网络聚焦于目标物体的重要区域.然而,这种方法只定位到目标物体的显著特征,无法囊括全部判别式特征,容易混淆具有相似特征的不同类别.因此,文中提出基于融合池化和注意力增强的细粒度视觉分类网络,旨在获得全面判别式特征.在网络末端,设计融合池化模块,包括全局平均池化、全局top-k池化和两者融合的三分支结构,获得多尺度判别式特征.此外,提出注意力增强模块,在注意力图的引导下通过注意力网格混合模块和注意力裁剪模块,获得2幅更具判别性的图像参与网络训练.在细粒度图像数据集CUB-200-2011、Stanford Cars、FGVC-Aircraft上的实验表明文中网络准确率较高,具有较强的竞争力.     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

基于轻量化卷积神经网络的陶瓷球表面缺陷快速识别方法

由于球的形状特点，视觉方法需要处理多个角度的图像才能实现对单个球进行完整的缺陷识别，对图像处理速度要求较高。此外，卷积神经网络的浮点运算量(FLOPs)高，推理速度通常较慢。针对上述问题，基于MobileNetV3设计了更轻量化的卷积神经网络。首先通过改变宽度因子、减少基本单元数量、使用Ghost模块代替标准卷积降低原始网络参数量。最后通过坐标注意力机制提高网络对缺陷的识别准确率。实验结果表明，在氮化硅陶瓷球表面缺陷数据集上，提出的轻量化卷积神经网络相较于原始网络仅有2.2%的准确率损失。网络浮点运算量和参数量分别为原始网络的10.4%和3.3%，在边缘计算设备Jetson AGX Xavier上的推理时间小于7ms，相较于原始网络提升超过40%，能够满足工业现场实时检测的需求。     

融入IBN-NET的轻量网络在金属圆柱工件缺陷识别中的应用

金属圆柱工件的缺陷特征容易受到环境光影响,而使用传统卷积神经网络检测金属圆柱工件缺陷,存在网络参数多,运算量大和泛化能力低等问题,难以满足工业现场检测的实时性和高精度要求.针对这些问题,提出一种融入实例-批归一化网络(IBN-NET)的轻量网络模型.在轻量卷积神经网络SqueezeNext的基础上,加入增强泛化能力的IBN-NET,将浅层卷积层后的批标准化(BN)用一定比例的实例标准化(IN)替代,形成网络模型的基础模块;通过组合基础模块,形成改进的网络模型.实验采用具有5类金属圆柱工件缺陷的图像进行对比测试,结果表明,融入IBN-NET的改进网络模型拥有更高的泛化能力,在GTX1080显卡上,改进网络模型仅需0.58 M参数量和5.54 ms的识别时间就能达到95.8%的识别精度.     

改进YOLOv5s的钢材表面缺陷检测

缺陷检测是生产中重要的环节,基于钢板表面缺陷特征不明显和难以提取导致的检测精度不足问题,文章在YOLOv5s检测网络的基础上进行改进,首先基于DO-Conv过参数化模块改进网络特征提取模块,然后使用ULSAM注意力机制改进网络的颈部(Neck),提出改进的YOLOv5s缺陷检测网络。基于NEU-DET数据集的实验结果表明,改进的YOLOv5s缺陷检测网络检测平均准确率达76.6%,较YOLOv5s和YOLOv4分别提升了7.8%和6.3%,有效提高了钢材表面缺陷检测精度。     

基于复合图文特征的视觉问答模型研究

针对当前主流视觉问答(visual question answering,VQA)任务使用区域特征作为图像表示而面临的训练复杂度高、推理速度慢等问题,提出一种基于复合视觉语言的卷积网络(composite visionlinguistic convnet,CVlCN)来对视觉问答任务中的图像进行表征.该方法将图像特征和问题语义通过复合学习表示成复合图文特征,然后从空间和通道上计算复合图文特征的注意力分布,以选择性地保留与问题语义相关的视觉信息.在VQA-v2数据集上的测试结果表明,该方法在视觉问答任务上的准确率有明显的提升,整体准确率达到64.4％.模型的计算复杂度较低且推理速度更快.     

基于轻量级卷积神经网络的载波芯片缺陷检测

载波芯片（chip on carrier,COC）是光发射次模块（transmitter optical subassembly,TOSA）的重要组成部分,被广泛应用于光通信领域,实现光电转换。针对载波芯片崩口、定位柱破损以及波导污渍三种不同类别缺陷的实时检测问题,提出了一种基于轻量级卷积神经网络的载波芯片缺陷检测算法YOLO-Efficientnet。为了减少网络参数,缩短检测时间,采用轻量级卷积神经网络Efficientnet作为主干网络对图像进行特征提取,在移动翻转瓶颈卷积（MBConv）的基础上,引入了压缩与激发网络（SENet）的注意力思想,在通道维度上引入注意力机制;为了解决下采样的过程中导致信息丢失的问题,引入空间金字塔池化（SPP）结构来增大图像的感受野,分离出更加显著的上下文特征。针对COC缺陷多尺度以及波导区域污渍小目标难以检测的问题,引入了PANet结构进行多尺度特征融合。实验结果表明,提出的算法对COC缺陷检测的准确率达到了98.5%,检测时间达到每张图片0.42 s,满足实时检测的需求。     

基于改进U-Net的皮革表面缺陷精细化分割方法

针对皮革缺陷形态多变、局部相似程度高导致细节信息难以提取、类型错分的问题,提出一种基于改进U-Net结构的表面缺陷精细化分割方法.编码端,在保留原始图像细节特征的同时嵌入级联扩张卷积模块获取全局特征,同时在跳跃连接中添加特征融合模块,改善因高低特征张量直接拼接造成的局部信息丢失;解码端使用基于通道注意力机制的解码模块代替原始卷积层,自适应地指导网络关注缺陷区域;为进一步整合高层信息,还嵌入全局平均池化模块,将输出结果作为解码端的语义指导增强网络对相似缺陷的分辨能力.在包含7种缺陷的皮革数据集上进行实验的结果表明,所提方法在PA, MPA, FWIoU和MIoU上分别达到99.17%, 93.27%, 98.39%和88.88%,对比U-Net分别提升0.28,2.78,0.53和4.03个百分点;定性分析和定量分析结果表明,该方法对于皮革缺陷能得到更加精细的分割结果.     

基于级联神经网络的型钢表面缺陷检测算法

深度学习在缺陷检测方面具有优越性能,然而在工业应用过程中由于缺陷概率低,无缺陷图像的检测过程占据了大部分计算时间,严重限制了整体上的有效检测速度。针对上述问题,提出一种基于级联网络的型钢表面缺陷检测算法SDNet。该算法分为两个阶段：预检阶段和精检阶段。预检阶段采用基于深度可分离卷积（DSC）以及多尺度并行卷积的轻量化ResNet预检网络,判断型钢表面图像是否存在缺陷;精检阶段以YOLOv3作为基准网络对图像中的缺陷进行准确分类与定位,并在主干特征提取网络以及预测分支中引入改进空洞空间金字塔池化（ASPP）模块以及对偶注意力模块,以提升网络的检测性能。实验结果表明,SDNet在1 024像素×1 024像素图像上的检测速度达到每秒120.63帧,准确率达到92.1%。与原YOLOv3算法相比,所提算法的检测速度是原YOLOv3算法的3.7倍,检测精度提高了10.4个百分点,可应用于型钢表面缺陷的快速检测。     

结合自底向上注意力机制和记忆网络的视觉问答模型

目的 现有大多数视觉问答模型均采用自上而下的视觉注意力机制,对图像内容无加权统一处理,无法更好地表征图像信息,且因为缺乏长期记忆模块,无法对信息进行长时间记忆存储,在推理答案过程中会造成有效信息丢失,从而预测出错误答案。为此,提出一种结合自底向上注意力机制和记忆网络的视觉问答模型,通过增强对图像内容的表示和记忆,提高视觉问答的准确率。方法 预训练一个目标检测模型提取图像中的目标和显著性区域作为图像特征,联合问题表示输入到记忆网络,记忆网络根据问题检索输入图像特征中的有用信息,并结合输入图像信息和问题表示进行多次迭代、更新,以生成最终的信息表示,最后融合记忆网络记忆的最终信息和问题表示,推测出正确答案。结果 在公开的大规模数据集VQA （visual question answering）v2.0上与现有主流算法进行比较实验和消融实验,结果表明,提出的模型在视觉问答任务中的准确率有显著提升,总体准确率为64.0%。与MCB（multimodal compact bilinear）算法相比,总体准确率提升了1.7%;与性能较好的VQA machine算法相比,总体准确率提升了1%,其中回答是/否、计数和其他类型问题的准确率分别提升了1.1%、3.4%和0.6%。整体性能优于其他对比算法,验证了提出算法的有效性。结论 本文提出的结合自底向上注意力机制和记忆网络的视觉问答模型,更符合人类的视觉注意力机制,并且在推理答案的过程中减少了信息丢失,有效提升了视觉问答的准确率。     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.     

基于双线性CNN与DenseBlock的导光板标记线缺陷检测

导光板标记线检测是导光板制造品控中的一个重要步骤, 但在使用传统图像算法进行检测的过程中, 有大量的气泡、严重污染和无标记线的情况存在. 因有大量气泡, 严重污染和无标记线的情况造成人工特征难以设计, 因此, 使用基于卷积网络的方法来代替人工特征设计进行缺陷检测. DenseNet 卷积神经网络较其他分类神经网络具有参数较少, 梯度收敛稳定等特点. 因DenseNet 卷积神经网络中使用特征融合的思想, 保证了图片分类准确率. 通过迁移学习的方法, 将训练得到的DenseNet 网络权重迁移到Bilinear-CNN算法进行训练, 提升卷积神经网络局部注意力, 提高图像分类准确率. 通过实现结果表明, 所提方法具有可行性, 相比于V2-ResNet-101网络结构, 准确率提升至95.53%, 参数减少了97.2%, 平均单张图像检测时间减少25%.     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法

为了满足锂离子电池电极缺陷检测精度与实时性的需求,解决电极图像背景噪声复杂、缺陷微小且对比度低等问题,提出一种基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法.在YOLOv4的基础上,首先,将SE(squeeze-and-excitation)注意力模块嵌入特征提取主干网络中,区分feature map中不同通道的重要性,强化目标区域的关键特征,提高网络的检测精度;其次,加入融合空洞卷积的池化金字塔(ASPP)结构,增大网络感受野的同时最大程度地保留多尺度特征信息,提高算法对小目标的检测性能;然后,设计一种多尺度稠密特征金字塔,在三尺度特征图的基础上增加一个浅层特征,采用稠密连接的方式融合特征,提升浅层细节特征与高级语义信息的融合能力,增强对微小缺陷特征的提取;最后,采用$ K $-means++算法聚类先验框,引入focal loss损失函数增大小目标样本的损失权重,有效提高网络学习的收敛速度.实验结果表明,所提算法较原YOLOv4模型的mAP值提升6.42%,较其他常用算法综合性能上有着较大的优势,可较好地满足实际工业生产的实时监测需求.     

基于深度学习的型钢表面多形态微小缺陷检测算法

为了解决由于型钢表面缺陷形态多样、微小缺陷众多所带来的检测效率低与检测精度差的问题,提出一种基于可变形卷积与多尺度-密集特征金字塔的型钢表面缺陷检测算法——Steel-YOLOv3。首先,使用可变形卷积代替Darknet53网络部分残差单元的卷积层,从而强化特征提取网络对型钢表面多类型缺陷的特征学习能力;其次,设计了多尺度-密集特征金字塔模块：在原有YOLOv3算法的3层预测尺度上增加1层更浅层的预测尺度,再对多尺度特征图进行跨层密集连接,从而增强对密集微小缺陷的表征能力;最后,针对型钢缺陷尺寸分布特点,使用K-means维度聚类方法优化先验框尺寸并将先验框平均分配到4个对应预测尺度上。实验结果表明：Steel-YOLOv3算法具有89.24%的检测平均精度均值（mAP）,与Faster R-CNN（Faster Region-based Convolutional Neural Network）、SSD（Single Shot MultiBox Detector）、YOLOv3和YOLOv5算法相比分别提高了3.51%、26.46%、12.63%和5.71%,且所提算法显著提升了微小剥落缺陷的检出率。另外,所提算法的每秒检测图像数量达到25.62张,满足实时检测的要求,可实际应用于型钢表面缺陷的在线检测。     

基于多尺度轻量化注意力的钢材缺陷检测

针对当前YOLOv5算法检测钢材表面缺陷精度不高、速度慢等问题,提出一种基于多尺度轻量化注意力的YOLO-Steel钢材表面缺陷检测方法.首先,提出一种轻型通道注意力模块,仅需少量计算成本即可有效关注重要通道;然后,利用空洞卷积扩大感受提出一种轻型空间注意力模块,能够在空间维度上提取有价值信息;接着,提出金字塔注意力结构,利用多级池化放缩特征图在不同分辨率特征图上使用空间注意力模块学习其空间依赖信息,对多级特征图使用通道注意力模块重构其通道相关信息,改善检测效果.实验结果表明,YOLO-Steel在钢材表面缺陷数据集上平均精度均值(mAP)可达77.2%,比YOLOv5s算法提高1.8%,模型时间、空间复杂度与YOLOv5s基本持平,在保证检测速度的基础上能够有效提高精确度.     

基于改进ＲＣＦ模型的转子表面缺陷检测

针对发动机转子表面存在磕划伤和凸起等弱对比度微小缺陷难以检测的问题,本文提出一种利用多方向照明结合卷积神经网络模型的发动机转子表面缺陷检测方法。首先,采用光度立体法获得增强图形凹凸性特征的曲率图和高度图作为输入图像;其次,提出一种优化的RCF模型,充分利用跳层连接将首阶段与后续阶段的侧输出特征融合,提高网络深层对精细尺度下信息的保留能力;通过通道及空间注意力机制对模型侧输出进行强化,增强有效特征并抑制干扰;优化损失函数,使数据集中无缺陷信息的图像样本也能够适用于网络模型的训练;最后,以人工标注的方式制作数据集并验证优化模型的有效性。试验结果表明,与经典的缺陷检测方法相比,本文方法对转子的表面缺陷区域具有更好的检测效果,改进模型的像素准确率达94.31%,比RCF提高了0.87个百分点。     

基于注意力自身线性融合的弱监督细粒度图像分类算法

随着人工智能的飞速发展,计算机视觉领域对图像的分类任务不仅仅限于识别出物体的大类,更需要对同一类别的图像进行更加细致的子类划分。为了有效区分出类间的微小差异以及减少背景因素的干扰,提出了一种基于AABP的细粒度分类算法。首先,通过Inception V3预训练模型提取全局图像特征,并利用深度可分离卷积在特征映射上预测出局部注意力区域;然后,应用弱监督数据增强网络（WS-DAN）的算法将增强后的图像反馈回网络中,以此加强网络的泛化能力,防止过拟合;最后,将进一步提取的注意力特征区域在AABP网络中进行线性融合,以提升分类的精度。实验结果表明,该算法在数据集CUB-200-2011上达到88.51%的准确率、97.65%的top5准确率,在Stanford Cars数据集上到89.77%的准确率、99.27%的top5准确率,在FGVC-Aircraft数据集上到93.5%的准确率、97.96%的top5准确率。     

基于改进型SSD算法的空瓶表面缺陷检测

注塑空瓶在生产过程中瓶身表面会产生大量缺陷,这些缺陷对产品的外观和使用造成重要的影响。传统的人工检测由于劳动强度高、检测效率低等缺点已不适用,基于机器视觉的传统检测算法对于复杂的场景变化,所提取的特征通常很难用于缺陷分类和识别。因此,提出一种基于SSD算法,对注塑空瓶表面缺陷进行检测。考虑空瓶表面缺陷较小,特征难以提取,为提高检测效果,在SSD网络结构中加入特征融合模块,为预测层提供丰富的语义特征;同时在网络中引入注意力机制,增加网络的特征提取能力,有效地提高网络的检测精度。通过用空瓶表面缺陷数据集对本文的方法进行验证,准确率为98.3%,漏检率为0.74%,误检率为0.96%,mAP为96.5%,相比原始的SSD算法的mAP,本文算法提高了近5.6个百分点。