基于深度学习的太阳能电池片表面缺陷检测方法

目前对太阳能电池片的缺陷检测仍依赖人工完成,很难通过传统的CCD成像系统自动识别.作为一种多层神经网络学习算法,深度学习因对输入样本数据强大的特征提取能力而受到广泛关注.文中提出一种基于深度学习的太阳能电池片表面缺陷检测方法,该方法首先根据样本特征建立深度置信网络(DBN),并训练获取网络的初始权值;然后通过BP算法微调网络参数,取得训练样本到无缺陷模板之间的映射关系;最后利用重构图像与缺陷图像之间的对比关系,实现测试样本的缺陷检测.实验表明DBN能较好地建立上述映射关系,且准确、快速地进行缺陷检测.     

基于改进YOLOv3的大尺寸导光板缺陷检测

单边侧入式大尺寸导光板存在网点分布不均、缺陷大小与形态不一、背景纹理复杂等特点, 而人工选取特征的传统机器视觉方法泛化能力不强. 基于此, 本文提出一种基于改进YOLOv3的大尺寸导光板缺陷检测方法. 首先, 在网络浅层特征层引入改进多分支RFB模块, 增大网络感受野, 丰富目标语义信息, 加强特征提取能力; 其次, 利用深度可分离卷积替换标准卷积, 缩减模型大小和计算量; 进而, 改进K-means算法, 对聚类出的锚框进行线性缩放, 使之更加贴近真实框; 最后, 利用在生产现场采集的大尺寸导光板缺陷图片进行了大量的实验研究. 实验结果表明, 本文提出的检测算法平均精度达到98.92%. 与YOLOv3相比, 平均准确率、F1值分别提升了8.55%、10.76%, 检测速度达到71.6 fps, 可满足工业生产检测要求.     

结合深度特征与多标记分类的图像语义标注

为了缩减不同模态数据间的语义鸿沟,提出一种结合深度卷积神经网络和集成分类器链的多标记图像语义标注方法.该方法主要由生成式特征学习和判别式语义学习2个阶段构成.首先利用深度卷积神经网络学习图像的高层视觉特征;然后基于获取的视觉特征与图像的语义标记集训练集成分类器链,并学习视觉特征包含的语义信息;最后利用训练得到的模型对未知图像进行自动语义标注.在Corel5K和PASCAL VOC 2012图像数据集上的实验结果表明,与一些当前国际先进水平的方法相比,文中方法的鲁棒性更强,标注结果更精确.     

汽车精密零件外观缺陷视觉检测方法研究

针对汽车精密零件质量检测的需求,提出了基于机器视觉的精密零件外观缺陷检测方法,搭建了相应的检测平台。采用小波去噪进行图像预处理,基于Otsu算法改进了Canny算子中的双阈值的选取问题,较好地实现了图像的缺陷分割。利用Hu矩进行缺陷特征提取并通过样本特征训练SVM分类器,实现零件外观缺陷的识别与分类。以汽车转向器内部套筒为试验对象,搭建了检测系统,实验结果表明,该算法可有效实现了零件外观缺陷自动检测。     

基于迁移学习的伤口图像分割

图像分割是计算机辅助阅片的基础,伤口图像分割的准确率直接影响伤口分析的结果.传统方法进行伤口分割步骤繁琐,准确率低.目前已有少部分人利用深度学习进行伤口图像分割,但是他们都是基于小型数据集,难以发挥深度神经网络的优势,准确率难以进一步提高.充分发挥深度学习在图像分割领域的优势需要大型数据集,目前还没有关于伤口图像的大型公共数据集,而制作大型伤口图像数据集需要人工标记,耗费大量时间和精力.本文提出基于迁移学习的伤口图像分割方法,首先利用大型公共数据集训练ResNet50网络作为特征提取器,再利用该特征提取器连接上两个并行的注意力机制后在利用小型伤口图像数据集进行再训练.实验表明本方法的分割结果在平均交并比上有较大提高,在某种程度上解决了缺乏大型伤口图像数据集而导致伤口图像分割准确率低的问题.     

一种基于融合重构的子空间学习的零样本图像分类方法

图像分类是计算机视觉中一个重要的研究子领域.传统的图像分类只能对训练集中出现过的类别样本进行分类.然而现实应用中,新的类别不断涌现,因而需要收集大量新类别带标记的数据,并重新训练分类器.与传统的图像分类方法不同,零样本图像分类能够对训练过程中没有见过的类别的样本进行识别,近年来受到了广泛的关注.零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系,实现知识的迁移,进而完成对训练过程中没有见过的类别样本进行分类.现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征,学习从视觉空间到语义空间的映射函数,然后利用学习好的映射函数,将未见类别的视觉特征映射到语义空间,最后在语义空间中用最近邻的方法实现对未见类别的分类.但是由于已见类和未见类的类别差异,以及图像的分布不同,从而容易导致域偏移问题.同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题.为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题,本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法.该方法在零样本训练学习阶段,充分利用未见类别已知的信息,来减少域偏移,首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中,学习获得未见类别视觉特征原型.然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间,学习获得一个潜在类别原型特征空间,并在该潜在子空间中对齐视觉特征和语义特征,使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息,又包含语义空间下的类别关系信息,同时在子空间的学习过程中利用重构约束,减少信息损失,同时也缓解了域偏移问题.最后零样本分类识别阶段,在不同的空间下根据最近邻算法对未见类别样本图像进行分类.本文的主要贡献在于:一是通过对语义空间中类别间关系的迁移,学习获得视觉空间中未见类别的类别原型,使得在训练过程中充分利用未见类别的信息,一定程度上缓解域偏移问题.二是通过学习一个共享的潜在子空间,该子空间既包含了图像视觉空间中丰富的判别性信息,也包含了语义空间中的类别间关系信息,同时在子空间学习过程中,通过重构,缓解知识迁移过程中信息损失的问题.本文在四个公开的零样本分类数据集上进行对比实验,实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率,证明了本文方法的有效性.     

全监督学习的图像语义分割方法研究进展

近年来,随着深度学习进入计算机视觉领域,各种深度学习图像语义分割方法相继出现,其中全监督学习方法的分割效果显著超过弱监督学习方法.将全监督学习的图像语义分割方法分为五类,并对各类中最具有代表性的方法进行详细分析,重点阐述各种方法核心部分的实现过程.对语义分割领域中的主流数据集进行归纳总结,介绍了性能算法指标,并在主流数...     

基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

基于双线性CNN与DenseBlock的导光板标记线缺陷检测

导光板标记线检测是导光板制造品控中的一个重要步骤, 但在使用传统图像算法进行检测的过程中, 有大量的气泡、严重污染和无标记线的情况存在. 因有大量气泡, 严重污染和无标记线的情况造成人工特征难以设计, 因此, 使用基于卷积网络的方法来代替人工特征设计进行缺陷检测. DenseNet 卷积神经网络较其他分类神经网络具有参数较少, 梯度收敛稳定等特点. 因DenseNet 卷积神经网络中使用特征融合的思想, 保证了图片分类准确率. 通过迁移学习的方法, 将训练得到的DenseNet 网络权重迁移到Bilinear-CNN算法进行训练, 提升卷积神经网络局部注意力, 提高图像分类准确率. 通过实现结果表明, 所提方法具有可行性, 相比于V2-ResNet-101网络结构, 准确率提升至95.53%, 参数减少了97.2%, 平均单张图像检测时间减少25%.     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

基于深度学习的车载导航导光板表面缺陷检测研究

针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法.首先,引入PinFPN模块改进原有Mask R-CNN...     

单边侧入光式导光板质量可视化检测方法

导光板是液晶显示屏背光模组的重要组成部分,在其生产过程中不可避免会出现亮点、划伤、压伤、暗影等缺陷,直接影响显示效果.针对这种问题,根据网点的排列特征、缺陷的成像效果,本文提出了一种基于机器视觉的导光板缺陷检测方法.首先,根据网点的排列疏密程度将图分成疏区和密区;其次,由于疏区网点会对缺陷检测带来极大干扰,提出了网点分离的思想,通过设计滤波器分离网点与背景,分别进行疑似缺陷提取.设计高斯导数滤波器对密区进行滤波,并在此基础上利用灰度形态学、图像运算等处理方法提取密区疑似缺陷;进而,针对导光板不同区域,根据产线质检要求提取缺陷区域的特征,并通过这些特征制定筛选规则判定缺陷;最后,在自主研发的导光板缺陷检测系统上,对提出的检测方法进行了大量的现场测试.测试结果表明,针对亮白点、压伤和划伤缺陷具有较高的检测精度,检测精度可达99%以上,基本可以满足工业检测要求.     

基于深度对比网络的印刷缺陷检测方法

基于传统图像处理技术的印刷缺陷检测方法鲁棒性差,而基于深度学习的目标检测方法则不完全适用于印刷缺陷检测任务的问题。为解决上述问题,将模板匹配方法中的对比思想与深度学习中的语义特征结合,提出用于印刷缺陷检测任务的深度对比网络（CoNet）。首先,提出基于孪生结构的深度对比模块（DCM）在语义空间提取并融合检测图像与参考图像的特征图,挖掘二者间的语义关系;然后,提出基于非对称双通路特征金字塔结构的多尺度变化检测模块（MsCDM）,定位并识别印刷缺陷。在公开的印刷电路板缺陷数据集DeepPCB与立金缺陷数据集上,CoNet的平均精度均值（mAP）分别为99.1%和69.8%,与同样采用变化检测思路的最大分组金字塔池化（MP-GPP）和变化检测单次检测器（CD-SSD）相比,分别提升了0.4、3.5个百分点和0.7、2.4个百分点,CoNet的检测精度更高。此外,当输入图像分辨率为640×640时,CoNet的平均耗时为35.7 ms,可见其完全可以满足工业检测任务的实时性要求。     

基于STMR-CNN的热轧带钢表面缺陷检测

为了提高工业热轧带钢表面缺陷检测的检测精度,将深度学习研究领域的前沿技术应用于带钢表面缺陷检测.提出了一种以Swin Transformer作为骨干特征提取网络,级联多阈值结构作为输出层的热轧带钢表面缺陷检测算法.将Transformer结构应用于带钢表面缺陷检测领域,与单纯基于卷积网络的深度学习目标检测算法相比,能够达到更加精确的检测效果.首先,使用Swin Transformer作为骨干特征提取网络代替常规的残差网络结构,增强特征网络对隐含在图像中的深层语义信息的摄取能力.其次设计多级联检测结构,设置逐级的IoU阈值,实现检测精度与阈值提升的权衡.最后使用柔性非极大值抑制(Soft-NMS)、FP16混合精度训练和SGD优化器等训练策略加速模型收敛和提升模型性能.实验结果表明:本文算法在工业热轧带钢数据集(NEU-DET)上相较于YOLOv3、YOLOF、DeformDetr、SSD512和SSDLit等深度学习算法都有更好的检测效果,在裂纹(crazing, Cr)、夹杂(inclusion, In)、斑块(patches, Pa)、麻点(pitted surface, PS)、...     

基于机器视觉的圆锥滚子外观缺陷检测系统研究

回顾了近年来国内外工业生产中圆锥滚子外观缺陷分割领域的研究进展,为了实现更加简单高效的滚子外观缺陷检测,设计了一套合适的光学成像系统用于图像采集,提出了最大类间方差法和局部阈值算法的缺陷分割,对分割后图像进行特征提取并进行SVM分类;实验结果表明,该算法有较高的准确率和较好的适应性,优于传统的滚子外观缺陷分割算法,可以满足工业生产中的实际需求。     

基于小样本学习的LCD产品缺陷自动检测方法

针对高分辨率液晶显示器产品(liquid crystal display, LCD)质量在线检测需求,基于深度学习提出一种LCD缺陷自动检测方法。通过设计自适应浅层特征提取层,并引入稀疏卷积结构,多维度、多尺度的提取深层特征,采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练,构建基于小样本学习的LCD表面缺陷检测模型。其特征在于,采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块的判定类别和定位坐标,同时获取多类型缺陷检测结果。实验结果表明,本文模型可以有效提高检出率,并减少漏检率。     

基于深度学习的目标检测算法研究综述

传统的目标检测算法主要依赖于人工选取的特征来对物体进行检测。人工提取的特征对主要针对某些特定对象,比如有的特征适合做边缘检测,有的适合做纹理检测,不具有普遍性。近年来,深度学习蓬勃发展,在计算机视觉领域比如图像分类、目标检测、图像语义分割等方面取得了重大的进展。深度学习作为一种特征学习方法能够自动学习到目标的有用特征,避免了人工提取特征,同时能够保证良好的检测效果。本文首先介绍基于深度学习的目标检测算法研究进展,其次总结目标检测算法中常见的难题与解决措施,最后对目标检测算法的可能发展方向进行展望。     

改进YOLOX网络的轴承缺陷小目标检测方法

针对深度学习模型在工业轴承表面缺陷检测中多目标情形下的小目标漏检率高、模型特征融合不充分的问题,基于YOLOX提出一种多注意力特征加权融合的小目标缺陷检测算法。在骨干网络引入特征提取更加细粒度的Res2Block模块,同时嵌入自注意力机制,增加隐性小目标的区域特征,减少漏检率;设计内嵌坐标注意力并作为加权条件的双路金字塔特征融合网络,提升浅层细节特征和深层高级语义特征的交互融合能力;后处理阶段引入Focal Loss损失函数,增加模型对正样本目标的学习,进一步减少漏检率。实验结果表明,与原YOLOX算法相比,改进算法在自制小型列车轴承表面缺陷数据集上mAP提高了4.04个百分点,对小目标的识别率明显提升。     

基于机器视觉的多孔材料缺陷检测

针对多孔材料在生产工艺中易出现阻塞和缺角等缺陷,本文设计了一种基于机器视觉的多孔材料表面缺陷检测方法,通过对目标区域的有效分割、模糊度检测、形态学处理和分析等技术手段,实现了该类材料的表面缺陷的快速定位和特征分析.经实验检测,本文算法的准确性和检测效率可以满足工业生产实时检测需求.