基于特征金字塔网络的图像关键点检测算法研究

传统的图像关键点检测算法大都基于人工设计,不能适应场景变换,泛化性能较差.对此提出一种基于特征金字塔网络的图像关键点检测算法,通过融合网络中多尺度特征使得检测出的关键点具备尺度不变性,能够提取可重复的、鲁棒的关键点.为了提高算法的性能,并提出一种有效的方法产生训练数据集,训练数据集包括室内和室外的各种复杂场景.在多个公开数据集上对该算法进行测试,并与其他关键点检测算法进行对比,实验结果表明,该算法所提取的关键点在可重复率上有良好的表现.     

基于轻量化模型的钢铁表面缺陷显著性检测研究

钢铁被广泛地应用于工业生产,其质量的优劣影响着钢铁制品的可靠性。现有检测技术基于深度学习等方法来检测钢铁表面缺陷区域,但仍存在检测速度慢、模型参数量大和应对复杂场景处理能力弱的问题。针对问题设计了一种基于轻量化模型的钢铁表面缺陷显著性检测方法,能够实现快速准确地检测钢铁表面缺陷区域。该方法以深度可分离卷积为基础设计模型,从而减小模型整体参数量并提升检测速度;在模型中引入多尺度特征,强化轻量化模型对于图像特征的提取能力,提升对复杂环境下的适应性。该方法在公开数据集SD-saliency-900上进行了广泛的实验,实验结果证明提出模型在检测精度不受影响的前提下,大幅减小模型参数量并显著提升模型推理速度。相较于其他基准方法,所提出模型具有更好的复杂环境应对能力以及实际应用性。     

基于太赫兹图像融合与深度学习的芯片缺陷检测方法

由于太赫兹(THz)时域光谱技术能够有效获取半导体芯片内部结构的时域和频域信息,从而为半导体芯片产品内部结构成像和缺陷检测提供了可能。但由于单一频点的太赫兹图像特征表达能力不足,无法直接应用于工业领域。为此,充分利用不同频点的太赫兹光谱数据所蕴含的芯片不同特征信息,并开展图像融合方法的研究,采用多尺度变换将图像分离为低频和高频分量,并对低频分量和全通分量分别采用基于稀疏表示的融合算法和多尺度变换进行融合,建立了多尺度变换和稀疏表示的图像融合框架和重构算法,实现了对芯片特征信息的增强和图像成像精度的提高。同时,针对半导体芯片内部缺陷在线实时检测网络训练过拟合、效率低以及工业图像具有稀疏性、缺陷不明显等问题,通过构建半导体芯片缺陷检测数据集,研究了小样本状态下轻量级神经网络缺陷检测模型(LiCNN),并优化模型参数,实现精简的参数规模,实验验证LiCNN对小样本数据集缺陷检测的有效性,从而为半导体芯片内部缺陷的无损检测和质量控制提供理论方法指导。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

弱监督学习下的融合注意力机制的表面缺陷检测

现有基于深度学习的缺陷检测方法通常采用强监督学习策略,检测效果依赖于样本的数量和标注的质量.针对上述问题,提出弱监督学习下融合注意力机制的神经网络算法,仅使用图像级别标签便可同时预测缺陷的位置和概率.首先对多尺度感受野模块提取的特征应用特征融合网络,获取更多边缘细节信息;然后通过多层次的自编码器挖掘特征的深层语义信息;同时通过三线性全局注意力模块进一步细化浅层特征的空间位置信息;最后对浅层边缘特征和深层语义特征进行融合增强,得到最终的精细缺陷特征,达到高效准确的自动化表面缺陷检测的目的.基于PyTorch框架用KolektorSDD电转向器表面缺陷数据集验证所提算法,并与U-Net等缺陷检测算法进行对比.检测视觉效果显示,所提算法可以保留更多的细节纹理信息,能够有效扩大细微缺陷与复杂背景之间的特征差异.通过大量实验表明,该算法在复杂场景下比其他模型更为准确,其精准率、F1值和总体精度都有所提升.     

基于改进SSD模型的工件表面缺陷识别算法

工件表面缺陷是影响机械设备性能的重要因素,快速高效的检测方法是目前研究的重点。为了解决工件表面缺陷检测问题,提出一种基于改进SSD模型的检测算法。该算法用本文提出的DH-MobileNet网络代替SSD结构中的VGG16网络,从而简化检测模型,减少了运算量。同时采用反向残差结构进行位置预测,并用空洞卷积代替下采样操作以避免信息损失。利用扫描电子显微镜得到工件表面图像,建立工件表面缺陷数据集并进行扩充,最后针对碎屑、剥落和梨沟这3类高频缺陷进行训练和测试,并与YOLO、Faster R-CNN和原始SSD模型进行效果比较。检测结果表明该算法能够更准确、快速地检测工件表面缺陷,为实际工业场景中的缺陷检测提供了新的思路。     

基于小波变换的红外热成像图像处理的无损检测技术

为提高红外热图像技术在无损检测领域的精度,提出运用电磁激励加热待检测物体,研究对亚表层缺陷的检测。首先采集数字图像信号,利用傅里叶变换去除图像中的噪声,并用图像增强算法增加背景与特征间的对比度,再利用基于小波变换的边缘算法提取特征边缘做定量分析,最后通过5组不同的缺陷层样本作实验对比,结果表明基于小波变换边缘提取算子能显著提高亚表面缺陷层的检测精度。     

基于改进相干增强扩散与纹理能量测度和高斯混合模型的导光板表面缺陷检测方法

针对液晶屏(LCD)导光板表面缺陷检测方法存在漏检率和误检率较高,对产品表面复杂渐变的纹理结构适应性差的问题,提出一种基于改进相干增强扩散(ICED)与纹理能量测度和高斯混合模型(TEM-GMM)的LCD导光板表面缺陷检测方法。首先,构建ICED模型,基于结构张量引入平均曲率流扩散(MCF)滤波,使得相干增强扩散(CED)模型对缺陷的细线状纹理有良好的边缘保持效果,并利用相干性得到缺陷纹理增强和背景纹理抑制的滤波后图像;然后,根据Laws纹理能量测度(TEM)提取图像纹理特征,将图像的背景纹理特征作为离线阶段高斯混合模型(GMM)的训练数据,使用期望最大化(EM)算法估计GMM参数;最后,计算待检测图像各像素的后验概率,并将其作为在线检测阶段缺陷像素的判断依据。实验结果表明,该检测方法在导光颗粒随机、规则两种分布的缺陷图像测试数据组上的漏检率和误检率分别为3.27%、4.32%和3.59%、4.87%。所提检测方法适用范围广,可有效检测出LCD导光板表面划痕、异物、脏污和压伤等类型的缺陷。     

基于PU-Faster R-CNN的手机屏幕缺陷检测算法研究

手机屏幕缺陷检测是手机生产的重要环节,实现准确而高效的屏幕缺陷检测对于提高手机工业产能具有重要意义。在实际生产过程中,手机屏幕图像缺陷特征隐晦、缺陷尺寸差异大等问题,加大了手机屏幕缺陷检测的难度。为解决上述问题,提出了一种基于Preprocessing operations are combined with U-Net-Faster R-CNN（PU-Faster R-CNN）的手机屏幕缺陷检测模型。针对手机屏幕图像的特征信息隐晦的问题,提出多层特征增强模块,有效的对目标缺陷特征信息进行增强。构建多尺度特征提取网络,有效提取多尺度的缺陷特征信息。为了生成拟合性更好的Anchor box,提出了自适应区域建议网络,通过自迭代聚类算法生成尺寸更准确的Anchor box模板。实验结果表明,基于PU-Faster R-CNN的手机屏幕检测框架在手机屏幕数据集上优于主流的手机屏幕缺陷检测框架。     

改进GANomaly模型的印刷辊筒表面缺陷检测方法

工业产品中的缺陷样本获取困难,而且缺陷的表现形式多种多样,因此常使用无监督异常检测方法检测工业产品表面缺陷。无监督异常检测通过计算异常分数来判断图像中是否包含缺陷,但是如何准确定位缺陷是亟待解决的问题。为了解决该问题,提出了一种基于改进的GANomaly模型异常检测方法。该方法首先在原来模型的基础上加入了异常检测模块获取异常分数,其次对利用梯度和最大信息熵的图片,使用分水岭分割算法和特征对齐对缺陷进行定位,最后使用E-measure评估分割结果。实验结果表明,设计方法在印刷辊筒数据集上的检测与分割效果均优于其他无监督异常检测方法。     

基于HMT模型的带钢表面缺陷检测研究

为了减少带钢表面缺陷检测系统需要处理的数据量,提高系统检测效率,提出基于隐马尔科夫模型的带钢表面检测方法。该方法在检测系统获取图像数据后,先用相对简单的方法分割出图像中的缺陷可疑区域,然后根据带钢表面图像的特点,采用隐马尔可夫树模型(HMT)进行数据分析,并改进HMT模型参数,完成多尺度分割效果融合,获得最终的分割结果。在对带钢缺陷测试样本集的分割中,采用HMT模型为带钢表面图像建立背景和缺陷两个模型,尺度3缺陷检出率达到94.4%,相比高斯混合模型提升了5.5%,误检率达到18.8%,比高斯混合模型降低了2%。     

基于异常检测的产品表面缺陷检测与分割

工业制造中缺陷样本难以获得且缺陷表现形式多样,只用训练正样本的异常检测技术越来越多地被应用于产品表面缺陷检测。异常检测一般通过评估产品图像的异常分数对产品进行有无缺陷的判断,缺乏对缺陷位置的描述,最新提出的异常分割方法对此进行了改进,但对缺陷区域的分割不够精确。基于异常检测方法,使用标准化流来判断产品表面是否有缺陷,采用多尺度特征融合并对齐来初步定位缺陷位置,结合梯度和最大信息熵,使用分水岭算法对初定位结果进行优化得到缺陷分割掩码。在丽盛制板,KolektorSDD 和 AITEX3 个表面缺陷数据集的检测与分割结果均优于其他同类方法。此外,在小样本数据集上也能达到良好的检测与分割精度。     

基于多尺度残差网络优化的工业品表面缺陷检测

工业品表面缺陷检测是工业产品质量评估的关键环节,实现快速、准确、高效的检测对提升工业产能具有重要意义。本文针对传统神经网络提取特征尺度单一、参数量大,网络训练效率低等问题,提出了一种基于残差网络的多尺度特征融合与RBN结合的残差网络模型。首先该模型通过多尺度卷积特征融合模块提取不同尺度的特征信息;然后,通过引入RBN层,使特征分布更加均匀;最后,采用全局平均池化代替传统的全连接层来减少模型的参数量,实现输出通道与特征类别的直接映射。本文提出的网络模型在公开数据集NEU-DET上进行实验,识别率达到100%,在天池人工智能大赛铝型材缺陷数据集上的识别率达到98.8%,模型性能较为优异,可以很好的完成工业品表面缺陷检测任务。     

基于GPU的金属工件表面缺陷检测算法的研究

在金属工件的生产过程中,不可避免地会生产出一些不良品,必须进行快速识别。缺陷检测系统需使用图像采集设备采集金属工件的表面图像,完成混合噪声滤除等预处理后,进行图像配准并使用差影法分割图像,然后标记缺陷和提取缺陷纹理特征,最后进行工件缺陷的分类和识别。为了提高金属工件表面检测系统的检测速度,以满足高速生产流水线对检测系统的高实时性要求,依托GPU平台设计了一套合理的并行算法来完成不合格工件的自动检出工作。实验结果表明,在满足检测精度的前提下,基于GPU的并行图像处理算法相对于串行算法能取得较好的加速效果(实验环境为3.2~10.3倍加速比),为工件表面缺陷的快速检测提供了一种新的途径。     

基于深度学习的型钢表面多形态微小缺陷检测算法

为了解决由于型钢表面缺陷形态多样、微小缺陷众多所带来的检测效率低与检测精度差的问题,提出一种基于可变形卷积与多尺度-密集特征金字塔的型钢表面缺陷检测算法——Steel-YOLOv3。首先,使用可变形卷积代替Darknet53网络部分残差单元的卷积层,从而强化特征提取网络对型钢表面多类型缺陷的特征学习能力;其次,设计了多尺度-密集特征金字塔模块：在原有YOLOv3算法的3层预测尺度上增加1层更浅层的预测尺度,再对多尺度特征图进行跨层密集连接,从而增强对密集微小缺陷的表征能力;最后,针对型钢缺陷尺寸分布特点,使用K-means维度聚类方法优化先验框尺寸并将先验框平均分配到4个对应预测尺度上。实验结果表明：Steel-YOLOv3算法具有89.24%的检测平均精度均值（mAP）,与Faster R-CNN（Faster Region-based Convolutional Neural Network）、SSD（Single Shot MultiBox Detector）、YOLOv3和YOLOv5算法相比分别提高了3.51%、26.46%、12.63%和5.71%,且所提算法显著提升了微小剥落缺陷的检出率。另外,所提算法的每秒检测图像数量达到25.62张,满足实时检测的要求,可实际应用于型钢表面缺陷的在线检测。     

基于双流YOLOv4的金属表面缺陷检测方法

目前有许多学者使用深度学习进行表面缺陷检测研究,由于这些研究大都沿用主流目标检测算法的思路,注重高级语义特征,而忽视了低级语义信息(色彩、形状)对表面缺陷检测的重要性,因此导致缺陷检测效果不够理想。为解决上述问题,提出了一种金属表面缺陷检测网络——双流YOLOv4网络,骨干网络分成两个分支,输入分为高分辨率图像和低分辨率图像,浅分支负责从高分辨率图像中提取低级特征,深分支负责从低分辨率图像中提取高级特征,通过削减两分支的层数和通道数来减少模型总参数量;为了强化低级语义特征,提出了一种树形多尺度融合方法(Tree-structured Multi-scale Feature Fusion Me-thod, TMFF),并设计了一个结合极化自注意力机制和空间金字塔池化的特征融合模块(Feature Fusion Module with Polarized Self-Attention Mechanism and Spatial Pyramid Pooling, FFM-PSASPP)应用到TMFF中。在东北大学热轧带表面缺陷数据集NEU-DET、金属表面缺陷数据集GC10-DET和伊莱特电...     

改进YOLOv5s的小目标烟雾火焰检测算法

针对复杂环境中,烟雾火焰检测存在精度低,小目标检测困难等问题,提出一种改进的基于YOLOv5s的小目标烟雾火焰检测算法。基于公开数据集自建了9 981张不相似的烟雾火焰图像数据集,解决现有数据集的限制,提高了模型的训练效率与泛化能力;在网络中添加3-D注意力机制SimAM,增加算法的特征提取能力,而且没有增加额外的参数;修改网络中的Neck结构,将三尺度检测改为四尺度检测,并结合了加权双向特征金字塔网络（BiFPN）结构,对特征融合过程进行修改,提高小目标的检测能力与特征融合能力;通过遗传算法来优化网络中的部分超参数,进一步模型的检测能力。实验结果表明,改进后的算法比原始YOLOv5s算法平均检测精度提高了7.2%,同时对小目标检测精度更高,误检漏检等情况减少。     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

基于水平集的不规则透明表面缺陷检测设计

针对图像采集中,缺陷的灰度值和背景几乎不可区分,导致图像的低对比度的问题,目前,常规的表面缺陷检测图像预处理中常用阈值化和边缘检测技术,易出现漏检现象,即不适用于检测不规则表面边界处的细微瑕疵.为解决这一问题,从低对比度透明材料图像的非高斯统计特性出发,研究提出利用水平集智能分割具有复杂形状的目标对象,并利用小波变换进行缺陷特征提取的高效的智能缺陷检测方法.测试表明,所提出的基于水平集和小波变换的不规则表面缺陷检测系统的有效性,克服了检测区域边缘处的漏检缺陷问题.     

基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。