融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。     

基于LGF-Net的全天候轨道入侵异物智能检测系统

针对轨道入侵异物为行车安全带来巨大威胁,而现有的轨道目标检测模型检测精度和速度难以平衡、复杂轨道环境中多尺度目标检测鲁棒性差等问题,提出了一种全天候高精度实时多尺度轨道入侵异物检测模型。该模型通过使用双分支结构和线性特征变换提升模型的特征提取速度;通过改进Transformer结构使轻量型模型能够建模全局上下文信息;通过设计高丰富度特征融合结构和轻量型注意力机制进一步提升模型的多尺度目标检测能力。此外,本文将该模型进行嵌入式移植并研制智能检测系统。实验结果表明,本文所提出的模型在实际轨道场景采集的数据集中检测精度和速度分别为94.93%和132 fps,比YOLOv5s高3.09%,能够满足在复杂轨道场景中高精度实时检测多尺度入侵异物的应用需求。     

基于多尺度特征的YOLOv5铸件自动检测算法研究

针对铸件检测存在精度不够高和易漏检、误检等问题,提出一种基于多尺度特征的YOLOv5铸件自动检测算法。该算法使用双目相机采集铸件图像,并构建铸件图像数据集;为提取更全面的铸件特征,采用多尺度特征融合模块,增加一个检测层检测不同尺度的铸件;为获取更多细节特征,在特征金字塔网络中嵌入卷积注意力机制（CBAM）,以提高铸件图像关键特征的提取能力;同时用Hardswish替换卷积层中的SiLU激活函数来减少模型参数量。实验结果表明,该算法检测m AP值达到了96.5%,较原YOLOv5算法提升了2.6%,能实现铸件自动检测对检测精度及实时性的要求。     

基于双动态头Sparse R-CNN的表面缺陷检测算法北大核心CSCD

为了减少缺陷检测中的冗余检测,提出基于双动态头Sparse R-CNN的缺陷检测算法,2个动态头的责任不同:第1个负责不同尺度和空间的特征提取,第2个负责匹配可学习的提议特征。为了更好地提取图像细节信息,改进特征金字塔(FPN)为特征金字塔网格(FPG),并且与第1个动态头相结合进行特征提取。其次,提出了交流注意力来改进检测阶段的多头自注意力模块,减少随着迭代注意力图相似导致建模能力下降的问题。最后,改进边框回归损失函数GIoU为Alpha-CIoU,加速收敛并提升检测的精度。实验结果表明:算法在晶圆和热轧钢2种表面缺陷数据集上都取得很好效果,平均精度分别为94.3%和88.1%。     

多尺度互交叉注意力改进的单无人机对地伪装目标检测定位方法

为了提升无人机对地伪装目标探测能力,本文提出了多尺度互交叉注意力改进的单机对地目标检测定位方法。 首先, 设计了一种多尺度互交叉注意力模块,在原始多尺度金字塔基础上,进行互交叉注意力增强,提升对伪装目标的边界区分能力; 其次,搭建了开源无人机目标检测定位系统,通过融合无人机载定位模块、惯导传感器和光电吊舱等数据,在获取目标图像位置 后对其空间位置进行解算;最后,自行构建了丛林伪装数据集进行了相关实验验证。 实验结果表明,该方法在典型伪装场景下 对地目标平均检测精度(mAP)为 70. 2% ,相较于改进前提升 5. 7% ,且能有效输出目标与无人机(UAV)的方位距离,算法平均 运行效率可达 29. 4 fps,满足 UAV 对地目标检测定位的实时性需求。     

基于CReLU和FPN改进的SSD舰船目标检测

在遥感图像中,舰船目标具有目标尺寸较小、形状细长、多个目标紧密排列、类间相似度高等特点,现有的深度学习目标检测算法对舰船小目标的检测精度不高,易发生错检、漏检情况。为了更有效地利用遥感图像信息,提高小目标检测精度,构建了舰船数据集SDNGV,提出基于串行修正线性单元CReLU和特征金字塔网络(FPN)改进的单射探测器(SSD)舰船目标检测识别方法。首先,在SSD网络的浅层添加CReLU,提升其浅层特征的传递效率;然后,采用FPN从网络的深层到浅层逐级融合SSD中用于检测的多尺度特征图,提升网络的定位精度和分类精度。实验表明,所提目标检测算法具有较好的检测精度,改进方法具有明显的效果,在舰船小目标的检测上有10%的检测精度提升。     

融合注意力机制的金属锅圆柱表面缺陷检测

为实现高亮反射金属圆柱形锅的自动快速检测及分拣,破解目前金属锅表面缺陷检测速度慢、效率低的技术难题,在YOLOX网络基础上引入双向特征融合网络,提出基于注意力机制的轻量化特征融合网络模型,实现计算模型的轻量化设计;同时,通过注意力机制模块对特征信息进行通道与空间的学习,有效缓解多尺度特征的语义鸿沟问题,提高了模型的检测精度;考虑网络对难易分类样本学习权重分配不平衡,设计基于衰减因子的分类损失函数;利用金属锅圆柱表面缺陷数据集完成了特征融合网络对比实验、分类损失函数对比实验和注意力机制模块位置消融实验。实验结果表明,融合注意力机制模型可有效识别6种不同形态的缺陷,测试集的平均检测精度mAP0.5达到90.92%,检测帧率达到30.84 frame/s,实现了金属锅圆柱表面缺陷的高精度快速识别与定位。     

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测（PS-TOD）模型。设计了一个基于位置通道嵌入三维注意力（PCE3DA）的多尺度特征融合（MSFF）模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力（PSSA）机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型（DETR）相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。     

MSA-Net:一种基于多阶段注意力机制的少样本目标检测方法

近年来，样本较少场景下的目标检测引起了广泛的关注。由于少样本提供的信息有限，大部分少样本目标检测模型采用改进的Faster RCNN检测框架进行研究。但由于Faster RCNN框架中潜在的模块矛盾问题，现有的少样本目标检测模型的特征捕捉和分类的能力有待提高。为解决以上问题，以Faster RCNN框架为基础，加入了梯度反传解耦机制，缓解在反向传播过程中，RPN和RCNN的冲突对主干网络的负面影响。为提高目标检测模型的特征捕捉能力，采用元学习框架，并融合基于注意力机制的蒸馏模块和多尺度注意力模块，充分利用查询集和支持集的信息，捕捉更多全局特征信息。大量的实验证明，在随机采样目标数k=1, 2, 3, 5, 10设置下，改进后的模型在Pascal VOC数据集的新类上，分别达到21.8%,34.7%, 40.9%, 44.5%, 51.7%mAP(AP50)。在k=10, 30设置下，改进后的模型在COCO数据集的新类上，分别达到25.1%,27.6%mAP(AP50)。     

基于改进特征金字塔的小目标增强检测算法

小尺寸的物体由于其在图像中分辨率相对较低的原因,在检测任务中容易被丢失和误判。针对目前目标检测算法对小尺寸目标检测精确度远低于其他尺寸目标检测精度的问题加以改进,将小尺寸目标特征增强融入特征金字塔结构。利用多尺度特征融合的特征增强能力丰富小尺寸目标特征层的特征信息,从而使小尺寸目标检测精准度得到提升。将改进特征金字塔结构应用于YOLOv3网络,实验对比研究表明,小尺寸目标检测精准度可以达到0.179,较原网络提升了22.6%。     

ViT 和注意力融合的类别不均衡 PCB 缺陷检测方法

针对实际环境下印刷电路板(PCB)缺陷样本难以收集造成的数据长尾分布和检测精度低以及 ViT 用于检测时计算 复杂度高等问题,提出多尺度 ViT 特征提取和注意力特征融合的端到端 PCB 缺陷检测算法。 首先结合 ViT 和部分卷积构建 多尺度特征提取网络,利用层级多头注意力对不同尺度的特征图执行自适应的注意力操作,使网络能够更好地捕捉局部和 全局信息进而增强其特征提取能力,部分卷积可以降低计算开销。 其次,基于能量空域抑制的无参数注意力机制将多尺度 特征有效融合,提升网络融合特征图的表达能力。 最后,引入对类别不均衡敏感的分类函数对网络的损失函数进行改进,增 强网络对类别不平衡数据的拟合程度,提高网络的泛化能力。 在 3 种不同类型的公开 PCB 数据集上的实验结果表明,所提 出的检测算法在 PCB 表面缺陷数据集的平均精度均值(mAP)均有提升,分别为 99. 13% 、98. 67% ,99. 82% ;在类别不均衡的 PCB 缺陷检测任务上,相较于改进前方法,mAP 提升了 11. 94% ,网络检测速度达到 25 FPS,为 PCB 缺陷的检测提供了一种 快速、有效的方法。     

融合多层级特征的遥感图像地面弱小目标检测

为解决遥感图像地面弱小目标检测中弱小目标信息量少、信息真假混杂的难题,本文提出一种融合多层级特征的遥感图像地面弱小目标检测算法CC-YOLO。该算法首先利用深度卷积神经网络逐级对目标图像进行特征提取,得到高低层特征空间金字塔图;然后,对空间金字塔图进行跨层级通道特征融合,结合新增的位置注意力机制CA,分别沿两个空间方向聚合特征,保留弱小目标精确的位置信息;最后,在聚合后生成的双支路特征图上进行端到端的目标检测,联合多通道检测信息输出检测结果。为解决算法实验中图像数据匮乏的问题,构建了遥感图像地面弱小目标数据集GDSTD。实验结果表明,算法AP_0.5∶0.95达到42.3%,AP_0.5达到94.6%,检测速率FPS达到58.8帧/s,具有一定的鲁棒性和实时性。     

CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

针对高光谱图像（hyperspectral images, HSI）与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络（Contrastive Learning based CNN-Transformer Network, CLCT-Net）。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和LiDAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。     

面向激光跟踪仪跟踪恢复的合作目标视觉检测

为了实现复杂场景下激光跟踪仪跟踪恢复过程中合作目标靶球的检测,本文研究了基于深度学习的靶球检测方法。首先,分析靶球自身特点、应用环境及它在跟踪恢复过程中的作用,然后根据Faster R-CNN模型原理与跟踪恢复应用需求提出基于超特征与浅层高分辨率特征信息复用的改进方法生成新的融合特征图,并优化区域建议提取参数,协同解决图像中目标多尺度变化与小尺寸导致目标漏检率高的问题;同时提出一种基于强背景干扰的困难样本挖掘方法提高模型对外形颜色等与目标近似的干扰物识别能力,解决模型误检测率高的问题。最后,本文构建了目标靶球数据集并进行了对比训练与测试。测试实验结果表明:本文提出的基于强背景干扰困难样本挖掘方法的改进Faster R-CNN模型在目标多尺度、小尺寸检测,以及对复杂背景中相似干扰物的辨别能力都有提升,最终对测试集的检测精度达到了90.11%,能够满足激光跟踪仪跟踪恢复过程对合作目标靶球的视觉检测精度要求。     

并行路径与强注意力机制遥感图像建筑物分割

遥感图像建筑物分割广泛应用于城市规划及军事领域,是当前遥感领域的研究热点。针对遥感图像中建筑物之间尺度变化较大、建筑物遮挡、建筑物阴影与建筑物边缘相似所导致建筑物分割精度较低的问题,提出一种并行路径和强注意力机制的卷积神经网络模型。该模型基于ResNet网络残差连接的思想,以ResNet为基础网络提高网络深度,并采用卷积下采样得到并行路径,提取建筑物的多尺度特征,以减少建筑物之间尺度变化的影响。然后加入强注意力机制,增强多尺度信息的融合效果,增加不同特征之间的区分度,抑制建筑物遮挡及建筑物阴影的影响。最后,在多尺度融合特征后加入金字塔空间池化模块,抑制分割结果中建筑物内部孔洞的出现,提高分割精度。在WHU以及Massachusetts Buildings公开数据集进行实验,分别从MIoU,Recall,Precision,F1-score 4个指标对分割结果进行量化比较,在Massachusetts Buildings数据集中MIoU达到72.84%,相较于ResUNet-a提升1.46%,能够有效提高遥感影像中建筑的分割精度。     

基于改进YOLOv5的酒瓶缺陷检测方法研究

由于酒瓶产品缺陷多样以及产品缺陷较小,使用了YOLOv5作为基础框架来设计算法。对YOLOv5进行了深入研究,发现虽然空间池化金字塔（Spatial Pyramid Pooling,SPP）在多尺度检测中优化了计算量和减少了数据量。但是,在某些情况下,空间金字塔池化会出现信息丢失的问题,影响了检测精度。为此,提出一种将空间池化金字塔改进为空洞空间池化金字塔（Atrous Spatial Pyramid Pooling,ASPP）。ASPP可以对不同尺度的特征图进行并行池化,从而综合多尺度特征信息,获得更全面、更准确的特征表示。将SPP算法改进为ASPP算法后,在酒瓶缺陷数据集上进行了实验。实验结果证明改进后的YOLOv5算法在酒瓶缺陷检测精度上提升4%,mAP@0.5提升了2%,mAP@0.5:0.95提升了1.5%。     

基于改进YOLOv5s的工件识别检测算法

针对机器人在抓取目标工件的过程中由于光线强度变化、图像环境复杂和拍摄设备移动等造成的工件识别精度低的问题,文章提出一种改进YOLOv5s的工件识别检测算法。首先,通过数据增强扩充数据集并进行预处理;其次,使用改进的k-means聚类算法重新生成更有效的预设锚框,缩短收敛路径;然后,在特征融合网络中添加CBAM注意力机制,有效抑制背景信息干扰,提高特征提取速度;此外,将特征融合模块中原有的特征金字塔结构替换成加权双向特征金字塔Bi-FPN结构,实现高效的加权特征融合和双向跨尺度连接,提高网络对不同尺度特征的融合效率;最后,通过采用α-IoU作为边界框回归损失函数,提高模型的定位效果。结果表明,改进后的YOLOv5s算法对工件检测的mAP值提升了6.03%,检测速度提升了13.7 fps,验证了改进算法的有效性。     

改进YOLOv2卷积神经网络的多类型合作目标检测

针对大型构件三维精密测量中构件结构复杂、测量环境变化等导致的合作目标检测精度低的问题,提出一种改进YOLOv2卷积神经网络的多类型合作目标检测方法。首先,利用WGAN-GP生成对抗网络扩增合作目标图像样本数量;其次,采用卷积层密集连接代替YOLOv2基础网络的逐层连接增强图像特征信息流,引入空间金字塔池化汇聚图像局部区域特征,构建改进YOLOv2卷积神经网络的多类型合作目标检测方法;最后,采用增强的目标图像样本数据集训练改进YOLOv2卷积神经网络的多类型合作目标检测模型,实现多类型合作目标检测。实验结果表明:采用多类型合作目标图像数据集测试,多类型合作目标检测精度达到90.48%,目标检测速度为58.7 frame/s。该方法具有较高的检测精度和速度,鲁棒性好,满足大型构件三维精密测量中多类型合作目标检测的要求。     

多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割

针对传统建筑物提取方法难以有效描述遥感图像细节特征,导致复杂场景下道路、树木及建筑物之间分割边界不清晰等问题,提出了一种基于多尺度特征融合空洞卷积ResNet(Multiscale-feature Fusion Dilated Convolution ResNet,MFDC-ResNet)模型。首先,为了获取遥感图像建筑物更大范围的特征信息,在深度残差网络中引入空洞卷积增大特征提取的感受野,以捕捉更丰富的多尺度细节特征;其次,为了增强空洞卷积中心点对图像局部区域特征的表达能力,利用3×3卷积核提取遥感图像的中心点区域特征,引入更多的中心点空间先验信息;最后,利用空间金字塔池化模型对不同尺度空洞卷积特征进行融合,获取不同尺度的遥感图像建筑物的上下文信息。在WHU遥感图像数据集上的实验表明,平均交并比mIoU达到0.820,召回率Recall达到0.882。提出算法不仅提高了分割精度,而且有效克服了道路、树木等因素的干扰,得到了较清晰的建筑物边界。     

基于改进 EfficientNet 的锻件磁粉探伤智能检测方法研究

针对锻件生产企业零件缺陷检测效率低下,检测精度不高的问题,提出一种基于改进EfficientNet模型(EfficientNet-F),对两种锻件的荧光磁粉探伤图像进行检测。构建以EfficientNet为主干特征提取网络的深度学习模型,并引入特征金字塔为特征融合层,进而提高模型的多尺度特征融合能力;引入完备交并比和注意力机制以提高模型鲁棒性和检测效率。同时,搭建荧光磁粉探伤图像采集平台,构建缺陷样本数据集。试验表明,EfficientNet-F的最优模型在测试集上的均值平均精度达到了95.03%。F1得分值为0.96,浮点运算数为1.86 B。相较于其他深度学习模型,该方法提高了检测的精度和效率,可以满足相关生产企业的需求。