基于改进U-Net的街景图像语义分割方法

为提升多尺度目标的分割效果,增强特征提取能力,提出了一种基于双重注意力机制的改进U-Net街景图像语义分割方法。在U-Net编码阶段的第5个卷积块之后,添加特征金字塔注意力模块,提取多尺度特征,融合上下文信息,增强目标语义特征。在解码阶段不再采用U-Net的特征拼接方法,而是设计了一个空间域-通道域联合注意力模块,接收来自跳跃连接的低层特征图和来自前一个注意力模块的高层特征图。在Cityscapes数据集上的实验结果表明,引入的注意力模块可有效提升街景图像分割精度,与PSPNet、FCN等方法相比,分割性能指标mIoU提升了2.0%～9.6%。     

基于改进Mask R-CNN的硬化混凝土离析程度评价北大核心CSCD

水工混凝土钻孔图像中骨料的精准分割对于硬化混凝土离析评价至关重要。然而,传统的骨料图像分割方法存在精度低和泛化性能差的问题。针对上述问题,本文提出了一种改进Mask R-CNN的硬化混凝土骨料分割模型,通过在Mask R-CNN模型的主干网络中引入高效通道注意力模块(efficient channel attention,ECA)与空间注意力模块(stage attention module,SAM),实现卷积网络对通道与空间权重的自适应调整,从而提升模型对目标骨料边界与位置分布的检测性能;进一步提出硬化混凝土离析程度定量评价方法,通过量化目标骨料的面积、边界以及在高程方向上的分布,实现混凝土离析程度的定量评价。工程案例表明,所提骨料分割模型平均精度(m AP@0.5)达到了0.8752,相比未改进模型提高了4.19%,在多种复杂环境下的分割效果均优于传统骨料图像分割方法,且混凝土离析程度定量评价平均误差仅为4.85%,验证了所提方法的有效性与优越性,为混凝土离析程度科学评价提供了新的技术手段。     

基于级联网络的散乱堆叠物体分割算法

提出了一种针对处理散乱堆叠物体的改进方法。在 YOLOv5模型中采用了加权双向特征金字塔网络(BiFPN) 替代 路径聚合网络(PANet), 结合 Gfocal损失函数,使得漏检和误检问题得到有效改善,平均精度均值(mAP)mAP@0.5 达到了 90.1%。利用Mask R-CNN进行目标物体分割,使用轻量化的 Mobilenetv3替代 ResNet101 主干网络以减少参数量,同时借 用CFNet 思想加强特征融合机制,使得分割精度提高至92.1%。通过级联改进后的 YOLOv5 和改进后的 Mask R-CNN,算 法在实时性和精确性上得到了平衡,在有效感兴趣区域(region of interest,ROI)中提取准确的物体形状信息。与单独使用实 例分割算法相比,检测速度提升了1 s。实验证明所提出的算法不仅提高了推理速度,还提高了分割精度,解决了复杂堆叠场 景下物体特征提取效果差且检测速度慢的问题。     

基于改进掩膜区域卷积神经网络的输电线路绝缘子自爆检测

由于背景复杂、目标所占像素比例较小,掩膜区域卷积神经网络（Mask R-CNN）模型对输电线路绝缘子缺陷检测能力不足,该文提出一种改进的MaskR-CNN模型。具体地,首先,在特征提取网络中引入卷积注意力模块（CBAM）,分别从通道和空间提升小目标特征保持性;其次,使用全局交并比（GIoU）计算目标间的相似度,提升定位准确性;最后,使用Tversky损失计算掩膜分支的损失,以提升不平衡样本下的检测效果。使用某输电运检中心无人机巡检作业所得具有自爆缺陷的绝缘子照片作为数据集对该模型进行验证,实验结果表明,与原始Mask R-CNN模型相比,该方法的平均精确率AP50:90、AP50和AP75分别提升至0.56、0.79和0.72;与三种经典目标检测算法相比,该算法具有较高的检测精度,模型的分割性能有一定提升,且比原始模型具有更好的鲁棒性,可以满足电力巡检中准确性和快速性的要求。     

基于Mask R-CNN的轮毂缺陷分割技术

汽车轮毂在铸造过程中不免有缺陷的产生,为实现工业检测自动化的需要,提出了基于Mask R-CNN的汽车轮毂缺陷自动分割方法,采用卷积神经网络模型训练参数来代替传统的人工设定参数。首次将Mask R-CNN应用于轮毂缺陷图像的识别,通过深层次的卷积网络训练可以使模型识别轮毂缺陷特征并将不同缺陷类型标注并分割开来,从而实现轮毂X射线图像的自动分割。实验表明,使用Mask R-CNN模型对复杂轮毂缺陷的识别率有93%以上,并对不同的缺陷类型都有效果,且每帧检测时间达到0.24s/帧,满足工业轮毂缺陷检测的要求。     

基于像素注意力特征融合的城市街景语义分割算法研究

针对城市街景数据集中存在小目标和大量长条形状物体,分割难度大,虽然目前编码解码结构的网络能细化分割结果,但大多数都没有充分利用空间和上下文信息,因此本文提出一种基于像素注意力特征融合的语义分割算法。首先以ResNet50作为骨干网络,利用空洞空间卷积池化金字塔和条状池化进行初步特征融合,获得多尺度特征的同时规避无用信息;然后利用像素融合注意力模块,聚合上下文信息并恢复空间信息,最后利用注意力特征细化模块消除冗余信息。该算法在CamVid数据集上进行实验,结果表明该算法在验证集上能达到75.22%的mIoU,在测试集上也能达到67.21%。相比于DeepLabv3+网络分别提升了2.51%和2.86%。     

基于注意力特征融合YOLOv5模型的无人机输电线路航拍图像金具检测方法

无人机采集输电线路航拍图像由于其特殊性,往往背景复杂多变,检测目标存在尺度不一及部分遮挡等问题容易造成检测过程中误检、漏检。本文从特征融合角度出发,提出基于注意力特征融合YOLOv5模型的输电线路金具检测方法。首先,在主干提取网络中引入了具有自注意力机制的AFF-Transformer模块更好的捕获全局信息和上下文信息,提高主干网络特征提取能力。其次,通过在特征融合过程中使用通道空间注意力避免了关键信息丢失。最后,利用双向加权特征融合机制使得模型更有效的将浅层特征和深层特征进行融合,以上改进有效缓解了金具在密集状态下的误检、漏检等问题。通过在自建输电线路金具数据集上进行实验,结果表明：本文提出的方法在原YOLOv5模型的基础上准确率提升了2.7%,模型召回率提高了1.5%,针对于小目标,以及漏检、误检等问题有了较好的改善。     

一种射频芯片检测中的邦球邦线识别方法

针对引线键合效果的判定,本文提出了一种基于AI的AOI检测射频芯片引线键合效果的邦球邦线识别方法。该方法根据邦球邦线识别任务特点,改进了Mask R-CNN中特征金字塔层先验框生成机制,同时引入了基于碰撞检测的数据增强方式,提升了网络性能和效率,降低了人工标注成本。结果表明,改进后的Mask R-CNN模型可获取射频芯片中邦球和邦线的准确分割位置,mAP为85.23%,mIoU为71.27%,单幅射频芯片图像推理耗时约为1.168 s,基本满足生产中对于射频芯片装配精度以及速度的要求。通过本方法分割出邦球邦线,可辅助引线键合效果判断,在一定程度上提升了效率降低了人工成本。     

基于Mask R-CNN实例分割的机械零件识别方法研究

零件识别是机械部件装配、装箱的重要基础,人工识别效率低,传统机器视觉检测要求高、场景单一.提出一种基于深度学习机器视觉的机械零件识别方法,通过加入PointRend模块提升原始Mask R-CNN实例分割模型的检测精度;针对相似度高零件设计类别细分方法,通过尺寸估算与特征匹配,较好地解决由于数据增强图像缩放造成的尺寸特征丢失问题.采集25种不同零件进行识别实验,结果表明,该方法可有效提升机械零件的识别准确率,算法对相似零件识别准确率达100％,较原始Mask R-CNN方法提升11.51％.并且该方法可推广到其他具有相似特征目标的识别任务中.     

基于双路特征的宫颈细胞核分割

宫颈细胞核的分割问题研究对宫颈癌筛查诊断具有重要意义，但受边缘模糊及存在干扰物影响给分割任务带来了巨大挑战。针对此问题提出一种基于DeepLabV3+网络的细胞核分割方法，首先充分利用主干网络的输出进行多尺度特征融合，并引入注意力机制，构建了细胞团分割模型，以减少背景中干扰物对细胞核分割的影响；基于此设计了融合Transformer与ResNet50的双路特征提取模块，兼顾模型对全局信息的获取及低层上下文特征的敏感度，提高了模型对细胞核与干扰信息的辨别能力。实验结果表明，算法在宫颈细胞核的分割任务中取得了良好的分割效果，均交并比为0.832 9,较DeepLabV3+模型提高了2.33%,且与其他方法相比获得了更优的性能指标。     

基于Mask R-CNN的复合绝缘子过热缺陷检测

针对当前基于复合绝缘子红外图的过热缺陷检测技术中存在的工作量大、智能化程度低,以及传统的图像分割方法在复杂背景下分割不精确且泛化性能差的问题,提出了一种基于实例分割网络Mask R-CNN的复合绝缘子过热缺陷检测方法。首先,该方法为提高分割精度,借鉴Cascade R-CNN的思路对Mask R-CNN网络进行改进,并在模型训练中使用数据增强、迁移学习等方法提升网络表现。接着,该方法对深度分割网络得到的结果使用传统图像处理的骨架化等方法做进一步优化,使得最终的分割结果只覆盖复合绝缘子芯棒部分。最后,该方法直接读取红外图中自带的温度数据并转换成实际的温度值,根据DL/T664-2016《带电设备红外诊断应用规范》中的相关方法与标准实现对过热缺陷的等级判断。研究结果表明,该文提出的算法对出现严重缺陷及紧急缺陷的复合绝缘子红外图检测准确率较高,都是100%,而无过热缺陷或者一般缺陷的红外图会出现误检现象,总体上在测试集的缺陷检测中取得了93%的准确率。     

基于深度学习的电力杆塔缺陷检测

针对目前无人机电力杆塔巡检过程中航拍图像背景复杂、杆塔组件尺寸差异大、缺陷种类多导致的巡检效率低和缺陷漏检率高等问题,本文提出一种动态位置查询引导的多尺度实例分割方法和基于图特征记忆的缺陷检测方法。所提实例分割方法通过提取多尺度航拍图像特征,选择特征中具有最高关注度分数的低分辨率像素,将其映射到高分辨率特征的相应位置,并添加边界框检测器以提高电力杆塔的分割精度。在缺陷检测算法中提出可学习的图特征描述符,构建了一个记忆库来提取关键元素,以获得更准确的样本特征,提高缺陷检测效率。本文方法在自建的两个缺陷检测数据集上与其他先进算法进行对比,实例分割box＿AP和mask＿AP相较于Mask2Former分别提升了7.6%和0.5%,缺陷检测算法AUROC分别比次优算法提高7.3%和1.6%,F1-Score分别比次优算法提高6.7%和6.9%,充分表明了本文算法出色的电力杆塔缺陷检测性能。     

基于改进Faster R-CNN的光伏电池内部缺陷检测

光伏电池近红外图像中复杂异构背景使内部缺陷检测成为一项极具挑战性的问题,为此,提出了一种基于深度学习的目标检测框架-残差通道注意力Faster R-CNN(residual-channel-attention-faster R-CNN,RCA-Faster R-CNN),该网络通过卷积层-池化层提取图像特征,再送入新颖的残差通道注意力RCA模块进行复杂背景特征抑制和缺陷特征突出,进而区域推荐网络推荐出更加精确的包含缺陷的候选框,最后利用分类与定位网络实现高精度的缺陷分类和位置估计。实验结果表明,RCA-Faster R-CNN的缺陷检测精度提升到了83.29%,证明了所提方法的有效性。     

基于改进Mask R-CNN的输电线路防外破目标检测方法研究

随着现代电力系统的不断发展,电网规模越来越大,外破原因引发的故障已经成为架空输电线路故障的主要原因之一。在架空输电线路视频监控中,使用传统的边界框式目标检测方法进行外破预警时,误报或漏报的情况时有发生。掩模实例分割神经网络(Mask-RCNN)训练时使用的像素级掩模标注数据集成本较高,限制了该算法的大规模应用。针对这些问题,将改进的Mask-RCNN网络应用到输电线路外破目标检测领域,在数据集标注过程中,使用边界框标注代替部分掩模标注。训练时,将检测分支的特征迁移到掩模分支。实验结果表明,改进后的算法能够在掩模标注样本占比80%的条件下,对常见外破类别的平均识别准确率高于91%,为输电线路外破隐患的准确识别与分割提供了一种可行的思路。     

基于Mask R-CNN与SG滤波的手势识别关键点特征提取方法

手势识别是人机交互的重要手段.为了精确识别手势并摒除光照等环境干扰,同时减除由于手部高维运动造成的关键点剧烈抖动的问题,提出一种基于基于蒙版区域的卷积神经网络(Mask Region-based convolutional neural network,Mask R-CNN)与多项式平滑算法(Savitzky-Golay,SG)的手势关键点提取方法.该方法首先对输入的红绿蓝(RGB)三通道图像进行特征提取与区域分割,获得手部的实例分割与掩码.然后利用ROIAling及功能性网络进行目标匹配,标记出22个关键点(21个骨骼点+1个背景点).将标记后结果送入SG滤波器进行数据平滑,并进行骨骼点的重新标定.从而得到稳定的手势提取特征.对模型进行对比实验,结果表明,该方法能够最大程度摒除环境干扰,并精准提取关键点.与传统基于轮廓分割的手势关键点提取相比,模型的鲁棒性大大提高,识别精度达到93.48％.     

基于改进 Mask R-CNN 的光学元件划痕缺陷检测研究

光学元件缺陷会直接影响整个光学系统的性能,在光学元件缺陷检测中,划痕缺陷无疑是检测的难点,划痕缺陷存在着尺寸小,长宽比却比较大,易受杂质影响的问题,本文将深度学习算法应用到光学元件缺陷检测,并根据划痕缺陷的特点,对Mask R-CNN网络模型进行了改进,使算法对划痕缺陷也有了更好的检测效果。首先,将原有的ResNet更换为本文提出的CSPRepResNet,并添加ESE注意力机制,提高了特征提取的能力并减少了计算量;其次,利用K-means算法重新聚类anchor boxes的长宽比例;再次,将目标检测的损失函数由Cross Entropy改为梯度均衡化的Focal Loss,解决了正负样本不平衡问题的同时,更有利于对困难样本的检测,还可以消除离群点的影响。总体来说,检测的mAP@.5由原来的52.1%提高到57.3%,提高了5.2%,且推理速度几乎不变,可见,改进后Mask R-CNN对光学元件划痕缺陷有更好的检测效果。     

基于改进型U-Net的遥感云图分割方法

云检测是遥感图像预处理的重要步骤,云检测精度直接影响后续遥感图像应用的准确性,针对现有云与云阴影分割任务中,泛化能力差,误检漏检现象严重的问题,本文提出了一种改进型U-Net网络模型,该模型以U-Net为主干网络,加入高效通道注意力机制,修改激活函数。将遥感图像作为输入,放入基于高效通道注意力的U型云图分割模型中进行训练,在获得最优权重后,输出包含云区域、云阴影区域和背景区域的遥感图像分割结果。实验结果表明,相比于现有分割模型,本模型在云和云阴影的分割任务中参数量最低,准确率最高,泛化效果最好。