改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

条带池化注意力的实时语义分割算法

针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.     

特征平衡的无人机航拍图像目标检测算法

无人机航拍图像目标较小、图像视角变化大,导致目标检测效果不佳。针对此问题,设计了一种适用于无人机小目标检测的网络。该网络中的可变形卷积模块可以提高多视角目标的特征提取能力,以解决航拍图像目标视角变化剧烈致使目标特征难以提取的问题;特征平衡金字塔模块可以增强网络中底层小目标特征,以解决航拍图像中的小目标因特征易丢失而造成其检测效果差的问题;同时利用像素重组构建底层大尺度特征以解决特征平衡金字塔模块的底层特征卷积运算量大的问题;交叉自注意力机制获取目标上下文信息,改善严苛条件下的漏检错检问题。公开数据集上的仿真结果表明,在保证实时检测的情况下所提算法的平均准确度优于主流检测算法。     

MDA-Net:一种结合双路径注意力机制的医学图像分割网络

准确的医学图像分割对于疾病的诊断和治疗规划至关重要,但由于医学图像形态复杂,且图像内不同对象结构差异大,导致其在医学图像分割效果上并不明显.针对这一问题,提出了一种MDA-Net网络,其包含Mobile-NetV2、CAM、PAM这3个模块,以Mobile-NetV2作为骨干网络,提取图片初级信息.通过通道注意力模块(CAM)对每个特征图通道之间所有关联的特征信息加以整理,从而使相互依赖的特征图有选择性地加以突出.位置注意力模块(PAM)通过对每个像素区域进行特征加权和,选择性地聚合每个区域的特征.在解码部分采用转置卷积将骨干网络中的低层次信息和经过CAM、PAM得到的高层次信息进行融合,以此来丰富分割特征图的语义信息.在IBSI数据集和LUNA数据集上的实验效果表明,MDA-Net与其它医学图像分割模型相比,有更好的效果.     

结合通道空间加权特征金字塔网络的白细胞检测与分割

白细胞的准确检测和精确分割是一项具有挑战性的医学图像处理任务.在显微镜下获取的白细胞图像会受到染色杂质的影响,且白细胞种类繁多、形态各异、类间差别小,还存在相互重叠相互粘连的现象,导致细胞边缘无法被准确分割,上述问题一直都是白细胞图像检测和分割的难点.针对以上问题,基于Mask R-CNN提出了结合注意力机制多尺度特征融合的白细胞检测方法.在Mask R-CNN结构的基础上,在特征金字塔网络(FPN)模块中融合了注意力机制模块,提出了通道空间加权特征金字塔网络.该结构不仅可以学习特征图中重要通道特征的权重大小,还可以学习层中重要特征区域的表示.同时,在网络结构中加入了Skip-FPN模块,该模块通过短连接融合更多白细胞的底层细节信息,从而更准确地检测白细胞,更精确地进行白细胞的形态分割.实验结果表明,所提方法具有良好的检测与分割性能.在Kaggle开源数据集下,所提方法对白细胞检测的指标mAP值达到了98.25％,与改进前相比提高了1.25％;分割的平均精度mIoU值达到了89.30％,与改进前相比提高了0.002％.     

一种改进的视频分割网络及其全局信息优化方法EI北大核心CSCD

提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法.该方法包含一个改进的视频分割网络,在对视频中的物体进行分割后,利用初步分割的结果作为先验信息对网络优化,再次分割得到最终结果.该分割网络是一种双流卷积网络,以视频图像和光流图像作为输入,分别提取图像的表观信息和运动信息,最终融合得到分割掩膜(Segmentation mask).网络中嵌入了一个新的卷积注意力模块,应用于卷积网络的高层次特征与相邻低层次特征之间,使得高层语义特征可以定位低层特征中的重要区域,提高网络的收敛速度和分割准确度.在初步分割之后,本方法提出利用初步结果作为监督信息对表观网络的权值进行微调,使其辨识前景物体的特征,进一步提高双流网络的分割效果.在公开数据集DAVIS上的实验结果表明,该方法可准确地分割出视频中时空显著的物体,效果优于同类双流分割方法.对注意力模块的对比分析实验表明,该注意力模块可以极大地提高分割网络的效果,较本方法的基准方法(Baseline)有很大的提高.     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。     

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高、空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他七种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度;且该算法的检测速率达到33.70 帧/秒,满足实时性要求。     

融合注意力机制的多模态脑肿瘤MR图像分割

针对在多模态MR图像分割中对不同模态特征间的关联性及全局和局部特征提取考虑不充分,导致分割精度降低的问题,基于注意力机制,提出多模态脑肿瘤MR图像分割方法.首先提出三重注意力模块,用于增强各模态特征间的关联性以及对感兴趣区域的位置和边界信息精确判断;然后设计空间和通道注意力模块,用于双重捕获空间和通道上的全局及局部特征,增强对肿瘤组织结构信息的学习能力.在公开数据集BraTs18和BraTs19上的实验结果表明,分割全肿瘤时,所提方法的Dice系数、精确率、灵敏度和Hausdorff距离分别达到了90.62%, 87.89%, 90.08%和2.258 3,均优于对比的同类方法.     

融合注意力机制与联合优化的表面缺陷检测

两段式缺陷检测模型中分割和分类网络的优化目标不一致,导致二者耦合性较差,且分割模块误差的积累可能进一步弱化分类模块的性能.针对上述问题,提出一种基于注意力机制的缺陷检测联合优化算法.首先基于混合注意力特征融合模块的分割网络融合浅层特征和深层特征,提取更全面的缺陷位置信息;然后基于多感受野空间注意力模块的分类网络挖掘更具判别性的缺陷类别特征;最后通过联合优化目标实现分割和分类网络的学习优化,提升整个算法的耦合性以及性能.基于PyTorch框架,在公开工业缺陷检测数据集DAGM 2007, MAGNETIC-TILE和KolektorSDD2数据集上进行实验,并引入分段式算法及类U-Net算法进行横向对比的结果表明,所提算法的准确率相比分段式算法最高提升28.02%,相比类U-Net算法最高提升8.3%,且精确率、召回率、F1值均优于同类算法,具有更好的检测性能.