融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

高低维特征引导的实时语义分割网络

多数语义分割网络利用双线性插值将高级特征图的分辨率恢复至与低级特征图一样的分辨率再进行融合操作,导致部分高级语义信息在空间上无法与低级特征图对齐,进而造成语义信息的丢失。针对以上问题,改进双边分割网络（BiSeNet）,并基于此提出一种高低维特征引导的实时语义分割网络（HLFGNet）。首先,提出高低维特征引导模块（HLFGM）来通过低级特征图的空间位置信息引导高级语义信息在上采样过程中的位移;同时,利用高级特征图来获取强特征表达,并结合注意力机制来消除低级特征图中冗余的边缘细节信息以及减少像素误分类的情况。其次,引入改进后的金字塔池化引导模块（PPGM）来获取全局上下文信息并加强不同尺度局部上下文信息的有效融合。在Cityscapes验证集和CamVid测试集上的实验结果表明,HLFGNet的平均交并比（mIoU）分别为76.67%与70.90%,每秒传输帧数分别为75.0、96.2;而相较于BiSeNet,HLFGNet的mIoU分别提高了1.76和3.40个百分点。可见,HLFGNet能够较为准确地识别场景信息,并能满足实时性要求。     

融入特征融合与特征增强的SSD目标检测

针对SSD算法在目标检测过程中对小目标检测的不足,提出了一种基于SSD算法的一阶段目标检测器——FIENet（feature integration and feature enhancement network）。在FIENet中设计了两个模块,一是特征融合模块,该模块对SSD浅层的特征映射信息进行融合以提高小目标检测能力;二是特征增强模块,该模块采用了残差网络（Res2Net）以及注意力机制（attention）,对特征融合后的模块以及SSD中的深层特征映射进行增强。为了更好地检测小目标,还调整了浅层特征映射先验框的数量。为了评价FIENet的有效性,在PASCAL VOC2007以及MSCOCO数据集上进行了实验。实验结果表明,在PASCAL VOC2007数据集上检测精度（mAP）较SSD提高3.1个百分点,对小目标bird、bottle、chair、plant检测精度分别提升了3.6、9.5、5.4、5.5个百分点。在COCO数据集上达到29.4%的检测精度（mAP）。实验结果证明FIENet网络在保持实时性的同时可以达到较高的检测精度。     

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。     

改进YOLOX网络的轴承缺陷小目标检测方法

针对深度学习模型在工业轴承表面缺陷检测中多目标情形下的小目标漏检率高、模型特征融合不充分的问题,基于YOLOX提出一种多注意力特征加权融合的小目标缺陷检测算法。在骨干网络引入特征提取更加细粒度的Res2Block模块,同时嵌入自注意力机制,增加隐性小目标的区域特征,减少漏检率;设计内嵌坐标注意力并作为加权条件的双路金字塔特征融合网络,提升浅层细节特征和深层高级语义特征的交互融合能力;后处理阶段引入Focal Loss损失函数,增加模型对正样本目标的学习,进一步减少漏检率。实验结果表明,与原YOLOX算法相比,改进算法在自制小型列车轴承表面缺陷数据集上mAP提高了4.04个百分点,对小目标的识别率明显提升。     

基于多级特征和混合注意力机制的室内人群检测网络

针对室内人群目标尺度和姿态多样性、人头目标易与周围物体特征混淆的问题,提出了一种基于多级特征和混合注意力机制的室内人群检测网络（MFANet）。该网络结构包括三部分,即特征融合模块、多尺度空洞卷积金字塔特征分解模块以及混合注意力模块。首先,通过将浅层特征和中间层特征信息融合,形成包含上下文信息的融合特征,用于解决浅层特征图中小目标语义信息不丰富、分类能力弱的问题;然后,利用空洞卷积增大感受野而不增加参数的特性,对融合特征进行多尺度分解,形成新的小目标检测分支,实现网络对多尺度目标的定位和检测;最后,用局部混合注意力模块来融合全局像素关联空间注意力和通道注意力,增强对关键信息贡献大的特征,来增强网络对目标和背景的区分能力。实验结果表明,所提方法在室内监控场景数据集SCUT-HEAD上达到了0.94的准确率、0.91的召回率和0.92的F1分数,在召回率、准确率和F1指标上均明显优于当前用于室内人群检测的其他算法。     

RGB-D双模态特征融合语义分割

针对复杂室内场景中，现有RGB图像语义分割网络易受颜色、光照等因素影响以及RGB-D图像语义分割网络难以有效融合双模态特征等问题，提出一种基于注意力机制的RGB-D双模态特征融合语义分割网络AMBFNet(attention mechanism bimodal fusion network)。该网络采用编-解码器结构，首先搭建双模态特征融合结构（AMBF）来合理分配编码支路各阶段特征的位置与通道信息，然后设计双注意感知的上下文（DA-context）模块以合并上下文信息，最后通过解码器将多尺度特征图进行跨层融合，以减少预测结果中类间误识别和小尺度目标丢失问题。在SUN RGB-DNYU和NYU Depth v2(NYUDV2)两个公开数据集上的测试结果表明，相较于残差编解码（RedNet）、注意力互补网络（ACNet）、高效场景分析网络（ESANet）等目前较先进的RGB-D语义分割网络，在同等硬件条件下，该网络具有更好的分割性能，平均交并比（MIoU）分别达到了47.9%和50.0%。     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

注意力引导网络的显著性目标检测

目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点。常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题。为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(attention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题。方法 该网络主要由特征提取模块(feature extraction module, FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module, C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware, PPA)损失训练网络。其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入。结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能。尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9%,MAE(mean absolute error)指标降低了1.9%。同时,网络具有不错的速度表现,达到实时效果。结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节。     

基于稠密扩张卷积的图像语义分割模型

为解决图像语义分割任务中面对的分割场景的复杂性、分割对象的多样性及分割对象空间位置的差异性问题, 提高语义分割模型的精度, 提出基于稠密扩张卷积的双分支多层级语义分割网络(double branch and multi-stages network, DBMSNet). 首先采用主干网络提取输入图像的4个不同分辨率的特征图(De1、De2、De3、De4), 其次采用特征精炼(feature refine, FR)模块对De1和De3这两个特征图进行特征精炼处理, 特征精炼处理之后的输出分支经过混合扩张卷积模块(mixed dilation module, MDM)编码空间位置特征, De4分支采用金字塔池化模块(pyramid pooling module, PPM)编码高级语义特征, 最后将两个分支进行融合, 输出分割结果. 在数据集CelebAMask-HQ和Cityscapes中进行实验, 分别得到mIoU精度为74.64%、78.29%. 结果表明, 本文方法的分割精度高于对比方法, 且具有更少的参数量.     

基于优化SSD的低空无人机检测方法

针对浅层特征缺乏语义信息和小目标特征不显著的问题,提出了一种基于多尺度特征融合和注意力的低空无人机（unmanned aerial vehicle,UAV）检测方法。首先提出一种多尺度特征融合模块,将不同尺度的特征图进行有效融合,使浅层特征图的细节纹理信息和深层特征图的语义信息得到充分的利用,改善浅层特征语义信息不足的问题。然后在网络特征图输出处引入一种不降维局部跨信道交互策略和核大小自适应选择的通道注意力机制,以极其轻量级的方式获取跨通道的交互信息。为使先验框和有效感受野匹配,优化默认框设置方法,更好地检测小目标。使用自制无人机数据集进行验证,结果表明改进后算法平均准确率为84.07%,比原始SSD（single shot multibox detector）算法提高了7.81个百分点,检测速度达到31.3?frame/s。     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生的特征冗余;最后计算目标和搜索区域的匹配相似度,以进行目标跟踪.在加入注意力模块后,跟踪器可以选择性地整合多层特征信息,提升了跟踪器的性能.在OTB2013,OTB50,OTB2015,VOT2016以及VOT2017这5个公共基准数据库上,与SiamDW等方法进行实验的结果表明,文中方法能够有效地提升跟踪的精度及成功率.     

基于改进YOLOv5的船舶多尺度SAR图像检测算法

针对复杂场景下合成孔径雷达（Synthetic aperture radar, SAR）图像船舶目标像素尺度差异大和船舶密集排列造成目标漏检的问题,提出一种基于改进YOLOv5的船舶多尺度SAR图像检测算法。对于YOLOv5的颈部网络,采用双向特征金字塔结构（Bi-directional feature pyramid network, BiFPN）提升网络多尺度特征融合能力,并在其自下而上的特征融合支路中,基于深度可分离卷积（Depthwise separable convolution, DSC）和通道MLP构建EC-MLP(Enhanced channel-MLP)模块,从而丰富语义信息,提供更充分的船舶目标上下文特征;引入全局注意力机制（Global attention mechanism, GAM）,使网络对输入特征进行针对性提取并运算,减少网络的信息丢失;此外,使用SIoU损失函数进一步提高网络的训练收敛速度和检测精度。在SSDD和HRSID数据集上与其他8种方法（Faster R-CNN、Libra R-CNN、FCOS、YOLOv5s、PP-YOLOv2、YOLOX-s...     

预指导的多阶段特征融合的图像语义分割网络

针对目前语义分割对图像边缘和小物体不能进行精确识别,以及简单融合多阶段特征会造成信息冗余、混杂不清等问题,提出了一个预指导的多阶段特征融合的网络(pre-guidanced multi-stage feature fusion network, PGMFFNet),PGMFFNet采用编解码器结构,编码阶段利用预指导模块对各阶段信息进行指导,增强各阶段特征之间的联系,解决各阶段特征在后续融合过程中产生的语义混杂问题。在解码阶段,利用多路径金字塔上采样模块融合高级语义特征,然后使用改进的密集空洞空间金字塔池化模块对融合后的特征进一步扩大感受野,最后将高低层次的特征信息融合,使得对小物体的分割效果更优。PGMFFNet在CityScapes公开数据集上进行了验证,得到了78.38%的平均交并比(mean intersection over union, MIoU),分割效果较好。     

基于改进STDC的井下轨道区域实时分割方法

目前中国大部分井下轨道运输场景较为开放,存在作业人员、散落物料或煤渣侵入到轨道上的问题,从而给机车行驶带来威胁。煤矿井下轨道区域多呈线性或弧形不规则区域,且轨道会逐渐收敛,采用目标识别框或检测轨道线的方法划分轨道区域难以精确获得轨道范围,采用轨道区域的分割可实现像素级别的精确轨道区域检测。针对目前井下轨道区域分割方法存在边缘信息分割效果差、实时性低的问题,提出了一种基于改进短期密集连接（STDC）网络的轨道区域实时分割方法。采用STDC作为骨干架构,以降低网络参数量与计算复杂度。设计了基于通道注意机制的特征注意力模块（FAM）,用于捕获通道之间的依赖关系,对特征进行有效的细化和组合。使用特征融合模块（FFM）融合高级语义特征与浅层特征,并利用通道和空间注意力丰富融合特征表达,从而有效获取特征并减少特征信息丢失,提升模型性能。采用二值交叉熵损失、骰子损失及图像质量损失来优化详细信息的提取,并通过消除冗余结构来提高分割效率。在自建的数据集上对基于改进STDC的轨道区域实时分割方法进行验证,结果表明：该方法的平均交并比（MIoU）为95.88%,较STDC提高了3%;参数量为6.74 MiB...     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.