轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题,提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构,在编码阶段,采用空间金字塔池化获取多尺度的上下文信息,同时融合特征通道之间的关联信息,提高特征图的语义表征能力;在解码阶段,基于注意力机制将高层特征与低层特征自适应地融合,逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验,PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

基于语义重定位的语义分割并行网络

语义分割任务是对图像进行像素级别的分类预测,其难点在于对像素级别的准确预测和物体的边缘划分.现有方法大多采用基于编解码结构的网络模型,通过下采样快速扩充网络的感受野,但连续的下采样对特征图的空间信息造成了不可逆转的损失,为此,提出一种基于语义重定位的并行网络.设计了一条全局空间路径,在保持高分辨率的情况下提取丰富的空间...     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

预指导的多阶段特征融合的图像语义分割网络

针对目前语义分割对图像边缘和小物体不能进行精确识别,以及简单融合多阶段特征会造成信息冗余、混杂不清等问题,提出了一个预指导的多阶段特征融合的网络(pre-guidanced multi-stage feature fusion network, PGMFFNet),PGMFFNet采用编解码器结构,编码阶段利用预指导模块对各阶段信息进行指导,增强各阶段特征之间的联系,解决各阶段特征在后续融合过程中产生的语义混杂问题。在解码阶段,利用多路径金字塔上采样模块融合高级语义特征,然后使用改进的密集空洞空间金字塔池化模块对融合后的特征进一步扩大感受野,最后将高低层次的特征信息融合,使得对小物体的分割效果更优。PGMFFNet在CityScapes公开数据集上进行了验证,得到了78.38%的平均交并比(mean intersection over union, MIoU),分割效果较好。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于区块自适应特征融合的图像实时语义分割

近年来结合深度学习的图像语义分割方法日益发展, 并在机器人、自动驾驶等领域中得到应用. 本文提出一种基于区块自适应特征融合(Block adaptive feature fusion, BAFF) 的实时语义分割算法, 该算法在轻量卷积网络架构上, 对前后文特征进行分区块自适应加权融合, 有效提高了实时语义分割精度. 首先, 分析卷积网络层间分割特征的感受野对分割结果的影响, 并在跳跃连接结构(SkipNet) 上提出一种特征分区块加权融合机制; 然后, 采用三维卷积进行层间特征整合, 建立基于深度可分离的特征权重计算网络. 最终, 在自适应加权作用下实现区块特征融合. 实验结果表明, 本文算法能够在图像分割的快速性和准确性之间做到很好的平衡, 在复杂场景分割上具有较好的鲁棒性.     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响.针对该问题设计了一个用于图像语义分割的深度全卷积网络.该网络采用编码器—解码器结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入...     

基于增强特征融合解码器的语义分割算法

针对语义分割中全卷积神经网络解码器部分特征融合低效的问题,设计一种增强特征融合的解码器。级联深层特征与降维后的浅层特征,经过卷积运算后引入自身平方项的注意力机制,通过卷积预测自身项与自身平方项各通道的权重,利用乘法增强后对结果进行作和。基于pascal voc2012数据集的实验结果表明,该解码器相比原网络mIoU指标提升2.14%,结合不同特征融合方式的解码结果也验证了其性能优于同一框架下的其他对比方法。     

引入独立融合分支的双模态语义分割网络

基于可见光、红外双模态数据的场景语义分割在多种复杂环境下较单模态分割显现出更好的性能,然而,获取较好分割效果的前提条件是可见光相机和红外热像仪的成像均清晰。真实场景中存在较多不利的环境因素,如恶劣的光照和天气会对可见光或红外产生不同程度的干扰,从而限制了基于双模态语义分割方法的性能表现。为解决该问题,建立一种改进的双模态语义分割模型。在双流网络架构的基础上增加红外与可见光的像素级融合模块,将其作为一个独立的分支网络并与可见光、红外2个已有分支进行特征级融合,从而实现双模态的像素级和特征级融合。此外,在融合分支中增加空间、通道注意力机制,以挖掘双模态在像素级上的互补特征。实验结果表明,在MF和FR-T这2个公开数据集上,该模型的mIoU指标相比性能表现次优的RTFNet-50模型分别提高6.5和0.6个百分点,且在双模态图像降质和失效时依然具有良好的分割性能。     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

互注意力机制驱动的轻量级图像语义分割网络

目的 在图像语义分割中,细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性,自注意力虽然可以实现全局的信息捕获,但不能实现不同特征的融合,其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模,提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图,建立细节特征图上任一点和语义特征图之间的关联模型,并在关联模型的指导下对语义特征图上的特征进行聚合,作为细节特征图上该特征点的补充,从而将语义特征图上的信息融合到细节特征图上,并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上,实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验,实验结果表明,在使用替换方式对BiSeNet V2（bilateral segmentation network）进行修改之后,浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%,但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后,所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度,实现不同网络模型的即插即用,具有较高的普适性。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

多源特征自适应融合网络的高分遥感影像语义分割

目的 在高分辨率遥感影像语义分割任务中,仅利用可见光图像很难区分光谱特征相似的区域(如草坪和树、道路和建筑物),高程信息的引入可以显著改善分类结果。然而,可见光图像与高程数据的特征分布差异较大,简单的级联或相加的融合方式不能有效处理两种模态融合时的噪声,使得融合效果不佳。因此如何有效地融合多模态特征成为遥感语义分割的关键问题。针对这一问题,本文提出了一个多源特征自适应融合模型。方法 通过像素的目标类别以及上下文信息动态融合模态特征,减弱融合噪声影响,有效利用多模态数据的互补信息。该模型主要包含3个部分：双编码器负责提取光谱和高程模态的特征;模态自适应融合模块协同处理多模态特征,依据像素的目标类别以及上下文信息动态地利用高程信息强化光谱特征,使得网络可以针对特定的对象类别或者特定的空间位置来选择特定模态网络的特征信息;全局上下文聚合模块,从空间和通道角度进行全局上下文建模以获得更丰富的特征表示。结果 对实验结果进行定性、定量相结合的评价。定性结果中,本文算法获取的分割结果更加精细化。定量结果中,在ISPRS(International Society for Photogrammetry...     

双层残差语义分割网络及交通场景应用

针对图像语义分割过程中特征提取网络的深度问题以及下采样池化层降低特征图分辨率等问题,提出了一种基于双层残差网络特征提取的图像语义分割网络,称为DResnet。首先提出一种双层残差网络,对训练集各目标的细节进行特征提取,提高网络对部分细节目标的感知能力;其次在Layer1层开始跳跃特征融合,并持续以2倍反卷积方法进行上采样操作,融合底层特征与高层特征,降低部分细节信息丢失对分割精度的影响;最后使用网络分支训练法,先训练图像上各目标的大致轮廓特征,在此基础上再训练各目标的细节特征。结果表明:该网络的平均交并比较全卷积网络相比,在CamVid上由49.72%提升至59.44%,在Cityscapes上由44.35%提高到47.77%,该网络得到准确率更高、分割物体边缘更加完整的图像分割结果。     

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

多尺度特征融合与交叉指导的小样本语义分割

目的 构建支持分支和查询分支间的信息交互对于提升小样本语义分割的性能具有重要作用,提出一种多尺度特征融合与交叉指导的小样本语义分割算法。方法 利用一组共享权重的主干网络将双分支输入图像映射到深度特征空间,并将输出的低层、中间层和高层特征进行尺度融合,构造多尺度特征;借助支持分支的掩码将支持特征分解成目标前景和背景特征图;设计了一种特征交互模块,在支持分支的目标前景和整个查询分支的特征图上建立信息交互,增强任务相关特征的表达能力,并利用掩码平均池化策略生成目标前景和背景区域的原型集;利用无参数的度量方法分别计算支持特征和原型集、查询特征与原型集之间的余弦相似度值,并根据相似度值给出对应图像的掩码。结果 通过在PASCAL-5（i pattern analysis,statistical modeling and computational learning）和COCO-20i（common objects in context）开源数据集上进行实验,结果表明,利用VGG-16（Visual Geometry Group）、ResNet-50（residual neural network）和ResNet-101作为主干网络时,所提模型在1-way 1-shot任务中,分别获得50.2%、53.2%、57.1%和23.9%、35.1%、36.4%的平均交并比（mean intersection over union,mIoU）,68.3%、69.4%、72.3%/和60.1%、62.4%、64.1%的前景背景二分类交并比（foreground and background intersection over union,FB-IoU）;在1-way 5-shot任务上,分别获得52.9%、55.7%、59.7%和32.5%、37.3%、38.3%的mIoU,69.7%、72.5%、74.6%和64.2%、66.2%、66.7%的FB-IoU。结论 相比当前主流的小样本语义分割模型,所提模型在1-way 1-shot和1-way5-shot任务中可以获得更高的mIoU和FB-IoU,综合性能提升效果显著。