结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题，提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组，利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息；引入条状池化模块对上下文信息补充和完善，增强全局语义信息表达；根据语义引导融合模块建立不同层次特征像素间对应关系，将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明，该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比，且在相同精度下，该方法减少了39%的参数量。     

基于非对称融合和关联上下文的RGBD语义分割算法研究

相比于传统的二维RGB图像的语义分割,使用具有三维信息的RGBD图像,可以提高算法的精度。于是,研究深度图信息如何引入至关重要。采用非对称融合模块,在融入深度图信息时降低其噪声带来的负面影响,并在融合前使用通道注意力模块对深度图信息以及RGB信息进行处理,使通道信息得到有效过滤。另外,针对像素之间的关联性不易利用的问题,利用自注意力机制的思想设计了关联上下文模块,用来联合感知并编码多模态深层特征。通过将模块集成到一个双通路的编码解码结构的基本网络模型中,并在NYU-Depth v2室内语义分割数据集上做了测试,取得了不错的分割效果。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

一种基于邻域度量关系的RGB-D融合语义分割算法

针对深空探测活动中地外环境复杂和计算资源受限，导致语义分割精度较低的问题，提出了一种基于邻域度量关系的RGB-D融合语义分割算法。该算法采用多模态的RGB-D信息取代传统的单目相机数据，并以中期融合框架构建基础网络，且额外设计了邻域度量关系模块来优化表现。具体来说，中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作，实现跨模态数据以及跨层级特征的有效互补。进一步地，结合语义特征图与语义标签，以不增加网络推理开销的方法构建邻域度量关系，从全局及局部特征中挖掘样本类别之间的关联信息，提升分割网络的性能。分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验，结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度。     

目标上下文卷积神经网络高分遥感影像语义分割

针对传统卷积神经网络高分影像语义分割方法中忽略全局影像中目标像素之间关系的问题,文章显式地对全局空间目标上下文建模,将目标上下文卷积神经网络用于高分遥感影像语义分割,使用的方法包含粗分割分支和精细分割分支两个分支网络.首先,利用粗语义分割分支获得每一个像素的类别概率分布;然后,基于得到的类别概率分布和精分割的特征图获得...     

面向交通场景解析的局部和全局上下文注意力融合网络

为解决交通场景解析中局部和全局上下文信息自适应聚合的问题,提出3模块架构的局部和全局上下文注意力融合网络（LGCAFN）。前端的特征提取模块由基于串联空洞空间金字塔池化（CASPP）单元改进的ResNet-101组成,能够更加有效地提取物体的多尺度局部特征;中端的结构化学习模块由8路长短期记忆（LSTM）网络分支组成,可以更加准确地推理物体邻近8个不同方向上场景区域的空间结构化特征;后端的特征融合模块采用基于注意力机制的3阶段融合方式,能够自适应地聚合有用的上下文信息并屏蔽噪声上下文信息,且生成的多模态融合特征能够更加全面且准确地表示物体的语义信息。在Cityscapes标准和扩展数据集上的实验结果表明,相较于逆变换网络（ITN）和对象上下文表示网络（OCRN）等方法,LGCAFN实现了最优的平均交并比（mIoU）,达到了84.0%和86.3%,表明LGCAFN能够准确地解析交通场景,有助于实现车辆自动驾驶。     

条件随机场像素建模与深度特征融合的目标区域分割算法

针对已有的基于深度神经网络的目标区域分割算法在目标边界分割效果中存在的问题,提出融合图像像素信息与图像语义信息的目标区域分割算法.首先通过加入注意力模块的深度神经网络提取图像语义级别的信息,得到图像语义级别的全局特征;然后利用条件随机场模型对图像局部区域进行像素级别建模,得到图像的局部细节特征;最后综合利用图像的局部细节特征和图像的全局特征,得到目标区域的分割结果.实验结果表明,与已有的算法相比,该算法能够更好地分割出目标的边界区域,抑制边界区域分割粗糙的问题,得到较准确的目标分割区域.     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar, SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module, CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module, FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果显示,该网络分割结果的总体精度(overall accuracy, OA)、平均精度(average accuracy, AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90...     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

渐进式多尺度因果干预航拍图像分割

目的 航拍图像分割为遥感领域中许多实际应用提供支撑。与传统方法相比,深度学习方法能够自适应地学习与任务相关的特征,极大提升了分割精度,但忽略了数据集中的偏置问题。由偏置引起的混杂因子干扰使分割方法容易获得模糊的物体边缘,并且难以区分易混淆物体。针对这个问题,提出了一种基于渐进式多尺度因果干预的模型。方法 首先,使用深度卷积神经网络提取航拍图像的卷积特征。然后,解混杂模块引入类别隐特征,近似表示混杂因子特征。同时,使用混杂因子特征以因果干预的方式将卷积特征分解成对应每一种混杂因子下的特征表示,抑制特定混杂因子的干扰。最后,由深层解混杂特征得到的分割结果,经过融合模块指导浅层解混杂特征生成分割结果,以此得到每个尺度的分割结果,并以加权求和的方式得到最终分割结果。结果 实验在公开的航拍图像数据集Potsdam和Vaihingen上进行,与6种先进的深度学习分割方法和7种公开的基准方法进行对比。本文方法在Potsdam和Vaihingen数据集中的总体准确率分别为90.3%和90.8%,相比性能第2的深度学习方法分别提高了0.6%和0.8%。与性能第2的基准方法相比,本文方法在Potsdam和...     

基于注意力感知和语义感知的RGB-D室内图像语义分割算法

近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出...     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。