基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法北大核心CSCD

语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像。可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小。因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性。本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法。首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测。其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强。最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果。实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平。同时,消融实验也验证了所提出的各模块的有效性。     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

一种多分辨率特征提取红外图像语义分割算法

针对现有图像语义分割算法在对低分辨率红外图像进行分割时存在准确率不高的问题,提出了一种多分辨率特征提取算法。该算法以DeepLabv3+为基准网络,添加了一组对偶分辨率模块,该模块包含低分辨率分支和高分辨率分支,以进一步聚合红外图像特征。低分辨率分支采用GPU友好的注意力模块捕获高层全局上下文信息,同时引入一个多轴门控感知机模块并行提取红外图像局部信息和全局信息;高分辨率分支采用跨分辨率注意力模块将低分辨率分支上学习到的全局特征传播扩散到高分辨率分支上以获取更强的语义信息。实验结果表明,该算法在数据集DNDS和MSRS上的分割精度优于现有语义分割算法,证明了提出算法的有效性。     

多层级特征优化融合的遥感图像分割网络

为了从高分辨率遥感图像中准确地分割出地物目标，提出了一种多级特征优化融合的遥感图像分割网络（MRFNet），着重将特征提取骨架网络中不同层级的特征图进行融合，通过融合网络特征图中不同种类的信息来对输出特征图信息进行合理有效的提取和分析。同时使用了逐层的多尺度编码解码模块来细化与高层特征图进行融合的浅层特征图，将不同种类的信息经过优化以后汇聚到高层特征图。然后采用空洞卷积金字塔对高层特征图提取不同感受野的信息，优化了语义分割的输出特征图。通过在ISPRS Vaihingen数据集上进行实验，该网络算法的总体精度达到了90.34%，与经典语义分割网络相比，有效提升了遥感图像目标的检测精度。同时为了证明算法的泛化性，在ISPRS Potsdam数据集上进行了泛化实验取得了91.47%的总体精度，证明了该算法的有效性。     

基于iHDODC-LinkNet网络的遥感图像道路提取方法

遥感图像的道路提取在推动城乡发展规划及建设方面具有重要意义。然而,目前传统方法对于遥感图像道路提取存在工程量大、效率低下的问题,基于深度学习的方法又存在复杂场景下提取精度不高和连通性差等问题。针对上述存在的问题,为提高不同地貌区域的道路提取精度,本文提出一种基于iHDODC-LinkNet网络的高分辨率遥感图像道路提取方法。该方法在语义分割模型 D-LinkNet的基础上进行改进:一方面使用ResNeSt50重建D-LinkNet网络并添加预训练模型,提出一种混联深度过参数化扩张卷积(hybrid depthwise over-parameterized dilated convolution,HDODC) 模块;另一方面采用迭代注意力特征融合(iterative attentional feature fusion, iAFF) 机制替换原始的相加融合,从而使模型关注于道路的全局信息。最后,在马萨诸塞州道路数据集和某省高速公路场景数据集上进行训练并通过测试集的提取效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上F1达到71.66%,相比原始模型提升了10%,能够得到效果更好的分割结果。     

结合CNN和Transformer的遥感图像土地覆盖分类方法

利用遥感图像进行语义分割是一种有效的土地覆盖分类方法。然而由于主流框架存在边缘分割不准确、缺乏全局信息导致错误分类等问题,阻碍了其在土地覆盖分类中的应用。针对以上问题,提出了一种用于遥感图像土地覆盖分类的卷积神经网络（Convolutional Neural Networks, CNN）和Transformer混合网络CTHNet,结合了CNN的局部细节提取能力和Transformer的全局信息提取能力。同时设计了自适应融合模块,融合来自对应级别的CNN和Transformer特征,自适应融合模块的输出进入分割头得到最终的预测结果。最后,结合边界检测分支为语义分割提供边缘约束。在两个公开的土地覆盖分类数据集上的实验结果表明,该方法优于当前主流的方法,分别实现了90.53%和64.33%的平均交并比（mIoU）,对遥感图像中的大目标和边界也有更好的识别效果。     

基于改进DeepLabV3+的遥感影像语义分割方法

针对普通卷积神经网络在遥感图像分割中小目标识别度不高、分割精度低的问题，提出了一种结合特征图切分模块和注意力机制模块的遥感影像分割网络AFSM-Net。首先在编码阶段引入特征图切分模块，对每个切分的特征图进行放大，通过参数共享的方式进行特征提取；然后，将提取的特征与网络原输出图像进行融合；最后，在网络模型中引入注意力机制模块，使其更关注图像中有效的特征信息，忽略无关的背景信息，从而提高模型对小目标物体的特征提取能力。实验结果表明，所提方法的平均交并比达到86.42%，相比于DeepLabV3+模型提升了3.94个百分点。所提方法充分考虑图像分割中小目标的关注度，提升了遥感图像的分割精度。     

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。     

一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。     

基于多特征图金字塔融合深度网络的遥感图像语义分割

在遥感图像语义分割中,利用多元数据(如高程信息)进行辅助是一个研究重点。现有的基于多元数据的分割方法通常直接将多元数据作为模型的多特征输入,未能充分利用多元数据的多层次特征,此外,遥感图像中目标尺寸大小不一,对于一些中小型目标,如车辆、房屋等,难以做到精细化分割。针对以上问题,提出一种多特征图金字塔融合深度网络(MFPNet),该模型利用光学遥感图像和高程数据作为输入,提取图像的多层次特征,然后针对不同层次的特征,分别引入金字塔池化结构,提取图像的多尺度特征,最后,设计了一种多层次、多尺度特征融合策略,综合利用多元数据的特征信息,实现遥感图像的精细化分割。基于Vaihingen数据集设计了相应的对比实验,实验结果证明了所提方法的有效性。     

多源遥感图像融合语义分割发展现状与展望

遥感图像的语义信息提取正成为城市规划利用、土地覆盖勘察、灾害变化检测以及海上态势感知等研究方向的关键技术之一。文中从由“单源”向“多源”发展的遥感图像智能处理需求出发,首先概述并分析了大数据时代和深度学习背景下的遥感图像语义分割发展现状,主要包括单一来源图像语义分割、多源遥感图像融合语义分割和多源(同质/异质)遥感图像变化检测。然后在阐述主要方法的基础上,提炼并总结了多源遥感图像语义分割的关键技术,主要有单源遥感图像快速语义分割、语义信息辅助的多源遥感图像精确配准与融合、基于多源遥感图像的语义信息智能提取。最后,针对多源遥感图像在轨处理需求,概括出高分辨率多源遥感图像智能一体化信息提取所面临的技术挑战,并对未来发展趋势进行展望。     

一种改进级联U-Net网络的结肠息肉分割算法

结肠镜图像中息肉的精确分割是诊断结肠癌的关键环节,针对目前结肠息肉分割算法存在孔洞、分割粗糙以及分割不完全的问题,提出了一种改进级联U-Net结构的结肠息肉分割算法。运用特征融合思想,设计了多尺度语义嵌入模块和残差模块,充分利用深、浅层特征的语义信息。引入注意力机制,在模型的级联处构建了改进空洞卷积模块,扩大卷积感受野并增强特征捕获能力。改进了卷积层模块和分割损失函数,提升模型的泛化性和鲁棒性。在Kvasir-SEG数据集上进行实验分析,相似系数、平均交并比、召回率和准确率分别达到了90.39%、88.34%、83.62%和95.12%。实验结果表明,该文所提算法改善了分割图像内部孔洞、边缘粗糙及分割不完全的问题,优于其他息肉分割算法。     

多尺度特征对齐聚合的语义分割方法

卷积神经网络在对图像进行语义分割时，高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题，更好地聚合多尺度特征信息，提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移，可以有效缓解不同尺度特征聚合的特征不对齐问题，同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息，通过多个MFAA模块将高低层特征对齐之后聚合到一起，从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证，使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明，该方法与几种主流分割方法相比在评价指标方面存在优越性，可以有效提高图像分割的效果。     

基于Unet的多任务医学图像语义分割模型

深度学习网络在医学图像分割领域应用广泛,针对传统语义分割模型只在局部像素点进行考虑,在小目标的医学图像语义分割中检测精度不高。本文提出了基于Unet的双任务图像语义分割模型,对传统的Unet语义分割进行改进,编码阶段采用经过预训练的Resnet34作为框架进行特征提取,设计了SCSE模块对图像特征信息进行修正,从空间和通道两个方向获取图像的全局信息,损失函数采用“分类”和“分割”融合的多任务策略进行学习,对气胸医学图像进行语义分割。为进一步提高网络模型的泛化能力,对数据集图像进行随机水平翻转、垂直翻转等图像增强处理,实验表明该语义分割方法比传统的Unet语义分割方法在分割精度上提高5%以上。     

基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法

针对多源遥感图像的差异性和互补性问题,该文提出一种基于空间与光谱注意力的光学图像和SAR图像特征融合分类方法。首先利用卷积神经网络分别进行光学图像和SAR图像的特征提取,设计空间注意力和光谱注意力组成的注意力模块分析特征重要程度,生成不同特征的权重进行特征融合增强,同时减弱对无效信息的关注,从而提高光学和SAR图像融合分类精度。通过在两组光学和SAR图像数据集上进行对比实验,结果表明所提方法取得更高的融合分类精度。     

基于类别注意力卷积网络的地物分类方法

在近期的研究发展中,语义分割取得了巨大的进步。但大多数方法都是从空间角度出发,来获取更加丰富的上下文信息。与以往的方法不同,本文提出了一种基于类别注意机制的特征融合方法,从类别角度出发,来获取全局上下文信息,并与其他特征信息进行融合,这种方法能够更好地表示图像中各类目标的特征,具有更好的类内聚合性。为此,本文使用了一种ACF（类别注意力特征）模块,以计算和构建图像中各类目标的类别中心,以此为基础得到了一个基于类别注意力的多特征融合语义分割网络,以实现更好的地物分类性能。算法使用ISPRS数据集进行实验,与其他算法进行对比,本文方法具有更好的性能表现。