多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

基于语义引导与多尺度增强的遥感影像分割网络

遥感影像语义分割在环境监测、土地覆盖分类和城市规划等领域发挥着至关重要的作用. 卷积神经网络及其改进模型是遥感影像语义分割的主流方法, 但此类方法更加关注局部上下文特征的学习, 无法有效建模不同物体之间的全局分布关系, 进而制约了模型的分割性能. 为了解决该问题, 本文在卷积神经网络的基础上, 构建了全局语义关系学习模块, 充分学习不同物体之间的共生关系, 有效地增强了模型的表征能力. 此外, 考虑到同一场景中, 待分割物体的尺度存在差异性, 构建了多尺度关系学习模块, 以融合不同尺度的全局语义关系. 为了评估模型的性能, 本文在Vaihingen和Potsdam两个常用的遥感影像数据集上进行了充分的实验. 实验结果表明, 本文方法能够获得比已有的基于卷积神经网络的模型更高的分割性能.     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

一种融合多级特征信息的图像语义分割方法

卷积神经网络因为其强大的学习能力,已经在语义分割任务中取得了显著的效果,但是如何有效地利用网络在浅层次的视觉特征和深层次的语义特征一直是研究的热点,以此为出发点,提出了一种融合多级特征信息的图像语义分割方法。通过空洞卷积提取各层级的特征,并不断迭代深层特征来丰富低级视觉信息,最后与高级语义特征合并融合,得到精细的语义分割结果。实验在PASCAL VOC 2012数据集上与主流的五种方法进行了比较,在GTX1080Ti的环境下该方法与其中性能第二的模型mIoU（mean intersection-over-union）值相比提高了2.1%,与其中性能第一的模型mIoU值仅相差0.4%,表明该方法能有效利用多层级的特征信息,实现了图像语义分割的目的。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码...     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题,提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组,利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息;引入条状池化模块对上下文信息补充和完善,增强全局语义信息表达;根据语义引导融合模块建立不同层次特征像素间对应关系,将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明,该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比,且在相同精度下,该方法减少了39%的参数量。     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

基于注意力融合的语义分割网络

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独...     

基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法

在计算机断层扫描（CT）和磁共振成像（MRI）的影像中肝脏与邻近脏器的灰度值相似性都比较高,为自动精确地分割肝脏,提出一种基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法 MAGNet(Multi-scale feature fusion And Grid attention mechanism Network)。首先,通过注意力引导连接模块来连接高层特征和低层特征以提取出重要的上下文信息,并且在注意力引导连接模块中引入网格注意力机制来关注感兴趣的分割区域;然后,通过在单个特征图中按通道数进行分层连接形成多尺度特征融合模块,并用该模块替换基础卷积块以获取多尺度语义信息;最后,利用深度监督机制解决梯度消失、梯度爆炸和收敛过慢等问题。实验结果表明：在3DIRCADb数据集上,与U3-Net+DC方法相比,MAGNet在Dice相似系数（DSC）指标上提升了0.10个百分点,在相对体积差（RVD）指标上降低了1.97个百分点;在Sliver07数据集上,与CANet方法相比,MAGNet在DSC指标上提升了0.30个百分点,在体素重叠误差（VOE）指标上降低了0.68个百分点,在平均...     

基于多尺度分割的遥感影像滨海湿地分类

基于多尺度的高分辨率遥感影像分类方法研究,可以为滨海湿地动态监测、规划保护提供更详尽的湿地分类信息和更快速的数据获取方法,对湿地保护具有重要意义。选取连云港青口河入海口处湿地为研究区,以高分辨率遥感影像WV\|Ⅱ和航空遥感影像为数据源,利用多尺度分割方法将影像分割成不同层次的实体对象;在不同层次,以实体对象为单元,结合光谱、形状、纹理等不同影像特征,进行滨海湿地分类研究,结果表明:利用该方法分类后,研究区各种湿地类型都达到较高精度。基于多尺度分割的影像分类方法能充分利用各种影像特征完成湿地分类,有效地减少了遥感影像中的“椒盐”现象,提高了分类精度;选择适宜的分割尺度和分割参数是基于多尺度分割的遥感影像分类方法提高精度的前提。     

改进的遥感图像语义分割算法

针对遥感图像中多个目标聚集导致边缘混淆,小尺度物体分割不明显,以及语义分割过程中全局信息获取不足的问题,提出了一种基于混合注意力与全尺度跳层连接网络的遥感图像语义分割算法DU-net。该算法以U-net3+为基础网络,采用全尺度跳层连接网络作为特征提取网络,摒弃了原算法中的深度监督,建立特征与注意力机制之间的关联,最终实现语义分割的过程。实验结果表明,DU-net算法在不同指标下较经典算法都有明显提升,同时提高了图像边缘分割质量,改善了算法对小尺度目标的分割准确度。     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题,提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构,在编码阶段,采用空间金字塔池化获取多尺度的上下文信息,同时融合特征通道之间的关联信息,提高特征图的语义表征能力;在解码阶段,基于注意力机制将高层特征与低层特征自适应地融合,逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验,PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

全卷积注意力机制神经网络的图像语义分割

全卷积神经网络是一种强大的端到端的模型,在语义分割领域应用广泛,获得了巨大的成功.研究人员提出了一系列基于完全卷积神经网络的方法,但是随着卷积和池化的持续性下采样,图像的上下文信息将会丢失,影响了像素级分类.针对完全卷积网络上下文信息丢失问题,提出基于像素的注意力方法.该方法利用计算高级特征图像素之间的联系来获取全局信...     

基于加权损失函数的多尺度对抗网络图像语义分割算法

针对现有的语义分割算法存在分割结果空间不一致的问题,提出一种基于加权损失函数的多尺度对抗网络语义分割算法。在DeepLab v3基本框架的基础上,引入Pix2pix网络作为生成对抗网络模型,实现多尺度对抗网络语义分割。同时,为增加模型的泛化能力与训练精度,提出将传统的多分类交叉熵损失函数与生成器输出的内容损失函数和鉴别器输出的对抗损失函数相结合,构建加权损失函数。大量定性定量实验结果表明,该算法能够识别并分割细小的物体,其语义分割性能超过现有的深度网络,在保证语义分割空间一致性的同时提高了分割效率。     

基于注意力机制的U型网络遥感影像分割

传统遥感影像分割算法存在分割精度低、小目标物体容易漏分、目标边缘分割模糊等问题。针对以上问题,提出了一种基于注意力机制的改进UNet卷积神经网络算法。通过UNet网络学习遥感影像目标的总体特征,引入注意力机制模块重点关注有用的信息并抑制无关的信息,使网络更好的区分不同类别的目标。实验结果表明,上述算法在ISPRS数据集上分割的总体精度得到了提高。与其它分割算法相比较,上述算法有效提高了遥感影像的分割精度,并且在目标边缘分割的更平滑和完整。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。