基于改进深度神经网络的遥感影像语义分割

研究了基于深度学习的遥感图像语义分割问题,将建筑物作为遥感图像中的待分割目标,采用语义分割算法将建筑物提取出来.提出了一种改进的U-net网络,根据分割实际需求,保持网络对目标提取特征能力的前提下,将原U-net网络的卷积核数量适当减少,降低了网络参数数量和计算复杂度;增加了Batch Normalization层抑制过拟合问题;在上采样部分增加特征图的局部信息以优化网络对于细节的分割效果.使用公开的数据集INRIA Aerial Image Dataset来评估改进的U-net网络的实际效果,和原U-net相比,单张图片训练速度提升了8％,分割精度也明显提升,训练中的过拟合情况得到改善.证明了本文改进的U-net网络具有对遥感图像的语义分割任务的有效性和可行性.     

基于多结构卷积神经网络的高分遥感影像飞机目标检测

传统的遥感影像目标检测方法大多利用人工提取特征,难以用于背景复杂的高分辨率遥感影像。针对该问题,构建一种多结构卷积神经网络模型(MSCNN)自动学习目标特征。通过改变卷积滤波器尺寸、数量以及网络层数,分别设计4种不同结构的CNN以提取目标从低层、中层到高层不同尺度的特征信息,并将4种CNN输出采用串行方式连接并输入到BP神经网络分类器进行训练。在检测阶段采用滑动窗口方法进行目标搜索。对高分辨遥感影像中飞机的检测实验结果表明,MSCNN在虚警率和召回率上较4种单一结构的CNN具有明显的检测优势,召回率平均提升6%,虚警率平均降低3%。对油罐的检测结果进一步表明,MSCNN可以推广到对遥感影像其他目标的检测。     

多源特征自适应融合网络的高分遥感影像语义分割

目的 在高分辨率遥感影像语义分割任务中,仅利用可见光图像很难区分光谱特征相似的区域(如草坪和树、道路和建筑物),高程信息的引入可以显著改善分类结果。然而,可见光图像与高程数据的特征分布差异较大,简单的级联或相加的融合方式不能有效处理两种模态融合时的噪声,使得融合效果不佳。因此如何有效地融合多模态特征成为遥感语义分割的关键问题。针对这一问题,本文提出了一个多源特征自适应融合模型。方法 通过像素的目标类别以及上下文信息动态融合模态特征,减弱融合噪声影响,有效利用多模态数据的互补信息。该模型主要包含3个部分：双编码器负责提取光谱和高程模态的特征;模态自适应融合模块协同处理多模态特征,依据像素的目标类别以及上下文信息动态地利用高程信息强化光谱特征,使得网络可以针对特定的对象类别或者特定的空间位置来选择特定模态网络的特征信息;全局上下文聚合模块,从空间和通道角度进行全局上下文建模以获得更丰富的特征表示。结果 对实验结果进行定性、定量相结合的评价。定性结果中,本文算法获取的分割结果更加精细化。定量结果中,在ISPRS(International Society for Photogrammetry...     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息.目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取,导致分割错误率较高.本文提出一种基于编码与解码结构特征连接的方法,对DeconvNet网络模型进行改进.模型在编码时,通过记录池化索引的位置并应用于上池化中,能够保留空间结构信息;在解码时,利用编码与解码对应特征层连接的方式使模型有效地进行特征提取.在模型训练时,使用设计的预训练模型,可以有效地扩充数据,来解决模型的过拟合问题.实验结果表明,在对优化器、学习率和损失函数适当调整的基础上,使用扩充后的数据集进行训练,对遥感影像验证集的分割精确度达到95%左右,相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

基于注意力机制的U型网络遥感影像分割

传统遥感影像分割算法存在分割精度低、小目标物体容易漏分、目标边缘分割模糊等问题。针对以上问题,提出了一种基于注意力机制的改进UNet卷积神经网络算法。通过UNet网络学习遥感影像目标的总体特征,引入注意力机制模块重点关注有用的信息并抑制无关的信息,使网络更好的区分不同类别的目标。实验结果表明,上述算法在ISPRS数据集上分割的总体精度得到了提高。与其它分割算法相比较,上述算法有效提高了遥感影像的分割精度,并且在目标边缘分割的更平滑和完整。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题,提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络,使得网络充分提取图像的特征信息,其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息;解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验,获得了6418%的平均交并比,实验结果表明SMANet优于目前主流的语义分割网络。     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

全卷积神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域的热点研究课题,随着全卷积神经网络的迅速兴起,图像语义分割和全卷积神经网络的融合发展取得了非常卓越的成绩.通过对近年来高质量文献的收集,重点对全卷积神经网络图像语义分割方法进行总结.将收集的文献,按照应用场景的不同,划分为经典语义分割、实时性语义分割和RGBD语义分割,对具有代表性的分割方法...     

基于语义传播与前/背景感知的图像语义分割网络

虽然图像语义分割因其有助于更好地分析和理解图像而被广泛应用于多个领域,但是基于全卷积神经网络的模型在语义分割方面依然存在分辨率重构及如何利用上下文信息的问题.因此,文中提出基于语义传播与前/背景感知的图像语义分割网络.首先,提出联合语义传播上采样模块,提取高层特征的全局语义信息与局部语义信息,用于得到语义权重,将高层特...     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码...     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于深度学习的自然灾害遥感影像语义分割

自然灾害种类繁多, 通过遥感影像语义分割相对比较困难. 为了能够更好实现遥感影像分割, 本文提出一种基于生成对抗网络的3层遥感影像语义分割模型, 针对不同场景的解析, 基于全卷积神经网络FCN, 设计一种多层次的遥感语义分割框架. 有效对遥感图像语义分割进行处理, 从而提高了模型的分割精度. 实验表明利用这种模型是有效的, 特别是受损建筑的分割结果, mIoU为82.28%, 通过该模型与其他网络模型进行对比, 其性能评价指标明显优于其他网络模型. 最后, 通过对自然灾害各种场景影像进行分析, 为应急管理部门提供一份可靠的数据报告.     

基于多层上下文卷积神经网络的目标检测算法

目标检测提取的特征信息不足,导致识别小目标或被遮挡目标时精确度不高.因此,文中提出多层上下文卷积网络(MLC-CNN),通过提取多层上下文信息特征并结合物体特征进行目标检测.MLC-CNN由区域生成网络(RPN)和多层上下文信息(MLC)两个子网络组成,RPN获取固定长度的特征向量作为目标特征,MLC获取不同层特征图上对应的上下文信息特征,最后融合两部分特征.此外,为了解决数据不均衡问题,融入难负样本训练.在PASCAL VOC2007和PASCAL VOC2012数据集上的实验表明,MLC-CNN的均值平均精度(mAP)具有明显提高.     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

面向GF-2遥感影像的U-Net城市绿地分类

目的 高分2号卫星（GF-2）是首颗民用高空间分辨率光学卫星，具有亚米级高空间分辨率与宽覆盖结合的显著特点，为城市绿地信息提取等多领域提供了重要的数据支撑。本文利用GF-2卫星多光谱遥感影像，将一种改进的U-Net卷积神经网络首次应用于城市绿地分类，提出一种面向高分遥感影像的城市绿地自动分类提取技术。方法 先针对小样本训练集容易产生的过拟合问题对U-Net网络进行改进，添加批标准化（batch normalization，BN）和dropout层获得U-Net+模型；再采用随机裁剪和随机数据增强的方式扩充数据集，使得在充分利用影像信息的同时保证样本随机性，增强模型稳定性。结果 将U-Net+模型与最大似然法（maximum likelihood estimation，MLE）、神经网络（neural networks，NNs）和支持向量机（support vector machine，SVM）3种传统分类方法以及U-Net、SegNet和DeepLabv3+这3种深度学习语义分割模型进行分类结果精度对比。改进后的U-Net+模型能有效防止过拟合，模型总体分类精度比改进前提高了1.06%。基于改进的U-Net+模型的城市绿地总体分类精度为92.73%，平均F₁分数为91.85%。各分类方法按照总体分类精度从大到小依次为U-Net+（92.73%）、U-Net （91.67%）、SegNet （88.98%）、DeepLabv3+（87.41%）、SVM （81.32%）、NNs （79.92%）和MLE （77.21%）。深度学习城市绿地分类方法能充分挖掘数据的光谱、纹理及潜在特征信息，有效降低分类过程中产生的"椒盐噪声"，具有较好的样本容错能力，比传统遥感分类方法更适用于城市绿地信息提取。结论 改进后的U-Net+卷积神经网络模型能够有效提升高分遥感影像城市绿地自动分类提取精度，为城市绿地分类提供了一种新的智能解译方法。