残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

采用通道域注意力机制Deeplabv3+算法的遥感影像语义分割北大核心CSCD

为提取高分辨率遥感影像的典型地物,且针对Deeplabv3+在遥感图像分割任务中,边缘分割比较模糊,存在孔洞和遗漏分类的问题,基于深度学习提出在Deeplabv3+加入通道注意力机制模块以增强分割结果的方法。先通过深度卷积网络得到的高级特征图输入到通道注意力机制,进行通道间像素特征强化,再通过空间金字塔池获得多尺度输入图像,并且进行了类别不平衡的修正,提取出了完整的图像分割信息,实现了分割边界信息的优化。最后,通过采集广州市高分二号遥感影像进行遥感数据处理、标注、增强之后进行实验,对比经典语义分割网络U-Net、SegNet、PSPNet,结果表明,该方法的评估指标MIOU达到了96.19%,MPA达到了97.85%。     

基于超像素的高分遥感影像分割算法

针对高分遥感影像中存在地物数目多,特征信息复杂导致分割边缘不清晰、对象细节丢失等问题,提出一种改进的超像素分割和多特征结合的遥感影像分割合并算法。在对图像进行分割前的预处理阶段,使用超像素分割技术得到初始分割图像;区域合并过程中,基于对象间的异质性和对象内部的同质性,结合光谱、纹理和形状特征,对对象进行合并;通过调整全局分割参数来调整合并尺度,得到最终的影像分割结果。实验结果表明,所提方法能得到较好的影像分割效果。     

跨层细节感知和分组注意力引导的遥感图像语义分割

目的 语义分割是遥感图像智能解译的关键任务之一,遥感图像覆盖面广,背景交叉复杂,且地物尺寸差异性大。现有方法在复杂背景下的多尺度地物上分割效果较差,且分割区域破碎边界不连续。针对上述问题,提出了一种跨层细节感知和分组注意力引导的语义分割模型用于高分辨率遥感图像解析。方法 首先采用结构新颖的ConvNeXt骨干网络,编码输入图像的各层次特征。其次,设计了分组协同注意力模块,分组并行建模通道和空间维度的特征依赖性,通道注意力和空间注意力协同强化重要通道和区域的特征信息。接着,引入了自注意力机制,构建了跨层细节感知模块,利用低层特征中丰富的细节信息,指导高层特征层学习空间细节,保证分割结果的区域完整性和边界连续性。最后,以山西省太原市为研究区域,自制高分辨率遥感太原市城区土地覆盖数据集（Taiyuan urban land cover dataset,TULCD）,所提方法实现了太原市城区土地覆盖精细分类任务。结果 实验在自制数据集TULCD和公开数据集Vaihingen上与最新的5种算法进行了比较,所提方法在两个数据集上平均像素准确率（mean pixel accuracy,mPA）为74.23%、87.26%,平均交并比（mean intersection over union,mIoU）为58.91%、77.02%,平均得分mF1为72.24%、86.35%,均优于对比算法。结论 本文提出的高分辨率遥感图像语义分割模型具有较强的空间和细节感知能力,对类间差异小的相邻地物也有较强的鉴别能力,模型的整体分割精度较高。     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码器结构,在特征提取部分沿用U-Net模型的编码器结构,提取多个层级的特征信息;在特征融合部分保留U-Net的跳跃连接结构,同时使用提出的特征融合优化策略,实现了高层语义特征与底层位置特征的融合-优化-再融合.此外特征融合优化策略还使用空洞卷积获取了更多的全局特征,并采用Sub-Pixel卷积层代替传统转置卷积,实现了自适应上采样.所提方法在ISPRS的Potsdam数据集和Vaihingen数据集上得到了验证,其总体分割精度、Kappa系数和平均交并比mIoU 3个评价指标在Potsdam数据集上分别为86.2％,0.82,0.77,在Vaihingen数据集上分别为84.5％,0.79,0.69;相比传统的U-Net模型,所提方法的3个评价指标在Potsdam数据集上分别提高了5.8％,8％,8％,在Vaihingen数据集上分别提高了3.5％,4％,11％.实验结果表明,基于U-Net特征融合优化策略的遥感影像语义分割方法,在Potsdam数据集和Vaihingen数据集上都能达到很好的语义分割效果,提高了遥感影像的语义分割精度.     

基于影像认知和地学理解的面向对象分类研究

以遥感影像认知和地学理解为主要分析视角,在图像多尺度分割的基础上,充分挖掘目标地物的光谱特征、形状特征、纹理特征和语义特征信息,明确对象的特征信息与地物之间的对应关系。在此基础上,合理选择目标地物的分类特征,建立分类规则,实现研究区地物的逐级分层分类。结果表明:所选特征能够很好地实现目标地物的信息提取,并具有明确的地学意义,便于理解。与传统的基于像素的最大似然法分类相比较,该方法分类精度有明显提高。     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

面向对象高分辨遥感影像分类研究

高空间分辨率遥感影像采用传统基于像元分类方法精度较低,本文通过分析高分辨遥感影像特征,采用面向对象的最近邻监督分类方法对QuickBird影像进行分类研究,首先对影像进行对象分割,然后将分割对象信息、形状特征与及上下文联系等特征构成特征空间进行最近邻监督分类,并与传统的基于像元最近邻分类方法分类进行比较分析,结果表明,本方法能够较好的识别高分辨率地物类型,总精度为92.19%,Kappa系数为0.8835,较好地改善分类效果,适合高分辨遥感影像分类。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

一种融合光谱差异的空间约束模糊聚类的熵率超像素分割方法

针对高分辨率遥感影像中传统超像素分割方法存在过分割和边缘分割一致性的问题,选取五景高分辨率遥感影像,提出了一种融合光谱差异的空间约束模糊聚类的熵率超像素分割方法。首先,采用熵率超像素进行过分割,生成超像素过分割区域;然后,分析影像地物的空间信息,对比区域相似性;最后,采用空间约束模糊聚类和光谱差异进行区域合并,获取最终分割影像。定性和定量分析结果表明,该方法改善了过分割问题,能有效提高分割精度,使得分割影像的地物边缘一致性较优。     

基于熵增强的无监督域适应遥感图像语义分割

为了实现利用有标注源数据获得在无标注目标数据上可用的遥感图像语义分割模型,提出了一种基于熵增强的域适应端到端语义分割方法.首先,为了充分利用遥感图像多尺度信息并且减少域之间传感器分辨率带来的域偏移,采用空洞空间金字塔池化模块作为分类器;其次,为了使无标注的目标域类别正确对应,使用了两个分类器进行协同训练;将像素点预测值的信息熵当做分类置信度的度量,将其作为对抗损失的权重,从而使训练能专注于难分类的像素,降低域偏移.在ISPRS(WGII/4)2D数据集上进行实验,所提方法相对于直接使用分割模型和使用传统对抗方法,mIoU分别提高了18％和12％.实验结果表明,所提方法在遥感图像域适应语义分割表现上优于直接使用分割模型或使用传统对抗域适应分割方法.     

基于图像片马尔科夫随机场的脑MR图像分割算法

传统的高斯混合模型（Gaussian mixture model,GMM）算法在图像分割中未考虑像素的空间信息,导致其对于噪声十分敏感.马尔科 夫随机场（Markov random field,MRF）模型通过像素类别标记的Gibbs分布先验概率引入了图像的空间信息,能较好地分割含有噪声的图 像,然而MRF模型的分割结果容易出现过平滑现象.为了解决上述缺陷,提出了一种新的基于图像片权重方法的马 尔科夫随机场图像分割模型,对邻域内的不同图像片根据相似度赋予不同的权重,使其在克服噪声影响的同时能 保持图像细节信息.同时,采用KL距离引入先验概率与后验概率关于熵的惩罚项,并对该惩罚项进行平滑,得到 最终的分割结果.实验结果表明,算法具有较强的自适应性,能够有效克服噪声对于分割结果的影响,并获得较高的分割精度.     

快速鲁棒核空间模糊聚类分割

目的 传统模糊C-均值聚类应用于图像分割仅考虑像素本身的聚类问题,无法克服噪声干扰对图像分割结果的影响,不利于受到噪声干扰的工业图像、医学影像和高分遥感影像等进行目标提取、识别和解译。嵌入像素空间邻域信息或局部信息的鲁棒模糊C-均值聚类分割算法是近年来图像分割理论研究中的热点课题。为此,针对现有的鲁棒核空间模糊聚类算法非常耗时且抑制噪声能力弱、不适合强噪声干扰下大幅面图像快速分割等问题,提出一种快速鲁棒核空间模糊聚类分割算法。方法 利用待分割图像中像素邻域的灰度信息和空间位置等信息构建线性加权滤波图像,对其进行鲁棒核空间模糊聚类。为了进一步提高算法实时性,引入当前聚类像素与其邻域像素均值所对应的2维直方图信息,构造一种基于2维直方图的鲁棒核空间模糊聚类快速分割最优化数学模型,采用拉格朗日乘子法获得图像分割的像素聚类迭代表达式。结果 对大幅面图像添加一定强度的高斯、椒盐以及混合噪声,以及未加噪标准图像的分割测试结果表明,本文算法比基于邻域空间约束的核模糊C-均值聚类等算法的峰值信噪比至少提高1.5 dB,误分率降低约5%,聚类性能评价的划分系数提高约10%,运行速度比核模糊C-均值聚类和基于邻域空间约束的鲁棒核模糊C-均值聚类算法至少提高30%,与1维直方图核空间模糊C-均值聚类算法具有相当的时间开销,所得分割结果具有较好的主观视觉效果。结论 通过理论分析和实验验证,本文算法相比现有空间邻域信息约束的鲁棒核空间模糊聚类等算法具有更强的抗噪鲁棒性、更优的分割性能和实时性,对大幅面遥感、医学等影像快速解译具有积极的促进作用,能更好地满足实时性要求较高场合的图像分割需要。     

自适应多维特征减少的模糊C-均值遥感图像分割算法

针对传统分割算法难以对遥感图像进行有效分割的问题,提出了一种自适应特征减少的图像分割算法。首先对源图像进行超像素分割,将获得的超像素作为算法的基本操作对象。其次,提取图像的颜色、纹理、边缘以及空间等多维特征,并使用加权像素值来表示超像素的特征。再者,将模糊分离度量加入到FRFCM(feature-reduction fuzzy C-means)模型中,构造特征减少分割算法。该算法可以自动选择有用特征。最后对分割算法进行优化,获取最终分割结果。通过遥感图像分割实验表明,提出算法能有效分割遥感图像,在分割准确度、运行时间、消除噪声影响等性能方面优于其他同类算法。     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

结合深度学习和超像元的高分遥感影像变化检测

目的 随着遥感影像空间分辨率的提升,相同地物的空间纹理表现形式差异变大,地物特征更加复杂多样,传统的变化检测方法已很难满足需求。为提高高分辨率遥感影像的变化检测精度,尤其对相同地物中纹理差异较大的区域做出有效判别,提出结合深度学习和超像元分割的高分辨率遥感影像变化检测方法。方法 将有限带标签数据分割成切片作训练样本,按照样本形式设计一个多切片尺度特征融合网络并对其训练,获得测试图像的初步变化检测结果;利用超像元分割算法将测试图像分割成许多无重叠的同质性区域,并将分割结果与前述检测结果叠合,得到带分割标记的变化检测结果;用举手表决算法统计带分割标记的变化检测结果中超像元的变化状况,得到最终变化检测结果。结果 在变化检测实验结果中,本文提出的多切片尺度特征融合卷积网络模型在广东数据集和香港数据集上,优于单一切片尺度下卷积神经网络模型,并且结合超像元的多切片尺度特征融合卷积网络模型得到的Kappa系数分别达到80%和82%,比相应的非超像元算法分别提高了6%和8%,在两个测试集上表现均优于长短时记忆网络、深度置信网络等对比算法。结论 本文提出的卷积神经网络变化检测方法可以充分学习切片的空间信息和其他有效特征,避免过拟合现象;多层尺度切片特征融合的方法优于单一切片尺度训练神经网络的方法;结合深度学习和超像元分割算法,检测单元实现了由切片到超像元的转变,能对同物异谱的区域做出有效判决,有利于提升变化检测精度。     

基于阴影概率模型的遥感影像阴影检测方法

阴影区像素光谱响应的不一致性使得依据阈值获取的阴影检测结果与真实情况出入较大。针对这一问题,结合不透明度和亮度两种信息设计了一个全新的阴影概率模型。在此基础上,针对邻域像素信息未能充分利用的问题,提出了一个基于多尺度马尔可夫随机场(MRF)的遥感影像检测方法。首先,用所提出的模型描述多尺度影像中像素的阴影概率;然后,使用Potts模型建模多尺度标记场,同时兼顾尺度内和尺度间的邻域像素的交互关系;最后,基于最大后验(MAP)概率准则获取最终阴影检测结果。通过与色调亮度比值方法、差分双阈值方法、主成分分析法和支持向量机分类方法的对比实验证明,所提出的方法能够提高高分辨率城区遥感影像的阴影检测精度。     

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。