基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

基于生成式对抗网络的遥感图像半监督语义分割

高分辨率遥感图像的语义分割问题是目前遥感图像处理领域中的研究热点之一。传统的有监督分割方法需要大量的标记数据,而标记过程又较为困难和耗时。针对这一问题,提出一种基于生成式对抗网络的半监督高分辨率遥感图像语义分割方法,只需要少量样本标签即可得到较好的分割结果。该方法为分割网络添加全卷积形式的辅助对抗网络,以助于保持高分辨率遥感图像分割结果中的标签连续性;更进一步,提出一种新颖的能够进行注意力选择的对抗损失,以解决分割结果较好时判别器约束的分割网络更新过程中存在的难易样本不均衡问题。在ISPRS Vaihingen 2D语义标记挑战数据集上的实验结果表明,与现有其它语义分割方法相比,所提出方法能够较大幅度地提高遥感图像的语义分割精度。     

基于U-Net的遥感图像语义分割

遥感图像由于包含的地物尺度差别大、地物边界复杂等原因,造成准确提取遥感图像特征具有一定难度,精确分割遥感图像比较困难。针对这一问题,提出了一种编码-解码器的AFU-Net网络。在U-Net基础上使用一个自下而上、自上而下的结构,并引入密集跳跃连接得到融合不同层次的多尺度特征。使用非对称卷积块强化水平和垂直方向的平方卷积核,并采用残差单元加深网络深度。利用FReLU激活函数提升网络解析能力,从而提高遥感图像语义分割精度。在ISPRS的Vaihingen数据集实验结果表明,AFU-Net结构的性能要优于FCN,U-Net等算法。     

基于深度学习的激光雷达遥感图像分割

为解决传统激光雷达遥感图像分割方法存在的分割精度差、鲁棒性差问题,引入深度学习模型对激光雷达遥感图像分割方法进行研究。通过对图像的颜色通道R、G、B三个分量进行加权平均,使激光雷达遥感图像灰度化,完成遥感图像预处理,根据处理结果构建遥感图像分割模型,并进行图像的细分割,引入改进深度学习模型计算全卷积网络输出值,最后以全卷积网络输出值作为激光雷达遥感图像的分割值,实现激光雷达遥感图像分割。通过实验数据显示,与传统激光雷达遥感图像分割方法相比较,提出的激光雷达遥感图像分割方法极大地提升了分割精度与鲁棒性,充分说明提出的激光雷达遥感图像分割方法具备更好的分割效果。     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

基于改进DeepLabV3+的遥感影像语义分割方法

针对普通卷积神经网络在遥感图像分割中小目标识别度不高、分割精度低的问题，提出了一种结合特征图切分模块和注意力机制模块的遥感影像分割网络AFSM-Net。首先在编码阶段引入特征图切分模块，对每个切分的特征图进行放大，通过参数共享的方式进行特征提取；然后，将提取的特征与网络原输出图像进行融合；最后，在网络模型中引入注意力机制模块，使其更关注图像中有效的特征信息，忽略无关的背景信息，从而提高模型对小目标物体的特征提取能力。实验结果表明，所提方法的平均交并比达到86.42%，相比于DeepLabV3+模型提升了3.94个百分点。所提方法充分考虑图像分割中小目标的关注度，提升了遥感图像的分割精度。     

多层级特征优化融合的遥感图像分割网络

为了从高分辨率遥感图像中准确地分割出地物目标，提出了一种多级特征优化融合的遥感图像分割网络（MRFNet），着重将特征提取骨架网络中不同层级的特征图进行融合，通过融合网络特征图中不同种类的信息来对输出特征图信息进行合理有效的提取和分析。同时使用了逐层的多尺度编码解码模块来细化与高层特征图进行融合的浅层特征图，将不同种类的信息经过优化以后汇聚到高层特征图。然后采用空洞卷积金字塔对高层特征图提取不同感受野的信息，优化了语义分割的输出特征图。通过在ISPRS Vaihingen数据集上进行实验，该网络算法的总体精度达到了90.34%，与经典语义分割网络相比，有效提升了遥感图像目标的检测精度。同时为了证明算法的泛化性，在ISPRS Potsdam数据集上进行了泛化实验取得了91.47%的总体精度，证明了该算法的有效性。     

联合特征增强和锚点自动生成的遥感图像高精度目标检测

目标检测是遥感图像处理领域中一项重要而具有挑战性的任务,针对遥感图像中目标尺度差异较大以及方向分布随机等导致的遥感图像多尺度目标检测精度较低问题,本文提出一种基于特征增强和锚点框自动生成模块的目标检测方法。该方法在ResNet50网络中加入可操控的空洞卷积模块,并以此为基础设计了增强特征金字塔网络,提高网络对于目标多尺度特征表达能力。在区域建议网络中利用锚点框自动生成模块自主学习锚点框的位置和形状,以此获得更为稀疏和高质量的候选区域。本文在NWPU VHR-10数据集和飞机目标数据集上与多种基于卷积神经网络的目标检测算法进行对比实验,结果表明,本文所提方法在两个数据集上的mAP均为最优,分别为99.2%和87.7%,该方法具有较强的尺度自适应能力,有效的提高了遥感图像多尺度目标检测的精度。      

一种基于密集深度分离卷积的SAR图像水域分割算法

SAR图像的水域分割在舰船目标检测、灾害监测等军事和民用领域具有重要意义。针对传统水域分割算法鲁棒性差、难以准确进行分割等问题,该文首先建立了基于高分三号的SAR图像水域分割数据集,并基于深度学习技术提出了基于密集深度分离卷积的分割网络架构,该网络以SAR图像作为输入,通过密集分离卷积和扩张卷积提取图像高维特征,并构造基于双线性插值的上采样解码模块用于输出分割结果。在水域分割数据集上的实验结果表明,与传统方法相比,该方法不仅在分割准确度上有大幅提高,在算法的鲁棒性和分割速度上也具有部分优势,具备较好的工程实用价值。      

改进YOLO V3遥感图像飞机识别应用

为了准确识别遥感图像中的飞机,基于YOLO V3算法,通过使用K-means算法对数据集进行聚类分析,借鉴Densenet网络的思想,将YOLO V3网络中的两个残差网络模块替换为两个密集网络模块,改进为一种Dense-YOLO深度卷积神经网络结构。对改进前与改进后的网络进行训练,分别选出使两个网络识别效果最好的权重文件,针对高质量遥感图像与过度曝光、云雾遮挡等低质量遥感图像分别进行测试与分析。实验结果表明,新改进的深度卷积神经网络应用在两种图像上效果均有提升。其中,改进的算法在高质量的遥感图像中准确率高达99.72%,比原始算法准确率提升了0.85%,召回率高达98.34%,召回率提升了1.94%。在低质量遥感图像中准确率高达96.12%,比原始算法准确率提升了5.07%,召回率高达93.10%,召回率提升了19.75%。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于U-Net网络改进算法的视网膜血管分割研究北大核心CSCD

针对视网膜图像血管细小,细节特征丢失、梯度下降、爆炸而导致分割效果差的问题,本文提出了一种引入残差块、循环卷积模块和空间通道挤压激励模块的U-Net视网膜血管图像分割模型。首先通过使用一系列随机增强来扩展训练集并对数据集进行预处理,然后在U-Net模型中引入残差块,避免随着网络深度增加,分割准确率达到饱和然后迅速退化以及优化计算成本;并将U-Net网络的底部替换为循环卷积模块,提取图像低层次的特征,并不断的进行特征积累,增强上下文之间的语义信息,获得更有效的分割模型;最后在卷积层之间嵌入空间通道挤压激励模块,通过找到特征较好的通道,强调这一通道,压缩不相关的通道使得网络模型能够加强关键语义特征信息的学习,通过训练过程学习到有效的特征信息,同时增强抗干扰能力。通过在DRIVE数据集上的验证结果可得,本文所提模型的准确率为98.42%,灵敏度达到了82.36%,特异值达到了98.86%。通过和其他网络分割方法比较,本文所提分割方法具有更优的分割效果。     

改进生成式对抗网络的图像数据集增强算法

针对现有深度学习中图像数据集缺乏的问题,提出了一种基于深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的图像数据集增强算法。该算法对DCGAN网络进行改进,首先在不过多增加计算量的前提下改进现有的激活函数,增强生成特征的丰富性与多样性;然后通过引入相对判别器有效缓解模式坍塌现象,从而提升模型稳定性;最后在现有生成器结构中引入残差块,获得相对高分辨率的生成图像。实验结果表明,将所提方法应用在MNIST、SAR和医学血细胞数据集上,图像数据增强效果与未改进的DCGAN网络相比显著提升。     

基于VSA-UNet的电气设备紫外图像分割

提高电气设备紫外图像分割精确度对设备放电程度的准确评估具有重要意义。由于存在噪声干扰与紫外光斑形状、大小不规则等问题,目标分割区域存在过分割和欠分割现象,因此提出一种基于多模块的VSA-UNet(VGG16Net, Improved SENet, and ASPP based U-Net)分割网络。为强化网络特征提取能力,减少过分割现象,使用VGG16Net的卷积层代替U-Net网络的编码部分;将编码部分末端卷积层替换成空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,获取紫外图像的多尺度信息,解决大区域的欠分割问题;在跳跃连接部分加入改进SENet模块,加强有用信息的提取,补充细节损失,提升整体网络性能。基于自建紫外图像数据集的实验表明,改进网络在分割紫外图像时平均交并比(Mean Intersection over Union, MIoU)达到81.78%,平均精确率为95.97%。与U-Net网络相比,提出的VSA-UNet模型明显提升了紫外图像分割的准确性。     

基于iHDODC-LinkNet网络的遥感图像道路提取方法

遥感图像的道路提取在推动城乡发展规划及建设方面具有重要意义。然而,目前传统方法对于遥感图像道路提取存在工程量大、效率低下的问题,基于深度学习的方法又存在复杂场景下提取精度不高和连通性差等问题。针对上述存在的问题,为提高不同地貌区域的道路提取精度,本文提出一种基于iHDODC-LinkNet网络的高分辨率遥感图像道路提取方法。该方法在语义分割模型 D-LinkNet的基础上进行改进:一方面使用ResNeSt50重建D-LinkNet网络并添加预训练模型,提出一种混联深度过参数化扩张卷积(hybrid depthwise over-parameterized dilated convolution,HDODC) 模块;另一方面采用迭代注意力特征融合(iterative attentional feature fusion, iAFF) 机制替换原始的相加融合,从而使模型关注于道路的全局信息。最后,在马萨诸塞州道路数据集和某省高速公路场景数据集上进行训练并通过测试集的提取效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上F1达到71.66%,相比原始模型提升了10%,能够得到效果更好的分割结果。     

基于U型残差网络的遥感图像道路提取方法研究

针对遥感图像道路提取时大量建筑物、植被等干扰信息遮挡,导致出现错分、漏分、边缘信息恢复不完整等问题,提出一种基于Adaptive Mixup操作的深度残差分割网络。首先,使用预训练的ResNet101作为网络的编码器,有效地保持其特征表达能力;其次,引入ASPP模块提取图像的多尺度特征信息,在特征融合过程中加入Adaptive Mixup操作,对特征信息进行自适应地动态融合;最后,使用转置卷积与Pixelshuffle结合的上采样方法,对缩小后的特征图进行有效放大。通过使用两个高分辨率遥感数据集Massachusetts Roads Dataset和DeepGlobe Roads Dataset的实验结果表明,所提方法最高可达92.28%的精确率值和86.97%的F1值,改进后的网络在各项评价指标上均优于FCN、SegNet等经典语义分割网络,能够有效对道路信息进行提取,具备一定的实用价值。     

基于U-net卷积神经网络的多尺度遥感图像分割算法

多尺度遥感图像的非本质特征量较大，不仅易导致图像噪声较大，也增加了图像分割的难度。为充分保留分割后多尺度遥感图像的边缘特征，在U-net卷积神经网络下提出新的图像分割算法。以U-net卷积神经网络为基网，提取被分割图像特征，获得被分割图像细节信息；计算相邻像素和原始像素特征向量的欧氏距离，结合去噪算法，通过归一化参数处理，建立相似性函数，实现对多尺度遥感图像分割特征增强处理；计算分割框候选偏差值；根据U-net卷积神经网络结构确定局部最优合并区域对；计算度量区域的距离，使用全局最优区域合并方法更新分割时间复杂度，实现多尺度遥感图像整体分割。由实验结果可知，该算法能够精准确定指定建筑物位置，并保留建筑物完整边缘细节信息。     

深度学习偏振图像融合研究现状

偏振图像融合旨在通过光谱信息和偏振信息的结合改善图像整体质量,在图像增强、空间遥感、目标识别和军事国防等领域具有广泛应用。本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上,重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展,然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用,同时整理公开的高质量偏振图像数据集,最后对未来研究进行展望。     

基于感受野和特征增强的遥感图像实时检测

遥感图像检测在计算机视觉领域中是一项具有挑战性的任务，目前的遥感图像检测方法在提升精度的基础上忽略了速度，而在资源勘测和海上救援等需要实时检测的场景中，提高检测速度也是必不可少的。基于此，提出了一种轻量化的目标检测网络，以实现检测精度和速度的权衡。基于YOLOv4进行设计，将原主干网络替换为剪枝后的MobileNetV2，将特征提取部分的普通卷积计算替换为深度可分离卷积以大幅度减小模型计算量，同时嵌入感受野增强模块和注意力机制模块以提升模型检测精度。在遥感图像数据集上的实验结果表明：所提网络的平均准确率达到了89.80%，检测速度达到33.4 frame/s；与YOLOv4相比，平均准确率仅下降了1.48个百分点，但检测速度提升了近1.5倍；与YOLOv4-Tiny相比，平均准确率提升了9.05个百分点。所提模型实现了速度和精度的权衡，权重仅为44 MB，易于部署，且能满足实时检测场景需要。     

基于元学习和神经架构搜索的半监督医学图像分割方法

多数医学图像分割方法主要在相同或者相似医疗数据领域进行训练和评估，意味其需要大量像素级别的标注。但这些模型在领域分布外的数据集上面临挑战，被称为“域偏移”问题。通常使用固定的U形分割架构解决该问题，导致其无法更好地适应特定分割任务。文中提出了一种基于梯度的元学习与神经架构搜索方法，可以根据特定任务调整分割网络以实现良好的性能并且拥有良好的泛化能力。该方法主要使用特定任务进行架构搜索模块来进一步提升分割效果，再使用基于梯度的元学习训练算法提升泛化能力。在公共数据集M&Ms上，在5%标签数据下，其Dice和Hausdorff distance分别为79.62%、15.38%。在2%标签数据下，其Dice和Hausdorff distance分别为74.03%、17.05%。与其他主流方法相比，文中所提方法拥有更好的泛化能力。