基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题，提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构，在编码阶段，采用空间金字塔池化获取多尺度的上下文信息，同时融合特征通道之间的关联信息，提高特征图的语义表征能力；在解码阶段，基于注意力机制将高层特征与低层特征自适应地融合，逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验，PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

融合深度神经网络和空洞卷积的语义图像分割研究

语义分割是计算机视觉中的基本任务,是对图像中的不同目标进行像素级的分割与分类.针对多尺度的目标分割难题,本文提出了一种基于Res Net网络的方法,通过定义并联支路,将浅层特征图像信息融合到深层特征图像中,提出新的空洞空间金字塔模块,该模块采用并行的不同采样率的空洞卷积进行特征提取与融合,从而更有效的提取不同层的特征以及上下文信息,并且在新模块中加入批规范化计算,增强参数调优的稳定性.本文还采用了Adam自适应优化函数,在训练的过程中,使得每个参数的更新都具有独立性,提升了模型训练的稳定性.本文结果在PASCAL VOC 2012语义分割测试集中取得了77.31%mIOU的成果,优于Deeplab V3的效果.     

基于改进的YOLO算法的交通标志识别

为了解决交通标志识别易受光照、遮挡和小目标影响的问题，对YOLOv5-P6算法进行改进，提出了一种新的交通标志识别算法。算法采用加权双向特征金字塔网络，提高特征提取能力，增加了跨层连接并对传递的特征进行权重调整，更好地融合道路交通标志的通道特征；使用空洞空间池化金字塔模块提取多尺度上下文信息，进一步增大感受野从而改善语义分割的效果；引入改进的跨阶段局部网络，使模块更加简洁；在训练过程中加入随机裁剪技术，并采用图像缩放、图像切变以及代数运算对检测效果不理想的类别进行实例扩充，缓解模型的过拟合问题。在TT100K数据集上应用本算法，识别精度达到90.02%,与传统的YOLOv5模型相比提高了4.72%,帧处理速率达到36.07FPS。     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU...     

全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型.设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中...     

融合多尺度特征的遥感影像道路提取方法

针对遥感影像中由于道路信息错综复杂,导致道路提取不完整、精确度低等问题,提出一种新型遥感影像道路提取方法。融合多尺度特征改善道路提取的整体效果,基于深度残差网络设计混合空洞卷积,并通过定义卷积核各值的间距增大特征提取感受野,从而丰富多尺度特征融合模块中的浅层道路语义信息。在编码端提取特征后,利用权重分布的方法匹配感受野尺度,使用不同层级间的特征对全局先验信息进行表征,提高多尺度融合特征获取浅层道路语义信息的准确性,并将改进的多孔空间金字塔池化模块融入到深度残差网络中,挖掘并深度聚合道路浅层次和深层次的语义信息。在两种高分辨率遥感数据集Cheng_Data_Roads和Zimbabwe_Data_Roads上的实验结果表明,所提方法的F1值和MIoU值分别为91.16%和83.63%,准确率、召回率等评价指标均明显优于U-net、ResUnet、D-Linknet等语义分割方法。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法.首先,通过自底向上的方式选择经典残差网络结构(ResNet)进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作(ASPP)对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路...     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

基于多重注意力机制的自然图像抠图

深度学习在图像抠图中发挥着重要作用，但是它容易丢失一些低级语义信息。在此使用U-Net结构搭建生成网络，并在跳跃连接过程中添加瓶颈注意力模块（BAM），能够有效地融合图像的深层特征和浅层特征。同时在编码器与解码器之间添加一个空洞空间金字塔池化模块（ASPP），拓宽感受野，以多个比例捕捉图像的上下文信息。实验结果表明，相比传统的抠图算法，自然图像抠图提取了更多的细节纹理信息，提高了抠图的精度。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络（PSPNet）的网络改进结构,在特征学习模块中将输入图在原残差网络（ResNet）的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比（Mean Intersection over Union,MIoU）达到78.5%,较基准算法提升了1.7%。     

预指导的多阶段特征融合的图像语义分割网络

针对目前语义分割对图像边缘和小物体不能进行精确识别,以及简单融合多阶段特征会造成信息冗余、混杂不清等问题,提出了一个预指导的多阶段特征融合的网络(pre-guidanced multi-stage feature fusion network, PGMFFNet),PGMFFNet采用编解码器结构,编码阶段利用预指导模块对各阶段信息进行指导,增强各阶段特征之间的联系,解决各阶段特征在后续融合过程中产生的语义混杂问题。在解码阶段,利用多路径金字塔上采样模块融合高级语义特征,然后使用改进的密集空洞空间金字塔池化模块对融合后的特征进一步扩大感受野,最后将高低层次的特征信息融合,使得对小物体的分割效果更优。PGMFFNet在CityScapes公开数据集上进行了验证,得到了78.38%的平均交并比(mean intersection over union, MIoU),分割效果较好。     

多尺度特征融合与新型判别器的无监督分割

工厂在智能化升级过程中，有很多应用场景需要用到语义分割。然而使用全监督语义分割方法需要耗费大量人力成本进行样本标注，所以研究无监督语义分割方法很有必要。针对本地某碳素厂石墨电极压印字符的语义分割问题，提出了一种无监督语义分割方法 CycleGAN-Seg。结合跨层连接和空洞空间池化金字塔（ASPP）的思想，构建了新型多尺度特征融合生成器，加入了改进的注意力模块以提升网络性能。同时提出一种新的U形判别器对重构图像进行判别。在石墨电极表面压印字符数据集语义分割实验中，MIoU值可达70.81%，分割效果基本满足识别需要，有望在该工业场景中替代全监督学习方法，以节省人工标注成本，达到快速训练和部署的目的。     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。     

基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF＿CC＿50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。     

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题, 提出了一种交叉特征融合和RASPP驱动的场景分割方法. 该方法以交叉特征融合的方式合并编码器输出的多尺度特征, 在融合高层语义信息时使用复合卷积注意力模块进行处理, 避免上采样操作造成的特征信息丢失以及引入噪声的影响, 细化目标边缘分割效果. 同时提出了深度可分离残差卷积, 在此基础上设计并实现了结合残差的金字塔池化模块——RASPP, 对交叉融合后的特征进行处理, 获得不同尺度的上下文信息, 增强特征语义表达. 最后, 将RASPP模块处理后的特征进行合并, 提升分割效果. 在Cityscapes和CamVid数据集上的实验结果表明, 本文提出方法相比现有方法具有更好的表现, 并且对场景中的目标边缘有更好的分割效果.     

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。