结合语义边界信息的道路环境语义分割方法

语义分割是实现道路语义环境解释的重要方法,深度学习语义分割由于卷积、池化及反卷积的作用使分割边界模糊、不连续以及小目标漏分错分,影响了分割效果,降低了分割精度。针对上述问题,提出了一种结合语义边界信息的新的语义分割方法,首先在语义分割深度模型中构建了一个语义边界检测子网,利用网络中的特征共享层将语义边界检测子网络学习到的语义边界信息传递给语义分割网络;然后结合语义边界检测任务和语义分割任务定义了新的模型代价函数,同时完成语义边界检测和语义分割两个任务,提升语义分割网络对物体边界的描述能力,提高语义分割质量。最后在Cityscapes数据集上进行一系列实验证明,结合语义边界信息的语义分割方法在准确率上比已有的语义分割网络SegNet提升了2.9%,比ENet提升了1.3%。所提方法可以改善语义分割中出现的分割不连续、物体边界不清晰、小目标错分漏分、分割精度不高等问题。     

基于Deeplabv3+与CRF的遥感影像典型要素提取方法

为提取高分辨率遥感影像的典型要素(建筑物及道路),基于深度学习,提出一种语义分割与全连接条件随机场(CRF)相结合的提取方法。以Deeplabv3+作为语义分割模型,提取较完整图像分割信息,并将其作为全连接CRF的一元能量函数的输入,利用平均场近似方法进行推理,实现对分割信息边界的优化。通过分析Deeplabv3+模型在噪声样本集数据的训练效果验证其鲁棒性,并基于公开影像及矢量数据源设计大规模遥感训练样本集智能采集系统。采集罗德岛2 000平方公里遥感影像及相对应典型要素标记数据作为样本进行实验,结果表明,该方法分割精度MIoU值达到80.32%,结合形态学滤波处理,要素边界轮廓明显优于初始分割结果。     

边界感知的实时语义分割网络

目前多数实时语义分割网络不仅同时处理边界和纹理等细节信息而且还忽略了语义边界区域特征,从而导致物体边界分割质量下降。针对该问题,提出一种边界感知的实时语义分割网络,主要从三个方面提高边界语义分割质量。提出了边界感知学习机制利用位置信息降低边界特征和轮廓附近细节的耦合度使边界感知和位置关系相互促进。设计轻量级区域自适应模块增强卷积网络对复杂语义边界区域的建模能力。根据采样区域像素贡献值不同设计了高效的空洞空间金字塔池化模块以增强重要的细节和语义特征。实验方面,与基准相比,在Cityscapes验证集上精度提升了约5.8个百分点,在Cityscapes测试集上以47.2 FPS的推理速度使精度达到了74.9%。在CamVid数据集上与BiSeNetV2算法相比mIoU提升了约3.96个百分点。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

基于多尺度特征融合的遥感图像建筑物提取算法研究

由于高分辨率遥感图像中的建筑物尺寸多样,且背景复杂,因此在对遥感图像中的建筑物进行提取时,往往存在细节丢失、边缘模糊等问题,从而影响模型的分割精度。为了解决这些问题,提出了具有空间和语义信息的双分支架构网络B2Net。首先,在语义信息分支上建立交叉特征融合模块,充分捕获上下文信息,以聚合更多的多尺度语义特征;其次,在空间信息分支上将空洞卷积和深度可分离卷积进行组合,提取图像的多尺度空间特征,并通过优化膨胀率扩大网络的感受野;最后,构建内容感知注意力模块,对图像中的高频和低频内容进行自适应选择,以达到细化建筑物分割边缘的效果。在两个建筑物数据集上对B2Net进行训练与测试。在WHU数据集上,与基线模型相比,B2Net在精度、召回率、F1分数以及交并比上皆达到了最佳效果,分别为98.60%,99.40%,99.30%,88.50%;在Massachusetts建筑物数据集上,4个指标比BiSeNet分别提高了0.9%,1.9%,1.7%,2.2%。实验结果证明,B2Net可以更好地捕获空间细节信息和高级语义信息,提高了复杂背景下的建筑物进行分割精度,满足了对建筑物快速提取的需求。     

基于多路径特征提取的实时语义分割方法

深度学习在图像语义分割领域的应用极大地提升了分割精确度,但由于深度学习网络在速度、内存等方面的限制,其并不能直接应用于嵌入式设备进行实时分割。针对语义分割模型存在的的网络结构复杂和计算开销巨大的问题,提出了结合边缘检测算法的多路径特征提取的实时语义分割算法。模型通过Sobel算子、Scharr算子和Laplacian算子对图像的轮廓信息进行提取。算法设计了空间路径提取图像的空间位置信息、语义路径提取图像高级语义信息,以及通过边缘检测路径提取图像中具有代表性的纹理特征,并采用Ghost轻量化模块来减少模型参数量,提高算法的分割速度。在480像素×360像素的CamVid数据集上的实验结果表明,在3种边缘检测算子上,模型的分割准确率均能得到有效提升,尤其是在加入3×3大小的Sobel算子下算法的性能提升最为明显,在CamVid测试集图像处理速度为349 frames/s的基础上,分割精度达到了42.9%。所提算法在分割精度和分割速度上均取得了较好的效果,在实时性和准确性之间达到了很好的平衡。     

多模型集成的弱监督语义分割算法

为减小池化操作造成空间信息丢失的影响,提高基于迁移学习的弱监督语义分割算法的性能,提出一种多模型集成的弱监督图像语义分割算法.该算法在迁移学习算法的基础上,利用多尺度图像的高层语义特征和单尺度图像的高中层相结合的卷积特征,分别训练2个差异化的同质型基分割模型,并与原迁移学习训练的分割模型进行加权平均,集成构造最后的分割模型.同时结合预测类别可信度调整语义分割中对应类别像素的可信度,抑制分割图中的假正例区域,提高分割的精度.在VOC2012数据集上进行实验的结果表明,验证集上的平均重叠率为55.3%,测试集上的平均重叠率为56.9%,比原迁移学习算法分别提升6.1%和11.1%,也优于其他以类标为弱监督信息的语义分割算法.     

基于边缘特征和注意力机制的图像语义分割

在语义分割任务中, 编码器的下采样过程会导致分辨率降低, 造成图像空间信息细节的丢失, 因此在物体边缘会出现分割不连续或者错误分割的现象, 进而对整体分割性能产生负面影响. 针对上述问题, 提出基于边缘特征和注意力机制的图像语义分割模型EASSNet. 首先, 使用边缘检测算子计算原始图像的边缘图, 通过池化下采样和卷积运算提取边缘特征. 接着, 将边缘特征融合到经过编码器提取的深层语义特征当中, 恢复经过下采样的特征图像的空间细节信息, 并且通过注意力机制来强化有意义的信息, 从而提高物体边缘分割的准确性, 进而提升语义分割的整体性能. 最后, EASSNet在PASCAL VOC 2012和Cityscapes数据集上的平均交并比分别达到85.9%和76.7%, 与当前流行的语义分割网络相比, 整体分割性能和物体边缘的分割效果都具有明显优势.     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid损失函数,结合COCO数据集预训练的FCN+CRF网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF提取到的分割信息作为一元势,MSDF检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2个标准数据集Pascal context和SIFT Flow上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.     

多尺度特征融合与新型判别器的无监督分割

工厂在智能化升级过程中，有很多应用场景需要用到语义分割。然而使用全监督语义分割方法需要耗费大量人力成本进行样本标注，所以研究无监督语义分割方法很有必要。针对本地某碳素厂石墨电极压印字符的语义分割问题，提出了一种无监督语义分割方法 CycleGAN-Seg。结合跨层连接和空洞空间池化金字塔（ASPP）的思想，构建了新型多尺度特征融合生成器，加入了改进的注意力模块以提升网络性能。同时提出一种新的U形判别器对重构图像进行判别。在石墨电极表面压印字符数据集语义分割实验中，MIoU值可达70.81%，分割效果基本满足识别需要，有望在该工业场景中替代全监督学习方法，以节省人工标注成本，达到快速训练和部署的目的。     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

基于改进Fast-SCNN的塑瓶气泡缺陷实时分割算法

在医用塑瓶的瓶身气泡检测时，瓶身气泡位置的任意性、气泡大小的不确定性以及气泡特征与瓶身特征之间的相似性增加了气泡缺陷的检测难度。针对上述气泡缺陷检测难点问题，提出了一种基于改进快速分割卷积神经网络(Fast-SCNN)的实时分割算法。该分割算法的基础框架为Fast-SCNN，而为弥补原有网络分割尺寸的鲁棒性不足，借鉴了SENet的通道间信息的利用与多级跳跃连接的思想，具体为网络进一步下采样提取深层特征，在解码阶段将上采样操作融合SELayer模块，同时增加两次与网络浅层的跳跃连接。设计四组对比实验，在气泡数据集上以平均交并比（MIoU）与算法单张分割时间作为评价指标。实验结果表明，改进Fast-SCNN的综合性能最好，其MIoU为97.08%，其预处理后的医用塑瓶的平均检测时间为24.4 ms，其边界分割准确率较Fast-SCNN提升了2.3%，增强了对微小气泡的分割能力，而且该网络的MIoU相较现有的U-Net提升了0.27%，时间上降低了7.5 ms，综合检测性能远超过全卷积神经网络(FCN-8s)。该算法能够有效地对较小的、边缘不清晰的气泡进行分割，满足对气泡缺陷实时分割检测的工程要求。     

利用U-net网络的高分遥感影像建筑提取方法

针对传统的高分影像建筑物提取方法存在分割精度低和分割边界模糊等问题,提出基于U-net神经网络的高分辨率光学遥感影像建筑物提取方法。方法包含U-net神经网络和全连接CRFs网络,依据图像特征进行语义分割并优化分割结果;在实现U-net神经网络和全连接CRFs模型的基础上,根据U-net的特点以及本文数据特性调试出不同数据量的增强扭曲数据集进行测试,以达到最高鲁棒的分割效果;调试全连接CRFs模型,使得后处理结果更加贴近影像中的真实情况。实验结果表明,与利用传统分割方法的分割效果相比,该方法分割精度及地物边缘分割完整度都得到了显著提升,对高分辨率遥感影像中建筑物的实验分割精度达到了87.64%。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

含多级通道注意力机制的CGAN遥感图像建筑物分割

目的 遥感图像建筑物分割是图像处理中的一项重要应用,卷积神经网络在遥感图像建筑物分割中展现出优秀性能,但仍存在建筑物漏分、错分,尤其是小建筑物漏分以及建筑物边缘不平滑等问题。针对上述问题,本文提出一种含多级通道注意力机制的条件生成对抗网络（conditional generative adversarial network,CGAN）模型Ra-CGAN,用于分割遥感图像建筑物。方法 首先构建一个具有多级通道注意力机制的生成模型G,通过融合包含注意力机制的深层语义与浅层细节信息,使网络提取丰富的上下文信息,更好地应对建筑物的尺度变化,改善小建筑物漏分问题。其次,构建一个判别网络D,通过矫正真实标签图与生成模型生成的分割图之间的差异来改善分割结果。最后,通过带有条件约束的G和D之间的对抗训练,学习高阶数据分布特征,使建筑物空间连续性更强,提升分割结果的边界准确性及平滑性。结果 在WHU Building Dataset和Satellite Dataset II数据集上进行实验,并与优秀方法对比。在WHU数据集中,分割性能相对于未加入通道注意力机制和对抗训练的模型明显提高,且在复杂建筑物的空间连续性、小建筑物完整性以及建筑物边缘准确和平滑性上表现更好;相比性能第2的模型,交并比（intersection over union,IOU）值提高了1.1%,F₁-score提高了1.1%。在Satellite数据集中,相比其他模型,准确率更高,尤其是在数据样本不充足的条件下,得益于生成对抗训练,分割效果得到了大幅提升;相比性能第2的模型,IOU值提高了1.7%,F₁-score提高了1.6%。结论 本文提出的含多级通道注意力机制的CGAN遥感图像建筑物分割模型,综合了多级通道注意力机制生成模型与条件生成对抗网络的优点,在不同数据集上均获得了更精确的遥感图像建筑物分割结果。