基于深度学习的图像语义分割技术研究进展

自FCN网络在2014年提出后,SegNet、DeepLab等一系列关于图像语义分割的深度学习架构被相继提出。与传统方法相比,这些架构效果更好、运算速度更快,已经能够运用于自然图像的分割处理。围绕图像语义分割技术,对常用的数据集和典型网络架构进行了梳理分析,对2017年以来的新进展进行了综合研究,利用主流评价指标对主要模型的语义分割效果进行了比较和分析。对语义分割技术面临的挑战以及可能的发展趋势进行了展望。     

结合深度信息的室内图像语义分割

针对因光照及物体颜色相近等问题导致的图像分割不准确问题,论文提出了一种结合深度信息的室内图像语义分割方法.首先利用像素之间的深度相似性,将相似图像几何结构无缝地合并到卷积神经网络(CNN)中,以生成像素级每个类别的一元势能响应;然后将图像深度信息融合到对比敏感的双核势能条件随机场(CRF)中,将其与先前的一元势能结合进行室内图像细化分割进而获得最终结果;最后采用NYUv2数据集、三个平均指标,将论文方法和已有的五种分割方法进行对比实验,结果表明论文方法有着良好表现,可以有效地改善室内图像分割精度.     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

基于深度学习的图像语义分割算法综述

随着自动驾驶及虚拟现实技术等领域的发展,图像语义分割方法受到越来越多的计算机视觉和机器学习研究人员的关注。首先介绍了图像语义分割领域的常用术语以及需要了解的背景概念,并介绍语义分割问题中几种经典的深度学习算法,如全卷积神经网络(FCN)、Deeplab等。最后针对当前图像语义分割算法的应用,总结展望未来研究方向。     

基于DenseNet的复杂交通场景语义分割方法

针对交通场景语义分割方法存在参数量较大、计算效率较低、精度不足等问题,文中提出基于全卷积化DenseNet的多尺度端到端语义分割模型.首先,构建一种含混合空洞卷积的密集连接模块,同时沿通道维度级联各模块,用于提取图像特征.然后,采集多尺度视觉信息并以此作为监督信号回传至原通道中.最后,通过双线性插值法获得预测输出.在CityScapes数据集上的测试实验表明,文中方法对复杂交通场景的解析能力较强,预测精度和分割效率较高.     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

基于语义分割的室外场景识别技术研究

针对于场景识别问题,提出一种基于开源的室外场景数据集以及自定义采集的数据集在deepLabV3+深度学习模型上进行实验,并运用一种改进的K-近邻算法对DeepLabV3+深度学习模型进行优化.与现有的测试数据集的方法不同,省去了对数据集进行标签的工作,减少了大量的前期准备工作,提高了模型的计算效率以及分类模型的准确率和...     

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建（SLAM）系统中影响位姿估计的问题，提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后，首先用PSPNet（Pyramid Scene Parsing Network）对图像进行语义分割；之后提取图像特征点，剔除分布在动态物体内的特征点，并用静态的特征点进行相机位姿估计；最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明，相对于使用SegNet网络的SLAM系统，所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降，平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明，改进的系统能够显著减小动态场景下位姿估计的误差，准确地在动态场景中进行相机位姿估计。     

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

流形正则化的交叉一致性语义分割算法

目的 为有效解决半监督及弱监督语义分割模型中上下文信息缺失问题,在充分考虑模型推理效率的基础上,提出基于流形正则化的交叉一致性语义分割算法。方法 首先,以交叉一致性训练模型作为骨架网络,通过骨架网络获得预测分割图像。其次,对输入域图像和输出域图像进行子图像块划分,以获取具有相同几何结构的数据对。再次,通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系,并根据不同的训练方式分别设计半监督及弱监督的正则化算法。最后,利用流形约束的结果进一步优化图像分割网络中的参数,并通过反复迭代使半监督或弱监督的语义分割模型达到最优。结果 通过加入流形正则化约束,捕获了图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,在不改变网络结构的前提下提高了算法精度。为验证算法的有效性,实验分别在半监督和弱监督两种不同类型的语义分割中进行了对比,在PASCAL VOC 2012(pattern analysis, statistical modeling and computational learning visual object classes 2012)数...     

基于语义分割和空间上下文信息的防震锤识别

针对目前输电线路中防震锤部件识别精确率低,缺陷无法诊断,未充分利用其空间上下文信息的问题,提出结合DeepLabV3+语义分割网络与防震锤的空间上下文关系对其进行识别与缺陷诊断;利用图像分块和数据集预处理提高DeepLabV3+网络分割精度,将防震锤与其周围部件分割出来后,建立其空间上下文关系缩小防震锤的识别范围,提高其识别精确率;实验结果表明,图像分块与预处理能够将DeepLabV3+网络的分割精度提升到93.4%以上,DeepLabV3+网络可以有效的识别正常防震锤与缺陷防震锤,识别召回率可以达到87%以上,建立防震锤与周围部件的空间上下文关系能够提高其识别精确率到90%以上。     

域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果,但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练,并且在网络的不同特征层间的对抗学习中使用固定的学习率,所以分割精度仍有待提高。针对上述问题,提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理,生成新的数据集SG-GTA5,其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes,并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题,在网络的不同特征层引入自适应的学习率进行对抗学习,通过该学习率自适应地调整不同特征层的损失值,达到动态更新网络参数的目标。同时,在对抗网络的判别器中增加一层卷积层,以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证,并与相关的域自适应分割模型进行对比,结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体,对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union, mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异,减少了训练过程中的对抗损失值,规避了网络在反向传播训练过程中出现的梯度爆炸问题,从而有效地提高了网络模型的分割精度;同时提出基于该自适应的学习率进一步提升模型的分割性能;在模型的判别器网络中新添加一个卷积层,能学习到图像的更多高层语义信息,有效地缓解了类漂移的问题。     

基于图像分层树的图像语义分割方法

针对传统语义分割模型缺乏空间结构信息,无法准确地描述对象轮廓的问题,提出了一种基于图像分层树的图像语义分割方法。分层树模型采用结构森林方法生成轮廓模型,为防止过度分割,运用超度量轮廓图算法得到多尺度轮廓图,然后利用支持向量机训练多尺度轮廓图生成图像分层树,通过随机森林精炼分层树,最终输出图像语义分割结果。在测试实验中,像素精确度达到82.1%,相比区域选择方法(Selecting Regions)提升了2.7%。并在较难区分的树和山脉的预测精确度上,相比层次标记方法(Stacked Labeling)分别提升了16%,25%,具有更高的稳定性。实验结果表明,在复杂的室外环境下,对图像语义分割的精确度、稳定性和速率均有明显改善。     

基于高阶CRF模型的图像语义分割

图像语义分割方法大多基于点对条件随机场模型, 不能定位到单个目标, 并且难以利用全局形状特征, 造成误识。针对这些问题, 提出一种新的高阶条件随机场模型, 将基于全局形状特征的目标检测结果和点对条件随机场模型统一在一个概率模型框架中, 同时完成图像分割、目标检测与识别的任务。利用目标检测器和前背景分割算法获取图像中目标区域, 在目标区域上定义新的高阶能量项。新的高阶条件随机场模型就是高阶能量项和点对条件随机场模型的加权混合模型, 其最优解即为图像语义分割结果。在MSRC-21类数据库上进行的实验验证了该模型能够显著提升图像语义分割性能, 并定位到单个目标。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

基于混合自动编码器道路语义分割方法研究

道路检测是无人驾驶汽车环境感知的重要环节,利用计算机视觉技术实现对环境场景的语义分割是确保无人驾驶汽车安全行驶的关键技术之一。提出一种稀疏自动编码器和去噪自动编码器相结合的混合自动编码器语义分割模型,利用稀疏自动编码器的稀疏性语义编码和去噪自动编码器鲁棒的语义编码,使混合模型学习的特征更有利于图像的语义分割。通过建立一种合理的模型排列顺序与堆叠形式,实现对图像语义的优化选择,从而建立一个具有深度的“富结构”语义分割模型,进一步提高语义分割性能。实验表明,本文所提模型更为简单、训练周期短,具有较好的综合图像分割性能。     

基于深度学习的弱监督语义分割方法综述

语义分割是计算机视觉领域的基本任务,旨在为每个像素分配语义类别标签,实现对图像的像素级理解。得益于深度学习的发展,基于深度学习的全监督语义分割方法取得了巨大进展。然而,这些方法往往需要大量带有像素级标注的训练数据,标注成本巨大,限制了其在诸如自动驾驶、医学图像分析以及工业控制等实际场景中的应用。为了降低数据的标注成本并进一步拓宽语义分割的应用场景,研究者们越来越关注基于深度学习的弱监督语义分割方法,希望通过诸如图像级标注、最小包围盒标注、线标注和点标注等弱标注信息实现图像的像素级分割预测。首先对语义分割任务进行了简要介绍,并分析了全监督语义分割所面临的困境,从而引出弱监督语义分割。然后,介绍了相关数据集和评估指标。接着,根据弱标注的类型和受关注程度,从图像级标注、其他弱标注以及大模型辅助这3个方面回顾和讨论了弱监督语义分割的研究进展。其中,第2类弱监督语义分割方法包括基于最小包围盒、线和点标注的弱监督语义分割。最后,分析了弱监督语义分割领域存在的问题与挑战,并就其未来可能的研究方向提出建议,旨在进一步推动弱监督语义分割领域研究的发展。