面向图像语义分割的生成对抗网络模型

图像语义分割一直是计算机视觉中具有挑战性的任务之一。目前多数基于卷积神经网络的语义分割算法存在分割结果不精确,不连续等问题。为了提高图像分割效果,提出了基于生成对抗学习的图像语义分割网络模型。该模型由生成网络和判别网络两部分组成。生成网络含有五个模块,主要作用是生成语义分割图,判别网络与生成网络进行对抗训练,优化生成网络以使生成图像更加接近于Ground Truth。通过在Pascal VOC 2012数据集上对图像进行语义分割的分析,验证了该算法可以有效提高图像语义分割的精度。     

深度学习实时语义分割综述

语义分割是计算机视觉领域的一项像素级别的感知任务,目的是为图像中的每个像素分配相应类别标签,具有广泛应用。许多语义分割网络结构复杂,计算量和参数量较大,在对高分辨率图像进行像素层次的理解时具有较大的延迟,这极大限制了其在资源受限环境下的应用,如自动驾驶、辅助医疗和移动设备等。因此,实时推理的语义分割网络得到了广泛关注。本文对深度学习中实时语义分割算法进行了全面论述和分析。1）介绍了语义分割和实时语义分割任务的基本概念、应用场景和面临问题;2）详细介绍了实时语义分割算法中常用的技术和设计,包括模型压缩技术、高效卷积神经网络（convolutional neural network,CNN）模块和高效Transformer模块;3）全面整理和归纳了现阶段的实时语义分割算法,包括单分支网络、双分支网络、多分支网络、U型网络和神经架构搜索网络5种类别的实时语义分割方法,涵盖基于CNN、基于Transformer和基于混合框架的分割网络,并分析了各类实时语义分割算法的特点和局限性;4）提供了完整的实时语义分割评价体系,包括相关数据集和评价指标、现有方法性能汇总以及领域主流方法的同设备比较,为后续研究者提供统一的比较标准;5）给出结论并分析了实时语义分割领域仍存在的挑战,对实时语义分割领域未来可能的研究方向提出了相应见解。本文提及的算法、数据集和评估指标已汇总至https://github.com/xzz777/Awesome-Real-time-Semantic-Segmentation,以便后续研究者使用。     

图像语义分割方法在高分辨率遥感影像解译中的研究综述

快速获取遥感信息对图像语义分割方法在遥感影像解译应用发展具有重要的研究意义。随着卫星遥感影像记录的数据种类越来越多,特征信息越来越复杂,精确有效地提取遥感影像中的信息,成为图像语义分割方法解译遥感图像的关键。为了探索快速高效解译遥感影像的图像语义分割方法,对大量关于遥感影像的图像语义分割方法进行了总结。首先,综述了传统的图像语义分割方法,并将其划分为基于边缘检测的分割方法、基于区域的分割方法、基于阈值的分割方法和结合特定理论的分割方法,同时分析了传统图像语义分割方法的局限性。其次,详细阐述了基于深度学习的语义分割方法,并以每种方法的基本思想和技术特点作为划分标准,将其分为基于FCN的方法、基于编解码器的方法、基于空洞卷积的方法和基于注意力机制的方法四类,概述了每类方法中包含的子方法,并对比分析了这些方法的优缺点。然后,简单介绍了遥感图像语义分割常用数据集和性能评价指标,给出了经典网络模型在不同数据集上的实验结果,同时对不同模型的性能进行了评估。最后,分析了图像语义分割方法在高分辨率遥感图像解译上面临的挑战,并对未来的发展趋势进行了展望。     

基于区块自适应特征融合的图像实时语义分割

近年来结合深度学习的图像语义分割方法日益发展,并在机器人、自动驾驶等领域中得到应用.本文提出一种基于区块自适应特征融合(Block adaptive feature fusion,BAFF)的实时语义分割算法,该算法在轻量卷积网络架构上,对前后文特征进行分区块自适应加权融合,有效提高了实时语义分割精度.首先,分析卷积网...     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

基于深度学习的图像语义分割技术研究综述

图像语义分割技术是智能系统理解自然场景的关键技术之一,作为视觉智能领域的重要研究方向,该技术在移动机器人、无人机、智能驾驶以及智慧安防等领域具有广阔的应用前景。对于图像语义分割技术的研究发展历程进行了详细评述,包括从传统的语义分割方法到当前主流的基于深度学习的图像语义分割理论及其方法,重点阐述了基于深度学习的图像语义分割技术的框架及其实现过程,进而对当前具有代表性的典型算法的效果以及优缺点进行了分析,然后归纳了算法评价指标,最后对该技术的发展进行了总结与展望。该研究对于从事图像语义分割技术的研究人员和工程技术人员均具有很好的参考意义。     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义。实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例分割与双阶段实例分割的分类对不同网络模型进行论述,重点介绍近两年网络框架的发展,总结各网络特点的同时提出未来发展方向。     

图像分割述评：基本概貌、典型算法及比较分析

图像分割作为计算机视觉领域的一个重要分支,在可穿戴计算、自动驾驶、医学图像分析等方面都发挥着重要作用,并有着广泛应用。为了更好地了解图像分割领域的发展以及研究现状,该文对图像分割进行了深入梳理和系统述评。首先,对图像分割的含义以及其工作流程、指标等进行阐释;然后,对图像分割方法按照时间的跨度进行分类——基于阈值和区域、基于图论和聚类,以及基于深度学习的图像分割,对每类方法的代表性算法进行分析介绍,较为全面地总结了每类方法的基本思想和优缺点;最后,对该领域目前存在的问题和未来的发展方向进行展望,提出实时图像语义分割、弱监督或非监督语义分割和三维场景的语义分割是目前研究中的主要挑战。     

基于内容的图像分割方法综述

图像分割是指将图像分成若干具有相似性质的区域的过程,是许多图像处理任务的预处理步骤.近年来,国内外学者主要研究基于图像内容的分割算法.在广泛调研大量文献和最新成果的基础上,将图像分割算法分为基于图论的方法、基于像素聚类的方法和语义分割方法这3种类型并分别介绍.对每类方法所包含的典型算法,尤其是最近几年利用深度网络技术的语义图像分割方法的基本思想、优缺点进行分析、对比和总结.介绍了图像分割常用的基准数据集和算法评价标准,并用实验对各种图像分割算法进行对比.最后总结全文,并对未来可能的发展趋势进行了展望.     

基于语义分割的复杂驾驶场景障碍物检测

目前经典的语义分割方法无法准确的检测出交通场景中是否存在障碍物的情况,为了克服自动驾驶系统中对障碍物检测的难点,提出了一个用于像素级障碍物检测的框架。提出的算法流程如下：首先使用分割网络对输入图像进行分割,得到一个语义分割结果图和两个不确定性图;其次使用合成网络对预测的语义图进行处理,利用不确定性图来改进再合成方法,生成较为逼真的图像;最后通过比较输入图像和生成图像的特征来计算感知差异,将输入图像和重合成图像输入到相异模块进行障碍物预测。实验结果表明,文中算法在Cityscapes数据集上对所提出的像素级障碍物检测框架进行了测试和评估,与其它经典方法相比,取得了更好的障碍物检测效果。     

基于多级特征图联合上采样的实时语义分割

视觉感知是无人驾驶技术中的重要一环,而语义分割技术又是实现视觉感知的主要技术手段之一.现在的语义分割技术多采用计算量大、内存占用高的空洞卷积来提取高分辨率特征图,从而导致现在主流的语义分割网络分割速度不足,无法有效应用于无人驾驶的场景中.针对这一问题,提出了一种实时性更好的语义分割网络.首先,采用了一种轻量级的卷积神经...     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

一种基于区域建议网络的图像语义分割方法

针对图像语义分割中存在分割效果粗糙、细节缺失的问题，提出一种结合区域建议网络并实现卷积层共享的联合网络结构。利用区域建议网络生成包含类别标记信息的区域建议框，并使用这些区域建议框来校正全卷积语义分割网络的分割结果。实验表明，该方法可以有效提高像素点的分类正确率，得到更精细的分割效果。     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型.使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模...     

基于卷积神经网络的语义分割算法研究

针对语义分割中残差网络并不能完好地提取图像信息和分割效果差的问题,提出一种联合特征金字塔模型(JFP)用来融合残差网络的输出特征,并结合暗黑空间金字塔池化模型(ASPP)进一步提取特征。在解码部分应用简单的解码结构,恢复图像尺寸完成语义分割;同时引入注意力模型作为辅助语义分割网络,辅助神经网络进行训练。该方法分别在Pascal VOC 2012数据集和增强的Pascal VOC 2012数据集上对网络进行训练,并在Pascal VOC 2012的验证集上进行测试,其平均交并集之比(mIoU)分别达到了78.55%和80.14%,表明该方法具有良好的语义分割性能。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

基于改进CycleGAN的道路场景语义分割研究

道路场景下的语义分割是无人驾驶中关键的技术,也是计算机视觉中重要的一个领域,而传统的语义分割方法需要对训练数据进行像素级的标注,对数据的要求极高。针对这一问题,将改进的循环生成对抗网络（cycleconsistent adversarial networks,CycleGAN）用于道路场景语义分割,该网络避免了大量的像素级标注且不需要成对的数据集,降低了数据集的要求。将原网络的目标函数用最小二乘损失和Smooth L1范数替代,增加了网络训练的稳定性且提高了生成图像的质量,并引入特征损失保证图像特征的保留,使得生成图像更加真实。使用道路场景分割中常用的Cityscapes数据集进行实验,并用语义分割领域常用的性能评价指标验证了方法的有效性,实验结果表明相较于原网络各性能都有一定提升。