基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

图像语义分割方法在高分辨率遥感影像解译中的研究综述

快速获取遥感信息对图像语义分割方法在遥感影像解译应用发展具有重要的研究意义。随着卫星遥感影像记录的数据种类越来越多,特征信息越来越复杂,精确有效地提取遥感影像中的信息,成为图像语义分割方法解译遥感图像的关键。为了探索快速高效解译遥感影像的图像语义分割方法,对大量关于遥感影像的图像语义分割方法进行了总结。首先,综述了传统的图像语义分割方法,并将其划分为基于边缘检测的分割方法、基于区域的分割方法、基于阈值的分割方法和结合特定理论的分割方法,同时分析了传统图像语义分割方法的局限性。其次,详细阐述了基于深度学习的语义分割方法,并以每种方法的基本思想和技术特点作为划分标准,将其分为基于FCN的方法、基于编解码器的方法、基于空洞卷积的方法和基于注意力机制的方法四类,概述了每类方法中包含的子方法,并对比分析了这些方法的优缺点。然后,简单介绍了遥感图像语义分割常用数据集和性能评价指标,给出了经典网络模型在不同数据集上的实验结果,同时对不同模型的性能进行了评估。最后,分析了图像语义分割方法在高分辨率遥感图像解译上面临的挑战,并对未来的发展趋势进行了展望。     

深度学习在脊柱图像分割中的应用综述

深度学习算法在脊柱图像分割中具有学习和自适应能力强、对图像有非线性映射能力等优点,相较于传统分割方法,能更好地提取脊柱图像中的关键信息,并且抑制不相关信息,辅助医生准确定位病灶区域,实现精准、高效分割。从深度学习算法、脊柱疾病类型、图像类型、实验分割结果、性能评估指标等方面,对深度学习在脊柱图像分割中的应用现状进行归纳、总结并加以分析。介绍深度学习模型和脊柱图像分割的背景,从而引出深度学习在脊柱图像分割中的应用;介绍常见的几种脊柱疾病类型,阐述其在图像分割中的难点,并介绍脊柱图像分割中常用的公开数据集、图像分割的方法流程以及图像分割评价指标等要素;结合具体实验总结分析基于卷积神经网络模型、U型网络模型及其改进的模型在椎骨、椎间盘以及脊柱肿瘤图像分割中的应用进展;结合以往的实验结果和当前深度学习模型的研究进展,总结目前临床研究的局限性以及分割效果不足的原因,针对所存在的问题提出相应的解决方法,并对未来的研究和发展进行展望。     

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

基于U-Net网络的医学图像分割研究综述

近年来随着深度学习技术的快速发展,卷积神经网络(CNN)成为语义分割的重要支撑框架,被广泛运用于多种目标检测与分割的任务当中。在医学图像分割任务中,U-Net网络以其优异的分割性能、可拓展性的网络结构等特点成为该领域研究的热点。如今有众多学者从网络的结构等方面对U-Net进行改进以优化网络性能、提升分割准确度。研究通过对相关文献的分析,首先介绍了基于U-Net的经典改进模型;然后阐述了六大U-Net改进机制：注意力机制、inception模块、残差结构、空洞机制、密集连接结构以及集成网络结构;随后介绍了医学图像分割常用评价指标和非结构化改进方案,这些非结构化改进方法包括数据增强、优化器、激活函数和损失函数四个方面;之后列举并分析了在肺结节、视网膜血管、皮肤病和颅内肿瘤新冠肺炎四大医学图像分割领域的改进模型;最后对U-Net网络的未来发展进行展望,为相关研究提供思路。     

无人机航拍图像语义分割研究综述

随着无人机技术的快速发展,无人机在研究领域和工业应用方面受到了广泛的关注。图像和视频是无人机感知周围环境的重要途径。图像语义分割是计算机视觉领域的研究热点,在无人驾驶、智能机器人等场景中应用广泛。无人机航拍图像语义分割是在无人机航拍图像的基础上,运用语义分割技术使无人机获得场景目标智能感知能力。介绍了语义分割技术和无人机的应用发展、相关无人机航拍数据集、无人机航拍图像特点和常用语义分割评价指标。针对无人机航拍的特点介绍了相关语义分割方法,包括小目标、模型实时性和多尺度整合等方面。综述无人机语义分割相关应用,包括线检测、农业和建筑物提取等方向,并分析无人机语义分割未来发展趋势和挑战。