基于深度学习的三维点云语义分割方法研究

综述了基于深度学习的三维点云语义分割方法的研究进展。利用文献分析法,按照数据的表现形式对基于深度学习的三维点云语义分割的方法进行阐述。探讨了近些年的国内外发展现状,分析了目前相关方法的优缺点,并展望了未来发展的趋势。深度学习的加入在点云语义分割技术研究上发挥着越来越重要的作用,推动了制造与包装等领域趋向于智能信息化。根据各类方法的优缺点,利用深度学习技术构建出基于投影、体素、多视图以及直接基于点云的2D-3D组合语义分割框架模型是未来的一个重要研究方向。     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

深度学习实时语义分割算法研究综述

语义分割是从像素的角度分割出图片中的不同对象,并对原始图片中的每个像素进行标注的一种技术。但由于无人机导航、遥感图像、医疗诊断等应用领域需要实时地进行语义分割处理。所以,基于深度学习的实时语义分割技术得到了迅速的发展。实时语义分割技术发展至今已有许多的技术与模型。基于此,在对相关文献进行研究的基础上,由语义分割技术引出了实时语义分割技术,并简单叙述了实时语义分割的优点。随后,研讨出目前实时语义分割存在的重难点。根据重难点进而对已存在的相关技术与模型进行阐述,并总结技术与模型的优缺点。最后,展望实时语义分割所面临的挑战,并对实时语义分割进行了总结与归纳,为后续的研讨提供了一些理论参考。     

基于深度学习的图像语义分割技术研究综述

图像语义分割技术是智能系统理解自然场景的关键技术之一,作为视觉智能领域的重要研究方向,该技术在移动机器人、无人机、智能驾驶以及智慧安防等领域具有广阔的应用前景。对于图像语义分割技术的研究发展历程进行了详细评述,包括从传统的语义分割方法到当前主流的基于深度学习的图像语义分割理论及其方法,重点阐述了基于深度学习的图像语义分割技术的框架及其实现过程,进而对当前具有代表性的典型算法的效果以及优缺点进行了分析,然后归纳了算法评价指标,最后对该技术的发展进行了总结与展望。该研究对于从事图像语义分割技术的研究人员和工程技术人员均具有很好的参考意义。     

深度学习实时语义分割综述

语义分割是计算机视觉领域的一项像素级别的感知任务,目的是为图像中的每个像素分配相应类别标签,具有广泛应用。许多语义分割网络结构复杂,计算量和参数量较大,在对高分辨率图像进行像素层次的理解时具有较大的延迟,这极大限制了其在资源受限环境下的应用,如自动驾驶、辅助医疗和移动设备等。因此,实时推理的语义分割网络得到了广泛关注。本文对深度学习中实时语义分割算法进行了全面论述和分析。1）介绍了语义分割和实时语义分割任务的基本概念、应用场景和面临问题;2）详细介绍了实时语义分割算法中常用的技术和设计,包括模型压缩技术、高效卷积神经网络（convolutional neural network,CNN）模块和高效Transformer模块;3）全面整理和归纳了现阶段的实时语义分割算法,包括单分支网络、双分支网络、多分支网络、U型网络和神经架构搜索网络5种类别的实时语义分割方法,涵盖基于CNN、基于Transformer和基于混合框架的分割网络,并分析了各类实时语义分割算法的特点和局限性;4）提供了完整的实时语义分割评价体系,包括相关数据集和评价指标、现有方法性能汇总以及领域主流方法的同设备比较,为后续研究者提供统一的比较标准;5）给出结论并分析了实时语义分割领域仍存在的挑战,对实时语义分割领域未来可能的研究方向提出了相应见解。本文提及的算法、数据集和评估指标已汇总至https://github.com/xzz777/Awesome-Real-time-Semantic-Segmentation,以便后续研究者使用。     

基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

学习几何结构特征的真实点云场景语义分割

有效获取点云数据在空间上的结构性特征是点云语义分割的关键。针对以往方法没有很好综合利用全局和局部特征问题,提出一种新的空间结构特征——点的盒子特征用于语义分割,设计一种编码-解码结构的网络框架,下采样过程中使用几何结构特征模块学习点云的全局空间特征和局部邻域特征,上采样过程中按分辨率逐级恢复成完整尺寸特征图进行语义分割。其中,几何结构特征模块包含两个子模块,一个是全局特征模块,该模块学习点的“盒子（box）”特征以表现点云在采样空间内概括的粗糙几何特征;另一个是局部特征模块,该模块使用特征提取——注意力机制结构表现点云在局部邻域内精确的细粒度几何特征。在公开数据集S3DIS、Semantic3D上进行了实验并与其他方法比较,实验结果表明mIoU均领先目前大部分主流的方法,部分细则类IoU取得最高。     

图卷积神经网络在点云语义分割中的研究综述

点云数据蕴含丰富的空间信息,可以通过激光雷达、3D传感器等设备大量采集,被广泛应用于自动驾驶、虚拟现实、城市规划和3D重建等领域。点云语义分割作为3D场景理解、识别和各种应用的基础而受到广泛关注。但不规则的点云数据无法直接作为传统卷积神经网络的输入,而图卷积神经网络可以利用图卷积算子直接对点云数据进行特征提取,使得图卷积神经网络已逐步成为点云语义分割领域的一个重要研究方向。基于此,对图卷积神经网络在3D点云语义分割应用中的研究进展进行综述,根据图卷积的类型对基于图卷积神经网络的点云语义分割方法进行分类,按照不同类别对比分析主流方法的模型架构及其特点,描述几个相关点云语义分割领域常用的公共数据集和评价指标,对点云语义分割方法进行总结和展望。     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

基于深度学习的视频语义分割综述

目前对视频语义分割的研究主要分为两方面,一是如何利用视频帧之间的时序信息提高图像分割的精度;二是如何利用视频帧之间的相似性确定关键帧,减少计算量,提升模型的运行速度.在提升分割精度方面一般设计新的模块,将新模块与现有的CNNs结合;在减少计算量方面,利用帧序列的低层特征相关性选择关键帧,同时减少操作时间.本文首先介绍视频语义分割的发展背景与操作数据集Cityscapes、CamVid;其次,介绍现有的视频语义分割方法;最后总结当前视频语义分割的发展情况,并对未来的发展给出一些展望和建议.     

全监督学习的图像语义分割方法研究进展

近年来,随着深度学习进入计算机视觉领域,各种深度学习图像语义分割方法相继出现,其中全监督学习方法的分割效果显著超过弱监督学习方法.将全监督学习的图像语义分割方法分为五类,并对各类中最具有代表性的方法进行详细分析,重点阐述各种方法核心部分的实现过程.对语义分割领域中的主流数据集进行归纳总结,介绍了性能算法指标,并在主流数...     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义.实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例...     

基于深度学习的图像语义分割技术研究进展

自FCN网络在2014年提出后,SegNet、DeepLab等一系列关于图像语义分割的深度学习架构被相继提出。与传统方法相比,这些架构效果更好、运算速度更快,已经能够运用于自然图像的分割处理。围绕图像语义分割技术,对常用的数据集和典型网络架构进行了梳理分析,对2017年以来的新进展进行了综合研究,利用主流评价指标对主要模型的语义分割效果进行了比较和分析。对语义分割技术面临的挑战以及可能的发展趋势进行了展望。