基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节.针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNe...     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。     

三维点云弱监督语义分割研究进展综述

在三维点云语义分割任务中,使用少量标注的点云数据进行语义分割可以节省人力标注成本,近年来得到学术界的普遍关注。传统的三维点云语义分割方法多利用完全监督的方式,这类方法往往需要耗费人力和时间去标注大量点云,而使用弱监督方式只需要对点云进行少量的标注就能达到和完全监督方法相同的目的。文章回顾和讨论了近年来三维点云弱监督语义分割的发展,从不同角度总结了弱监督语义分割的相关方法,基于这些方法,在四个公开数据集上对其结果进行了定量分析与讨论,最后总结了三维点云弱监督语义分割存在的挑战,并展望了未来的发展方向。     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高,语义分割技术受到图形、图像领域内学者的广泛关注,其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此,提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征,并使用残差网增强特征的传递,对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题,同时,点云深度学习网络中,残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验,实验结果表明,PCGCN在ShapeNet数据集的准确率达到85.1%,在S3DIS数据集的准确率达到81.3%。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.     

基于深度学习的医疗图像分割综述

自2006年深度学习这一概念提出以来,各研究领域对于深度学习技术的研究热度一直高居不下.深度学习的出现,对计算机视觉领域的发展起到了重要推动作用.计算机视觉的主要研究任务是对图像、视频等进行目标的检测、识别以及分割等,目前已经广泛应用于医疗、金融和工业领域中.其中最常见的应用场景是医学图像处理.图像分割是医学图像处理任...     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

基于CAFF-PointNet的机载LiDAR点云语义分割

针对机载LiDAR点云中几何结构复杂和不同地物尺度变化大导致小目标点云分类准确率低的问题,本文提出了一种基于通道注意力机制进行多尺度特征融合的卷积神经网络.首先,通过球形邻域计算点云的平面度、线性度、法向量以及本征熵等浅层几何特征,并将其与网络提取的深层次语义特征进行融合,增强模型对点云几何结构的感知能力;其次,设计基于通道注意力机制的多尺度特征融合模块,学习特征融合的权重系数,使网络可以自适应调整不同尺度目标的感受野大小,实现对不同尺度信息的筛选,进而提高小尺度目标的分类精度.实验结果表明,与其他模型相比,本文模型在ISPRS机载LiDAR点云上的平均F1分数为72.2％,且对电力线和汽车类别均取得了最高的分类精度,F1分数分别为64.3％和79.9％.     

基于OpenGL实现三维重构点云处理

研究了利用OpenGL函数库、以C Builder6．0为开发平台实现三维重构点云处理的方法。实验结果表明：可以方便、快捷地实现点云的旋转、平移、缩放、排序、重新采样及构造曲线等复杂的点云处理功能，减少了程序代码长度，提高了编程和执行效率。     

基于压缩感知的三维人体点云的压缩及重建

经过激光扫描得到的三维人体点云数据量庞大,给模型的存储和传输带来困难,影响了其在体域网中的应用。针对这一问题,将压缩感知理论应用于人体点云模型的压缩与重建中。在压缩之前使用改进的三维栅格法做点云精简,针对人体点云的特点对数据进行分块稀疏变换,利用正交匹配追踪算法重建原始模型。最终实验重建误差约为 ,证实了该算法的有效性和可行性。     

基于深度学习的酒标分割研究

红酒图像中的酒标区域含有重要的红酒品类信息,而对酒标区域的定位与分割可以有效去除背景区域对图像匹配算法的干扰。传统图像分割算法大多基于局部图像特征和人工设计规则,对噪声较为敏感,并且难以应对大规模数据的处理。针对传统算法的不足,本文首先构造了一个大规模酒标分割数据集,然后提出了一种基于深度学习的酒标分割方法。我们构造了一个基于残差网络的语义分割模型,并且在模型中加入跨层连接,实现低层特征和高层特征的有效融合,使得分割的边缘细节更加清晰和准确。另外,我们采用了带孔卷积金字塔池化结构整合多尺度信息,在增大模型感受野的同时使得模型适应不同尺度的酒标区域。在我们构造的酒标数据集上的实验结果表明,本文提出的酒标分割网络能够进行实时的酒标图像分割,并且达到了相当高的分割准确率。      

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来：首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。