基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节。针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNet++对改进后的三维点云语义分割效果进行检验,实验表明:在丰富了网络输入端的数据信息后,模型的总体准确度提高了6.65 %。     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高，语义分割技术受到图形、图像领域内学者的广泛关注，其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此，提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征，并使用残差网增强特征的传递，对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题，同时，点云深度学习网络中，残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验，实验结果表明，PCGCN在ShapeNet数据集的准确率达到85.1%，在S3DIS数据集的准确率达到81.3%。     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失，然而未能高效地利用多尺度局部特征推理点云语义信息。为此，文中提出一种多尺度特征自适应融合的插值方法，以实现更准确的大场景点云语义分割算法。首先，通过注意力机制的局部特征聚合模块学习点云内部的语义关系，描述局部模式的各项异性；然后，以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图；最后，使用特征自适应融合的插值法代替广泛使用的最近邻插值法，恢复全分辨率的特征图，为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估，结果表明，所提算法的平均交并比（mIoU）分别为54.24%、75.5%，平均准确率（mACC）分别达到88.92%、86.5%，比大多数主流算法的分割效果更加准确。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。     

三维点云弱监督语义分割研究进展综述

在三维点云语义分割任务中,使用少量标注的点云数据进行语义分割可以节省人力标注成本,近年来得到学术界的普遍关注。传统的三维点云语义分割方法多利用完全监督的方式,这类方法往往需要耗费人力和时间去标注大量点云,而使用弱监督方式只需要对点云进行少量的标注就能达到和完全监督方法相同的目的。文章回顾和讨论了近年来三维点云弱监督语义分割的发展,从不同角度总结了弱监督语义分割的相关方法,基于这些方法,在四个公开数据集上对其结果进行了定量分析与讨论,最后总结了三维点云弱监督语义分割存在的挑战,并展望了未来的发展方向。     

基于CSegNet的三维点云室内语义分割研究北大核心CSCD

人工智能的发展程度取决于机器对环境的感知能力,即机器对场景理解的能力,这就离不开其中的核心技术—三维点云语义分割,虽然基于深度学习的三维点云语义分割网络层出不穷,但都存在局部特征利用不充分的问题,导致分割效果不佳。本文针对这个问题,受PointNet++和TSegNet的启发,设计了具有双层结构的CSegNet模型。首先,编码部分使用逐点卷积来取代PointNet层捕捉点云的局部特征;其次,解码部分使用PointDeconv层恢复原始点云结构;最后加入边缘卷积来更有效的提取局部特征,并解决边界不平滑问题。在S3DIS数据集上验证表明,CSegNet能更好的利用局部特征来进行分割,最终得到oAcc为88.7%,mIoU为73.7%的分割准确性。     

高低维双局部特征融合的点云分类分割网络

点云的分类和分割是三维点云网络的基础步骤,是三维重建、目标识别和自动驾驶等研究的关键环节。针对现有三维点云网络进行分类和分割时无法充分利用点云局部信息而导致精度不高的问题,提出了一种高低维双局部特征融合的点云分类分割网络。本文网络利用图卷积提取点云基于位置信息的低维局部特征,并通过注意力机制提取点云基于语义信息的高维局部特征,同时使用多层感知机提取点云的全局特征,通过多个特征融合的方式来提高点云分类和分割的精度。实验结果表明:本文网络在点云分类任务中,总体精度达到934,平均精度达到903;在点云分割任务中,平均交并比达到862;相较于现有的主流网络具有较好的分类和分割精度。同时对于稀疏点云输入的问题,本文网络具有较强的鲁棒性。     

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

基于Encoder-Decoder网络的列车轮对激光曲线提取

提出了一种基于Encoder-Decoder网络的列车轮对 激光曲线精确分割的算法。针对列 车轮对激光曲线数据集局部特征丰富、语义信息简单的特点,设计了具有深度较浅、分辨率较 高、细节表现良好的网络。设计的网络很好的利用了密集链接机制和上采样模块,加强了特 征复用以及特征传播,具有较少参数的同时,能多尺度提取上下文语义信息。实验证明,En coder-Decoder网络相比于其他网络在列车轮对激光曲线提取上表现出优异的性能。基于Enc oder-Decoder的网 络在列车轮对激光曲线数据集上交并比、召回率、准确率和F1_score指标 分别达到了86.5%、89.2%、99.9%、85.0%,能够比较精准提取列车轮对激光条纹。同时Enco der-Decoder网络在进行列车轮对激光条纹分割时能在一定程度上改善噪声对条纹提取的影 响。因此在铁路安全方面具有良好的应用前景。     

基于多聚类的混合数据分割算法

为解决点云特征区域分割过程中的过分割和欠分割问题,提出一种多聚类混合数据分割算法。算法首先利用改进的K-means聚类将散乱点云模型划分出平坦区域与特征区域;再利用基于高斯球的Mean-shift聚类对特征区域进行细分割,接着使用区域生长对细分割后的结果进行调整,最终实现点云数据的准确分割。并用该算法与K-mans、Mean-shift算法对相同模型在相同参设下进行分割实验,其结果表明,该算法能有效、准确地根据点云特征类型实现数据分割,同时有效避免特征的过分割和欠分割现象。     

基于SF-Unet的高分辨率耕地遥感影像分割

利用深度学习实现遥感影像耕地区域自动化检测,取代人工解译,能有效提升耕地面积统计效率。针对目前存在分割目标尺度大且连续导致分割区域存在欠分割现象,边界区域情况复杂导致边缘分割困难等问题,提出了语义分割算法——Swin Transformer, TransFuse and U-Net (SF-Unet)。为强化网络不同层次特征提取和信息融合能力,提升边缘分割性能,使用U-Net网络替代TransFuse网络中的ResNet50模块;将Vision Transformer (ViT)替换为改进后的Swin Transformer网络,解决大区域的欠分割问题;通过注意力机制构建的Fusion融合模块将2个网络输出特征进行融合,增强模型对目标的语义表示,提高分割的精度。实验表明,SF-Unet语义分割网络在Gaofen Image Dataset (GID)数据集上的交并比(Intersection over Union, IoU)达到了90.57%,分别比U-Net和TransFuse网络提升了6.48%和6.09%,明显提升了耕地遥感影像分割的准确性。     

结合局部增强与反向残差的点云语义分割网络北大核心CSCD

激光点云是3D传感器的输出,且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而,现有的图卷积方法存在部分问题:点云局部表示的能力未得到加强,忽略了全局几何信息,并且聚合操作只保留局部最大响应值信息,而次最大值信息丢失。为了处理这些问题,本文提出GRes-Net网络。利用局部几何加强(Local Geometry Augment,LGA)模块,使网络对Z轴具有旋转不变性,以便加强点云局部信息表示;采用全局几何特征(Global Geometry Feature,GGF)模块,计算局部与全局的球体体积比,将其与坐标特征X进行连接,使全局几何信息特征得以保留;通过多个对称聚合操作将局部信息多方面地保留;网络中每层都使用残差操作,将上一层信息传递到下一层,以及利用反向残差模块(Reversed Residual MLP,RevResMLP)挖掘更深层次的语义信息。本文在S3DIS数据集上进行语义场景分割实验,验证网络分割的性能。实验结果表明该方法在分割精度上达到61%,相比于基准网络DGCNN提高14%,有效地提高了模型性能。     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中，往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征，尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡，但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面，算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意，为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构，先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支，然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理，也能在Cityspaces数据集上展现出优良的准确率，测试集的分割精度达到了72.2%。     

DFNet:高效的无解码语义分割方法

针对编解码语义分割网络计算量大、解码结构复杂的问题,提出一种高效无解码的二值语义分割模型DFNet。该模型首先去除主流分割网络中复杂的解码结构和跳跃连接,采用卷积重塑上采样方法重塑特征编码直接得到分割结果,简化网络模型结构;其次在编码器中融合轻量双重注意力机制EC&SA,提高特征编码的通道及空间信息交互,增强网络的编码能力;最后使用PolyCE损失替代常规分割损失,解决正负样本不均衡问题,提高模型的分割精度。在DeepGlobe道路分割和CrackForest缺陷检测等二值分割数据集上的实验结果表明,本文模型的分割精度F1均值和IoU均值分别达到84.69%和73.95%,且分割速度高达94 FPS,远超主流语义分割模型,极大地提高了分割任务效率。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

基于深度学习的三维点云语义分割方法综述

随着激光雷达,RGB-D相机等3D传感器在机器人,无人驾驶,VR领域的广泛应用,深度学习在三维点云数据的研究进几年来得到了广泛关注.其中点云识别、分割、成为学术界、工业界的热门话题之一.深度学习技术的发展在点云的语义分割领域提供了新的可能性.文章着重介绍这一主题的相关研究,主要从基于多视图,基于体素,基于树和对点的直接...     

基于LSDANet的手机芯片屏蔽壳表面缺陷检测方法

为了解决手机芯片屏蔽壳表面白印缺陷微小、尺度各异等因素影响检测快速性和准确性的问题,本文提出一种基于长短连接通路和双注意力网络(long short link and double attention network, LSDANet)的手机芯片屏蔽壳表面缺陷检测方法。首先,通过构建基于编码和解码的语义分割模型和利用长短距离连接通路,提高网络模型对尺度各异缺陷的特征提取能力。其次,分别设计基于通道和空间的注意力机制,增大5—10 pixel尺寸的白印缺陷在空间和通道上的特征权重。最后,融合双注意力机制和长短距离连接通路分割模型,构建LSDANet缺陷检测网络,应用于手机芯片屏蔽壳表面缺陷检测。实验数据表明,LSDANet网络能够达到96.21%的平均像素精度、66.13%的平均交并比和39.03的每秒检测帧数,相比多种语义分割算法均具有更高的检测精度和速度。