基于稀疏卷积和注意力机制的点云语义分割方法

近年来，三维点云语义分割方法取得了很大的进展，代表性的方法为基于稀疏卷积的方法，但是稀疏卷积会带来全局上下文信息丢失的问题。基于此，提出一种基于稀疏卷积和注意力机制的点云语义分割方法。将注意力机制引入稀疏卷积网络，增强网络对全局上下文信息的获取能力。但是注意力机制计算量较大，限制了所提方法的适用场景。进一步将空间金字塔采样引入注意力机制中，在减少计算量的同时扩展其使用场景。实验结果表明，所提方法在Scannet V2数据集上取得了71.825%的平均交并比（MIOU），在S3DIS数据集上的MIOU达到70.5%，优于对比方法，验证了其有效性。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高，语义分割技术受到图形、图像领域内学者的广泛关注，其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此，提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征，并使用残差网增强特征的传递，对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题，同时，点云深度学习网络中，残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验，实验结果表明，PCGCN在ShapeNet数据集的准确率达到85.1%，在S3DIS数据集的准确率达到81.3%。     

基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节.针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNe...     

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

增强特征融合的动态图卷积的机载LiDAR点云分类

针对动态图卷积神经网络(dynamic graph convolutional neural network, DGCNN)聚合邻居点信息时的局限性，提出一种增强特征融合的动态图卷积神经网络模型EFF-DGCNN,并应用于机载LiDAR点云分类。该模型主要基于DGCNN提出特征增强模块和特征融合模块，对原始三维点云进行分类。首先，基于DGCNN对原始点云进行边缘卷积获取局部特征和全局特征；然后，将全局特征集成于各层的局部特征得到增强局部特征，据此凸显点云不同特征的重要性，使网络更加关注有利于分类的特征；最后，对不同增强局部特征进行特征融合得到深层次特征，从而实现点云的分类。为验证所提模型的分类性能，在GML＿DataSetA数据集和ISPRS数据集分别进行了点云分类试验。试验结果表明：相比于DGCNN,所提EFF-DGCNN模型具有更好的分类能力，能更好地区分结构相似的点云。     

基于图像-点云映射的铆钉平齐度高效检测

铆钉平齐度是铆接质量参数中的一项重要指标,但在实际检测中缺少高效、稳定的检测方法.针对铆钉平齐度的检测,本文提出了一种基于图像-点云映射分割策略的平齐度检测方法.首先,为了快速、稳定地提取图像中的铆钉轮廓,本文提出了一种图像噪声轮廓的分割方法,并基于铆钉轮廓像素的邻域特征,总结出轮廓拐点处的三种邻域特征,据此判断轮廓点是否为拐点,依据拐点对噪声轮廓进行分割;然后,基于图像-点云映射策略,将图像中的铆钉特征映射到测量得到的三维点云中,实现铆钉点云区域的快速、稳定分割.实验结果验证了本文所提铆钉平齐度检测方法具有较高的稳定性和检测精度.     

三维点云弱监督语义分割研究进展综述

在三维点云语义分割任务中,使用少量标注的点云数据进行语义分割可以节省人力标注成本,近年来得到学术界的普遍关注。传统的三维点云语义分割方法多利用完全监督的方式,这类方法往往需要耗费人力和时间去标注大量点云,而使用弱监督方式只需要对点云进行少量的标注就能达到和完全监督方法相同的目的。文章回顾和讨论了近年来三维点云弱监督语义分割的发展,从不同角度总结了弱监督语义分割的相关方法,基于这些方法,在四个公开数据集上对其结果进行了定量分析与讨论,最后总结了三维点云弱监督语义分割存在的挑战,并展望了未来的发展方向。     

基于卷积神经网络的激光雷达点云目标分割

对激光雷达点云进行道路对象的语义分割,尤其是对感兴趣实例(如汽车、行人和自行车)的检测与归类.将此问题明确表达为逐点分类问题,并以卷积神经网络(Convolutional Neural Nets,CNN)为基准网络设计网络结构,对预处理过的点云数据进行语义分割.具体地,CNN将转化后的雷达点云数据作为输入,直接输出逐点...     

特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失，然而未能高效地利用多尺度局部特征推理点云语义信息。为此，文中提出一种多尺度特征自适应融合的插值方法，以实现更准确的大场景点云语义分割算法。首先，通过注意力机制的局部特征聚合模块学习点云内部的语义关系，描述局部模式的各项异性；然后，以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图；最后，使用特征自适应融合的插值法代替广泛使用的最近邻插值法，恢复全分辨率的特征图，为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估，结果表明，所提算法的平均交并比（mIoU）分别为54.24%、75.5%，平均准确率（mACC）分别达到88.92%、86.5%，比大多数主流算法的分割效果更加准确。     

一种动态特征匹配的部分重叠点云配准方法

点云配准方法能够有效地完成对不同重叠率、不同规模点云间的配准,可确保三维重建模型的精度。针对该问题,提出一种动态特征匹配的部分重叠点云配准方法,首先基于欧氏距离分割法将点云分割为子点云;然后提取子点云特征,考虑到不同点云的规模不同,提取的特征规模也是不同的,提出利用动态时间规整算法(DTW)完成子点云间的映射;最后利用迭代配准算法求取拼接点云间的平移、旋转矩阵,利用该矩阵完成点云间的配准和拼接。实验结果表明,提出的方法能够有效地解决部分重叠点云和不同规模点云的配准问题。     

Semantic segmentation of 3D point cloud based on contextual attention CNN

Aiming at the under-segmentation of 3D point cloud semantic segmentation caused by the lack of contextual fine-grained information of the point cloud,an algorithm based on contextual attention CNN was proposed for 3D point cloud semantic segmentation.Firstly,the fine-grained features in local area of the point cloud were mined through the attention coding mechanism.Secondly,the contextual features between multi-scale local areas were captured by the contextual recurrent neural network coding mechanism and compensated with the fine-grained local features.Finally,the multi-head mechanism was used to enhance the generalization ability of the network.Experiments show that the mIoU of the proposed algorithm on the three standard datasets of ShapeNet Parts,S3DIS and vKITTI are 85.4%,56.7% and 38.1% respectively,which has good segmentation performance and good generalization ability.     

无人飞行器自主降落区识别方法研究

为实现无人飞行器的自主降落,针对降落平坦区域包含特征较少、且分布没规律、形状各异等特点,本文设计了一种基于点云几何特征的快速点云分块和平坦区识别方法。该方法通过无人飞行器上的相机获取二维图像,并使用多视角立体三维重建技术获得场景三维点云,提出了以空间距离作为平滑项、以点在Z方向上的高度作为相似项的三维点云滤波算法对三维点云滤波,设计了基于点云法线和曲率的聚类分块对点云进行区域划分,然后改进RANSAC算法拟合点云平面,筛选出无人飞行器飞经场景的平坦区,并最终确定出无人飞行器的最佳降落区。最后,用本文所设计方法对戈壁人工沟壑、戈壁自然沟壑和小区花园等实拍场景图像进行降落区识别,实测结果显示识别出的区域地形起伏均小于0.125m@m~2,满足无人飞行器降落要求。     

建筑立面点云对偶深度图像中窗户提取方法

提出了一种地面激光点云数据的建筑物立面窗户提取方法。针对窗户包含点云的情况,首先对建筑立面点云进行特征分析及无效点去除,由于窗户、展台、及其他凹凸特征物与建筑立面的墙面存在深度差,可基于此采用距离加权倒数IDW内插方法生成建筑面片的对偶深度图像,再经阈值分割、中值滤波平滑处理,形态学滤波等,找到窗户内的点云及边界。而对窗户空洞情况,可采用构建TIN进行边界提取,由于窗户边界点构成的边长远远大于窗户周边点,可基于此找到窗户边界点。通过对实测点云数据进行实验,将提取的效果与实际情况作对比,结果表明,该方法能有效对窗户进行提取。     

一种改进的噪声图像语义分割方法

在图像的获取和传输过程中,可能会出现噪声, 它不仅破坏了图像的真实信息,而且严重影响了图像的视觉效果。因此, 噪声图像的语义分割成为图像分析中最具挑战性的问题之一。为了提高噪声图像的分割性能 ,本文在分析全卷积网络(FCN)的 基础上,提出一种改进的FCN模型(IFCN)对噪声图像语义分割。该算法采用一种新的中值 池化方法代替卷积神经网络的最大值 池化,可以在去除噪声的同时保留更多边缘信息。在训练整个深度网络时,通过反向传播算 法以一种直接的端到端,像素到像素 的方式映射。实验结果表明,提出的模型在PASCAL VOC2012数据集上对噪声图像语义分割 可以获得比较好的分割效果,准确率mean IU达到86.5%。     

融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA Net相比,收敛速度提升483,平均交并比(mIoU)由539提升至545,提高06,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高08和54。     

PointCaps: Raw point cloud processing using capsule networks with Euclidean distance routing

Raw point cloud processing using capsule networks is widely adopted in classification, reconstruction, and segmentation due to its ability to preserve spatial agreement of the input data. However, most of the existing capsule based network approaches are computationally heavy and fail at representing the entire point cloud as a single capsule. We address these limitations in existing capsule network based approaches by proposing PointCaps, a novel convolutional capsule architecture with parameter sharing. Along with PointCaps, we propose a novel Euclidean distance routing algorithm and a class-independent latent representation. The latent representation captures physically interpretable geometric parameters of the point cloud, with dynamic Euclidean routing, PointCaps well-represents the spatial (point-to-part) relationships of points. PointCaps has a significantly lower number of parameters and requires a significantly lower number of FLOPs while achieving better reconstruction with comparable classification and segmentation accuracy for raw point clouds compared to state-of-the-art capsule networks.     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。