特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失，然而未能高效地利用多尺度局部特征推理点云语义信息。为此，文中提出一种多尺度特征自适应融合的插值方法，以实现更准确的大场景点云语义分割算法。首先，通过注意力机制的局部特征聚合模块学习点云内部的语义关系，描述局部模式的各项异性；然后，以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图；最后，使用特征自适应融合的插值法代替广泛使用的最近邻插值法，恢复全分辨率的特征图，为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估，结果表明，所提算法的平均交并比（mIoU）分别为54.24%、75.5%，平均准确率（mACC）分别达到88.92%、86.5%，比大多数主流算法的分割效果更加准确。     

高低维双局部特征融合的点云分类分割网络

点云的分类和分割是三维点云网络的基础步骤,是三维重建、目标识别和自动驾驶等研究的关键环节。针对现有三维点云网络进行分类和分割时无法充分利用点云局部信息而导致精度不高的问题,提出了一种高低维双局部特征融合的点云分类分割网络。本文网络利用图卷积提取点云基于位置信息的低维局部特征,并通过注意力机制提取点云基于语义信息的高维局部特征,同时使用多层感知机提取点云的全局特征,通过多个特征融合的方式来提高点云分类和分割的精度。实验结果表明:本文网络在点云分类任务中,总体精度达到934,平均精度达到903;在点云分割任务中,平均交并比达到862;相较于现有的主流网络具有较好的分类和分割精度。同时对于稀疏点云输入的问题,本文网络具有较强的鲁棒性。     

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

大场景内建筑物点云提取及平面分割算法

提出一种从地面激光点云数据中提取建筑目标并进行分割的新方法,该方法利用半径渐变的主成分分析法确定各点局部几何特征(最佳半径,法向量、维度特征);根据几何特征将地面点从原始点云中剔除,将非地面点按距离聚类形成点云簇,并对点云簇进行整体特征分析,识别建筑物目标;依据点的局部特征设置区域增长法生长准则对建筑物目标进行平面分割并对分割结果进行优化。实验结果表明,该方法不仅能快速有效提取大场景中的建筑物目标进行分割,并且解决了传统区域增长法不稳定的问题,提高了建筑物点云平面分割的精确性和可靠性。     

利用车载激光点云的分车带识别及单木分割方法

提出了一种基于车载激光点云数据的城区分车带识别及单木点云分割方法,首先通过布料模拟算法进行点云滤波去除地面点,然后利用基于八叉树连通性分析对非地面点进行聚类并构建聚类单元的最小包围矩形,基于先验知识和高差约束进行分车带识别,最后根据单木的空间几何特征,引入基于局部最高点的区域生长算法实现分车带内点云单木分割。选取北京市某道路的车载激光点云数据进行实验,结果表明:该方法能够从车载激光点云中快速识别出分车带点云并完成单木分割,能达到较好的识别和分割效果,具有抗噪性强和提取精度高的特点。     

融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA Net相比,收敛速度提升483,平均交并比(mIoU)由539提升至545,提高06,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高08和54。     

结合局部增强与反向残差的点云语义分割网络北大核心CSCD

激光点云是3D传感器的输出,且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而,现有的图卷积方法存在部分问题:点云局部表示的能力未得到加强,忽略了全局几何信息,并且聚合操作只保留局部最大响应值信息,而次最大值信息丢失。为了处理这些问题,本文提出GRes-Net网络。利用局部几何加强(Local Geometry Augment,LGA)模块,使网络对Z轴具有旋转不变性,以便加强点云局部信息表示;采用全局几何特征(Global Geometry Feature,GGF)模块,计算局部与全局的球体体积比,将其与坐标特征X进行连接,使全局几何信息特征得以保留;通过多个对称聚合操作将局部信息多方面地保留;网络中每层都使用残差操作,将上一层信息传递到下一层,以及利用反向残差模块(Reversed Residual MLP,RevResMLP)挖掘更深层次的语义信息。本文在S3DIS数据集上进行语义场景分割实验,验证网络分割的性能。实验结果表明该方法在分割精度上达到61%,相比于基准网络DGCNN提高14%,有效地提高了模型性能。     

基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节。针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNet++对改进后的三维点云语义分割效果进行检验,实验表明:在丰富了网络输入端的数据信息后,模型的总体准确度提高了6.65 %。     

基于车载激光点云的道路标线提取方法

针对自动驾驶领域中的道路标线提取问题,本文结合道路结构特征和点云回波强度信息,提出了一种道路标线提取方法。首先,采用布料模拟滤波算法获取地面点云;其次,使用基于法向量的区域生长法提取路面点云;然后,采用反距离加权插值法将路面点云投影成强度特征图像,并将其分割成多个子图像,利用最大类间方差将子图像分为纯块和杂块,根据纯块与原始图像灰度均值的相对大小来确定纯块的分割阈值,根据最大类间方差算法确定杂块的分割阈值;最后,经阈值分割、形态学滤波去噪、点云反投影后得到道路标线点云。实际道路的验证结果表明,所提方法的召回率达到92.8%,准确率达到96.8%,综合评价指标达到94.8%,能提取比较完整的道路标线。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于车载激光点云的城市道路标线提取方法

针对车载激光点云道路标线反射强度特性,提出了一种基于车载激光点云的城市道路标线提取方法。具体而言,首先提出一种联合布料模拟滤波和高差偏度平衡的地面滤波方法,利用偏度平衡滤波的自适应性,剔除布料滤波后残留的低矮植被的问题;随后利用基于法向量密度聚类以提取路面点云,并通过反距离加权插值将路面点云转为强度特征图;为了缓解标线提取出的锯齿状现象,引入快速引导滤波来平滑道路标线的边缘信息;最后采用最大熵阈值分割和形态学比值滤波对道路标线进行精化处理。实验表明,该方法能够有效地提取出道路标线点云,提取的平均召回率为80.98%,平均准确率为96.89%,平均综合评定指标为88.19%,能够利用道路标线点云强度信息较为完整地提取出道路标线点云。     

基于iHDODC-LinkNet网络的遥感图像道路提取方法

遥感图像的道路提取在推动城乡发展规划及建设方面具有重要意义。然而,目前传统方法对于遥感图像道路提取存在工程量大、效率低下的问题,基于深度学习的方法又存在复杂场景下提取精度不高和连通性差等问题。针对上述存在的问题,为提高不同地貌区域的道路提取精度,本文提出一种基于iHDODC-LinkNet网络的高分辨率遥感图像道路提取方法。该方法在语义分割模型 D-LinkNet的基础上进行改进:一方面使用ResNeSt50重建D-LinkNet网络并添加预训练模型,提出一种混联深度过参数化扩张卷积(hybrid depthwise over-parameterized dilated convolution,HDODC) 模块;另一方面采用迭代注意力特征融合(iterative attentional feature fusion, iAFF) 机制替换原始的相加融合,从而使模型关注于道路的全局信息。最后,在马萨诸塞州道路数据集和某省高速公路场景数据集上进行训练并通过测试集的提取效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上F1达到71.66%,相比原始模型提升了10%,能够得到效果更好的分割结果。     

Semantic segmentation of 3D point cloud based on contextual attention CNN

Aiming at the under-segmentation of 3D point cloud semantic segmentation caused by the lack of contextual fine-grained information of the point cloud,an algorithm based on contextual attention CNN was proposed for 3D point cloud semantic segmentation.Firstly,the fine-grained features in local area of the point cloud were mined through the attention coding mechanism.Secondly,the contextual features between multi-scale local areas were captured by the contextual recurrent neural network coding mechanism and compensated with the fine-grained local features.Finally,the multi-head mechanism was used to enhance the generalization ability of the network.Experiments show that the mIoU of the proposed algorithm on the three standard datasets of ShapeNet Parts,S3DIS and vKITTI are 85.4%,56.7% and 38.1% respectively,which has good segmentation performance and good generalization ability.     

基于KDTree改进的Super 4PCS+ICP算法在点云配准中的应用研究北大核心CSCD

在点云配准过程中,为了提高点云的配准精度,针对ICP算法对于初始位姿的局限性,对点云数据进行Super4PCS+ICP的“先粗后精”处理。首先利用KDTree树搜索对应点,用局部区域的特征度确定特征点集,再使用Super4PCS算法实现粗配准。针对精配准提出KDTree树来加快速度,SVD求解对应点参数、常数为1的加权平均、求解误差函数等手段来实现对ICP算法的改进,并求出刚体变换后的旋转平移矩阵,提高点云配准精度。实验表明,相较于传统ICP算法,本文方法的配准精度有了显著的提升。本文研究的方法可为点云配准的深入研究提供一定的参考。