采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

双边特征聚合与注意力机制点云语义分割

机器视觉是环境感知的重要手段之一,是自动驾驶、机器人、工业检测等领域的研究热点,而点云数据的精细分析是其 中的一项关键技术。 针对大尺度真实场景点云数据分割精度低的问题,提出了一种适用于点云数据语义分割的网络结构。 首 先,构建了一个双边特征聚合结构,通过分别处理点云的几何信息和语义信息,达到充分利用点云特征信息的目的。 其次,使用 近邻特征的高维空间相关性计算点与点之间的相互作用,进行局部邻域的上下文信息增强。 提出了一种混合池化结构代替最 大值池化,减少信息损失,使用横向跨层池化连接来增强特征多样性。 最后,引入注意力机制提取全局特征,滤除尺度噪声,增 强特征在空间上的表现力。 实验结果表明,该方法在大尺度真实场景点云数据集 S3DIS 上的平均交并比为 68. 2% ,平均准确率 为 80. 7% ,比 PointNet 提高了 20. 6% 和 14. 5% ,客观指标优于已有的代表性方法。     

基于自注意力特征融合组卷积神经网络的三维点云语义分割

针对现有算法忽略点云数据全局单点特征和局部几何特征的深层关系,导致捕获的局部几何信息缺乏鉴别性且难以有效识别复杂形状的问题,提出基于自注意力特征融合组卷积神经网络的三维点云语义分割算法.首先,设计轻量化网络框架的代理点图卷积提取点云局部几何特征,并加入组卷积操作减少计算量和复杂度,以较少的冗余信息增强特征的丰富性;其次...     

顾及长尾分布的机载LiDAR点 CNN 语义分割

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象，构建顾及数据长尾分布的机载LEDAR点云语义分割网络，主要涉及两方面内容，聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移（Mearshift）聚类组合策略，最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习；空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习，以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明，本文网络模型整体分割精度和平均F，较 PointNet++分别提升6.3%和6.6%，并优于其它6种PointNet++系列网络模型及新公布的10种网络模型，具有良好的泛化性能与应用价值。     

三维散乱点云的分割与几何形体重构

研究了由三维点云重构几何形体模型的方法与步骤。提出了点云分割的2种交互方法——基于特征识剐的分割和投影裁剪分割。给出了表面数据点群的边界搜索算法和表面求交算法，实现了一种从三维点云到几何形体的分割与重构方法。     

采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

面向局部突起的三维网格分割算法研究

提出了一个三维网格分割算法,在三维对象由中心部分与突出部分组成的前提下,将网格分割成有语义的部件。基于显著的特征点提取、中心估计算法和将网格分割成有语义的部件三大部分,文中提出了一个面向局部凸起的三维网格分割算法。首先计算网格显著特征,再估计网格的中心区域,最后再通过使用最小切割算法进一步细化分割区域后找到分割边界。虽然提出的方法在框架上与某些文献相差不多。但文中提供的算法提高了程序的健壮性和分割的效率,同时使分割出的部件语义更加明确。     

一种自由曲面点云边界的快速直接提取方法

点云边界不仅作为表达曲面的重要几何特征，而且作为求解曲面的定义域，对重建曲面模型的品质和精度起着重要的作用。本文以战斗机座舱盖玻璃罩外壳的点云数据为例论述了一种自由曲面点云数据的边界直接提取方法，该方法通过设定分隔截面和计算每个截面上边界点，然后连接各个边界点就得到曲面的边界。该方法不仅具有较高的运算效率，达到了系统的实时性要求，而且能够比较精确地表达曲面的边界特征。     

航空发动机外形点云的保特征去噪方法

三维激光扫描设备可以提供航空发动机外形实测点云,但其中包含的噪声会直接影响后期外形几何模型的重建精度。为保证在去除噪声的同时不模糊或破坏掉发动机复杂的外形几何特征,提出了一种基于深度学习的点云保特征去噪方法。将航空发动机外形噪声点云分割成特征数据和非特征数据之后,分别设计了特征去噪网络和非特征去噪网络,用于预测特征噪声点和非特征噪声点的位置修正向量,噪声点沿预测向量移动后被投影回模型真实的底层表面上,实现去噪。构建了用于特征去噪学习和非特征去噪学习的数据集。验证结果表明,在将该方法应用于各种噪声尺度的发动机外形点云时,相比现有的学习基方法,去噪效果得到提高,且有更好的几何特征保护能力,可以为后续重建提供高质量点云。     

铸件缺陷语义分割的编码器-解码器网络

深度学习的快速发展扩展了基于视觉的缺陷检测应用。针对铸件缺陷类间差异小、类内差异大、缺陷规模小等难点，提出一种编码器-解码器架构的语义分割网络，使用在ImageNet上预训练的ResNeSt主干网络作为特征提取器，构建密集连接的多尺度特征融合模块提升有效特征利用率，增强网络特征表示能力，解码器端融合低层级特征改善缺陷边缘分割效果，再通过双线性插值进行上采样以恢复空间分辨率。网络在构建的X射线铸件缺陷分割数据集上进行训练和评估，采用混合损失函数解决数据集样本不均衡问题，提升模型性能。实验结果表明，提出的语义分割方法能够提升铸件缺陷分割精度，效果优于其他语义分割方法。     

智能换电站电池包锁止机构位姿视觉估计

面向电动汽车的电池换电需求，对换电站电池包对接中的锁止机构定位问题，提出了一种基于点云分割的电池包锁止机构6D位姿估计方法。该方法使用YOLOv5网络从场景中分割出锁止机构的点云，并使用体素滤波与移动最小二乘拟合进行点云的滤波与平滑；通过引入点云分割网络预测点云标签，为快速点特征直方图特征加入全局语义特征，弥补快速点特征直方图只有点云局部特征的缺陷，并根据该特征进行随机抽样一致性刚体点云配准，估计锁止机构点云的6D位姿，最后使用迭代最近点方法算法校正位姿估计结果。实验结果表明，基于点云分割的锁止机构6D位姿估计算法精度较高，可以克服环境噪声导致的误匹配，精确获取锁止机构位姿，其位姿估计的角度误差可以达到1.90°，位移误差可以达到1.4 mm,RMSE可以达到1.5 mm，为换电站电池对接定位提供了有效的解决途径。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于深度学习的零件点云分割算法研究

针对目前基于PointNet++的深度学习点云分割框架,对零件点云进行几何面级的分割精度不高的问题,对现有分割框架的采样算法、特征提取、特征传递进行了研究。运用了基于曲率的最远点采样算法,在零件面与面交界处获得了更多的采样点;结合了PointSIFT和PointCNN分割框架,采用了X变换矩阵,让点云特征具有空间转换不变性,SIFT组合选择了不同方向的近邻点进行组合;设计了SIFT-X卷积算子,能让网络编码不同方向的点云特征,提升了网络的表征能力从而提高分割精度。研究结果表明:上述方法能提高零件点云面要素分割的精度和mIoU值。     

逆向工程中的数据点云的分割

逆向工程中由数据点云构建物体表面模型中，对数据点云恰当的分割是表面建模的一个很重要步骤。文中以激光-机器视觉测量方式得到的曲面数据云为基础，探讨了曲面密集三维散乱点群数据的分割技术。根据激光测量方式和三维点群分布的特点，建立了在计算机中表示散乱点群数据结构。建立树形空间结构完成对密集散乱点群进行空间分割，由此实现对散乱点群数据的几何分割。     

多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割

针对传统建筑物提取方法难以有效描述遥感图像细节特征,导致复杂场景下道路、树木及建筑物之间分割边界不清晰等问题,提出了一种基于多尺度特征融合空洞卷积ResNet(Multiscale-feature Fusion Dilated Convolution ResNet,MFDC-ResNet)模型。首先,为了获取遥感图像建筑物更大范围的特征信息,在深度残差网络中引入空洞卷积增大特征提取的感受野,以捕捉更丰富的多尺度细节特征;其次,为了增强空洞卷积中心点对图像局部区域特征的表达能力,利用3×3卷积核提取遥感图像的中心点区域特征,引入更多的中心点空间先验信息;最后,利用空间金字塔池化模型对不同尺度空洞卷积特征进行融合,获取不同尺度的遥感图像建筑物的上下文信息。在WHU遥感图像数据集上的实验表明,平均交并比mIoU达到0.820,召回率Recall达到0.882。提出算法不仅提高了分割精度,而且有效克服了道路、树木等因素的干扰,得到了较清晰的建筑物边界。     

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https：//github. com/wawcg/dy＿wcg。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法.首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点...     

面向遥感建筑物提取的轻型多尺度差异网络

针对高分辨率遥感影像中建筑物形状多样、大小不一引起建筑物提取精度低及传统分割模型存在参数量大等问题，提出一种基于编码-解码的轻型多尺度差异网络LMD-Net(Lightweight Multi-scale Difference Network)。首先，为了避免单一的特征处理单元堆叠使得模型性能弱化而产生无效参数，通过融合编解码结构的功能差异性，设计出一种轻型差异模型优化性能。其次，引入一种多尺度膨胀感知模块（Multi-Scale Dilation Perception,MSDP）来增强网络捕捉多尺度目标特征的能力。最后，通过双融合机制有效聚合深层跳跃连接和深层解码器两组的特征信息，从而实现增强解码器的特征恢复能力。为验证轻型多尺度差异网络LMD-Net的有效性和适用性，以开源WHU building dataset数据集作为数据源，对LMD-Net网络与常用语义分割网络及近年相关文献研究成果进行了精度、效率方面的评估实验。结果表明：LMD-Net网络在效率与精度两方面均表现出明显优势，不仅很大程度上减少模型的参数量和计算量，而且交并比、准确率分别提高了3.23%,2.57%。表明在基...