特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失，然而未能高效地利用多尺度局部特征推理点云语义信息。为此，文中提出一种多尺度特征自适应融合的插值方法，以实现更准确的大场景点云语义分割算法。首先，通过注意力机制的局部特征聚合模块学习点云内部的语义关系，描述局部模式的各项异性；然后，以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图；最后，使用特征自适应融合的插值法代替广泛使用的最近邻插值法，恢复全分辨率的特征图，为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估，结果表明，所提算法的平均交并比（mIoU）分别为54.24%、75.5%，平均准确率（mACC）分别达到88.92%、86.5%，比大多数主流算法的分割效果更加准确。     

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础，直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失，但大多数深度学习模型的研究主要集中在提取局部几何特征，没有考虑点云不同局部结构之间的上下文关系，并且忽略了低级与高级特征之间的语义差距，限制了特征表示的能力，影响了点云语义分割的精度。因此，文中提出一种基于全局上下文注意力的点云语义分割方法，该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系，从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力，设计基于后向竞争性注意力的邻近尺度特征融合模块，学习低级与高级语义特征之间的相似度，重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估，结果表明，所提方法的平均交并比在Area5上达到了65.2%，相比于RandLA-Net提高了2.5%，在6折交叉验证上的平均交并比达到了71.4%，相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征，提高了语义分割的精度。     

高低维双局部特征融合的点云分类分割网络

点云的分类和分割是三维点云网络的基础步骤,是三维重建、目标识别和自动驾驶等研究的关键环节。针对现有三维点云网络进行分类和分割时无法充分利用点云局部信息而导致精度不高的问题,提出了一种高低维双局部特征融合的点云分类分割网络。本文网络利用图卷积提取点云基于位置信息的低维局部特征,并通过注意力机制提取点云基于语义信息的高维局部特征,同时使用多层感知机提取点云的全局特征,通过多个特征融合的方式来提高点云分类和分割的精度。实验结果表明:本文网络在点云分类任务中,总体精度达到934,平均精度达到903;在点云分割任务中,平均交并比达到862;相较于现有的主流网络具有较好的分类和分割精度。同时对于稀疏点云输入的问题,本文网络具有较强的鲁棒性。     

融合多尺度信息的道路场景实时语义分割

道路场景语义分割是自动驾驶车辆实现环境感知的重要技术。针对道路场景实时语义分割中存在目标区域尺度不一、变化迅速的问题,在DABNet语义分割网络的基础上进行优化改进提出一种融合多尺度信息的道路场景实时语义分割网络。对于网络设计：首先引入带有自适应卷积核的卷积层优化DAB模块,自适应地引导网络学习最合适的特征图感受野,提高网络获取多尺度语义信息的能力;然后在编码阶段后引入了金字塔池化PSP模块来聚合特征图中不同尺度子区域的上下文信息,提高网络获取全局信息的能力。本网络提高了对大目标区域完整分割,避免小目标区域漏分割的能力,保证较高的道路场景实时语义分割精度。     

基于CAFF-PointNet的机载LiDAR点云语义分割

针对机载LiDAR点云中几何结构复杂和不同地物尺度变化大导致小目标点云分类准确率低的问题,本文提出了一种基于通道注意力机制进行多尺度特征融合的卷积神经网络.首先,通过球形邻域计算点云的平面度、线性度、法向量以及本征熵等浅层几何特征,并将其与网络提取的深层次语义特征进行融合,增强模型对点云几何结构的感知能力;其次,设计基于通道注意力机制的多尺度特征融合模块,学习特征融合的权重系数,使网络可以自适应调整不同尺度目标的感受野大小,实现对不同尺度信息的筛选,进而提高小尺度目标的分类精度.实验结果表明,与其他模型相比,本文模型在ISPRS机载LiDAR点云上的平均F1分数为72.2％,且对电力线和汽车类别均取得了最高的分类精度,F1分数分别为64.3％和79.9％.     

一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。     

基于SF-Unet的高分辨率耕地遥感影像分割

利用深度学习实现遥感影像耕地区域自动化检测,取代人工解译,能有效提升耕地面积统计效率。针对目前存在分割目标尺度大且连续导致分割区域存在欠分割现象,边界区域情况复杂导致边缘分割困难等问题,提出了语义分割算法——Swin Transformer, TransFuse and U-Net (SF-Unet)。为强化网络不同层次特征提取和信息融合能力,提升边缘分割性能,使用U-Net网络替代TransFuse网络中的ResNet50模块;将Vision Transformer (ViT)替换为改进后的Swin Transformer网络,解决大区域的欠分割问题;通过注意力机制构建的Fusion融合模块将2个网络输出特征进行融合,增强模型对目标的语义表示,提高分割的精度。实验表明,SF-Unet语义分割网络在Gaofen Image Dataset (GID)数据集上的交并比(Intersection over Union, IoU)达到了90.57%,分别比U-Net和TransFuse网络提升了6.48%和6.09%,明显提升了耕地遥感影像分割的准确性。     

融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法

针对交通场景语义分割算法中存在的易融入周围背景的纤细条状目标分割不连续、模型参数量大等问题,提出一种融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法。首先,基于深度卷积构建多尺度条形特征提取模块,在不同尺度下增强对纤细条状目标特征的表示能力。其次,在浅层网络中利用卷积归纳偏置特性设计空间细节辅助模块,以弥补深层空间细节信息的丢失来优化目标边缘分割。最后,提出基于Transformer-CNN框架的非对称编解码网络,编码器结合Transformer与CNN减少细节信息丢失并降低模型参数量;而解码器采用轻量级的多级特征融合设计来进一步建模全局上下文。所提算法在Cityscapes和Cam Vid交通场景公开数据集上分别取得的平均交并比为78.63%和81.06%,能够在交通场景语义分割中实现分割精度和模型大小之间的权衡,具备良好的应用前景。     

面向无人机航摄图像语义分割的双路特征融合网络

针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

一种简易的激光雷达点云与光学影像自动配准方法

将激光雷达点云与光学影像进行配准融合,在数字城市建模、自动驾驶和导航避障等方面有重要的应用价值。当前多数自动配准方法需要专门设计特殊的场景结构,操作复杂。根据激光雷达对玻璃具有穿透的特性,提出利用透明的门窗等室内建筑物场景来实现对激光雷达点云与光学影像的自动配准。首先,将激光点云量化为图像,提取光学影像与量化图像的门窗角点特征,并利用相关系数法实现特征点的自动匹配;然后,对激光雷达与相机之间的配准转换参数进行求解;最后,对两种数据进行配准融合。实验结果表明:利用室内门窗这种规则的半透明场景,可以轻松实现激光点云与光学影像的自动化配准,简单实用,操作性强。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。     

基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节.针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNe...     

基于点特征传递的电力设备部件激光点云补全网络

针对电力场景下因激光雷达扫描范围有限、电力设备部件相互遮挡等因素导致电力设备部件点云缺失的问题,提出了基于点特征传递的电力设备部件激光点云补全网络PPC Net(Power Point cloud Complete Net)。该网络使用多尺度特征融合编码器提取不同尺度输入残缺点云的全局和局部特征,以避免多维度映射特征导致的电力设备部件细节特征丢失问题,并引入EdgeConv加强对点云邻域信息提取;在精细完整点云生成阶段提出DT模块整合父级点到子级点的特征传递,以保留生成点云的局部特征;设计平滑优化模块,经三级平滑采样算法输出分布均匀、表面平滑的电力设备部件完整点云。在自建电力设备部件点云数据集ELE及公开数据集PCN上实验表明,PPC Net对残缺的电力设备部件点云有较好的补全效果,并在一般形状点云上有良好泛化性。     

Light bottle transformer based large scale point cloud classification

With the rapid development of computer vision, point clouds technique was widely used in practical applications, such as obstacle detection, roadside detection, smart city construction, etc. However, how to efficiently identify the large scale point clouds is still an open challenge. For relieving the large computation consumption and low accuracy problem in point cloud classification, a large scale point cloud classification framework based on light bottle transformer (light-BotNet) is proposed. Firstly, the two-dimensional (2D) and three-dimensional (3D) feature values of large scale point cloud were extracted for constructing point cloud feature images, which employed the prior knowledge to normalize the point cloud features. Then, the feature images are input to the classification network, and the light-BotNet network is applied for point cloud classification. It is an interesting attempt to combine the traditional image features with the transformer network. For proving the performance of the proposed method, the large scale point cloud benchmark Oakland 3D is utilized. In the experiments, the proposed method achieved 98.1% accuracy on the Oakland 3D dataset. Compared with the other methods, it can both reduce the memory consumption and improve the classification accuracy in large scale point cloud classification.     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。     

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题.文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图.在公开的TUM数据集上的实验结果表明,结合...     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。