基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节.针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNe...     

基于改进PointNet++的电力杆塔绝缘子分割方法

针对绝缘子串分割过程中,由于采集到的点云较为稀疏,及绝缘子串较电力杆塔整体点云粒度过小,导致分割结果会出现绝缘子串识别为电缆线的问题。为提高绝缘子串的分割准确率,提出了一种基于改进PointNet++的电力杆塔绝缘子分割方法。在原有的局部特征处理中增加了自注意力机制,考虑同种塔形绝缘子串位置相对固定,利用位置编码,增加中心点与邻域点相对位置特征。结果表明,在湖北省某地区输电线路的实际扫描点云数据集上改进后的模型在绝缘子分割上有更高的准确率,OA能达到93.5%较PointNet++提升2.2%,Instance MIoU能达到86.9%较PointNet++提升1.8%,绝缘子串的识别准确率提高4.1%,满足准确实时智能巡检的需求。     

基于深度学习的三维点云语义分割方法综述

随着激光雷达,RGB-D相机等3D传感器在机器人,无人驾驶,VR领域的广泛应用,深度学习在三维点云数据的研究进几年来得到了广泛关注.其中点云识别、分割、成为学术界、工业界的热门话题之一.深度学习技术的发展在点云的语义分割领域提供了新的可能性.文章着重介绍这一主题的相关研究,主要从基于多视图,基于体素,基于树和对点的直接...     

基于语义分割的高分辨率场景解析网络

为了高效地对城市景观等复杂场景进行分割解析,本文结合高分辨率网络（HRNet）,通过金字塔池化模块（Pyramid pooling module,PPM）补充全局上下文信息,提出了一个高分辨率场景解析网络。首先,以HRNet为基干特征提取网络,并利用空洞可分离卷积改进其大量使用的残差模块,在减少参数量的同时提高了对于多尺度目标的分割能力;其次,利用混合空洞卷积框架设计了多级空洞率,在稠密感受野的同时减小了网格问题的影响;然后,设计了多阶段的连续上采样结构以改进HRNetV2简单的后融合机制;最后,使用改进的可适应不同图像分辨率的金字塔池化模块聚合不同区域的上下文信息获得高质量的分割图。在城市景观数据集（CityScapes）上仅以16.4 Mbit的参数数量实现了83.3%MIOU的精度,在Camvid数据集也取得了良好的效果,实现了更加可靠、准确、低计算量的基于语义分割的场景解析方法。     

基于多特征图金字塔融合深度网络的遥感图像语义分割

在遥感图像语义分割中,利用多元数据(如高程信息)进行辅助是一个研究重点。现有的基于多元数据的分割方法通常直接将多元数据作为模型的多特征输入,未能充分利用多元数据的多层次特征,此外,遥感图像中目标尺寸大小不一,对于一些中小型目标,如车辆、房屋等,难以做到精细化分割。针对以上问题,提出一种多特征图金字塔融合深度网络(MFPNet),该模型利用光学遥感图像和高程数据作为输入,提取图像的多层次特征,然后针对不同层次的特征,分别引入金字塔池化结构,提取图像的多尺度特征,最后,设计了一种多层次、多尺度特征融合策略,综合利用多元数据的特征信息,实现遥感图像的精细化分割。基于Vaihingen数据集设计了相应的对比实验,实验结果证明了所提方法的有效性。     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

基于空洞卷积的语义图像分割算法研究

图像语义分割是通过对图像中每个像素点分类别地进行标记,使机器能够自动识别并分割出图像中的不同内容。目前全卷积网络进行图像语义分割时,池化层使感受野增大,造成图像空间尺度信息丢失。使用空洞卷积神经网络对图像语义进行分割,能够消除池化层带来的减小图像尺寸问题,保持图像空间维度信息。文章对密集特征提取以及空间金字塔池化模块进行了优化,提出了一种新的语义分割网络。文章基于PASCAL VOC 2012数据集进行算法有效性的验证,相比于之前的算法分割准确性高11.4%。     

FRKDNet：基于知识蒸馏的特征提炼语义分割网络

传统的语义分割知识蒸馏方法仍然存在知识蒸馏不完全、特征信息传递不显著等问题,且教师网络传递的知识情况复杂,容易丢失特征的位置信息。针对以上问题,本文提出了一种基于知识蒸馏的特征提炼语义分割模型FRKDNet。首先根据前景特征与背景噪声的特点,设计了一种特征提炼方法来将蒸馏知识中的前景内容进行分离,过滤掉教师网络的伪知识后将更准确的特征内容传递给学生网络,从而提高特征的表现能力。同时,在特征空间的隐式编码中提取类间距离与类内距离从而得到相应的特征坐标掩码,学生网络通过模拟特征位置信息来最小化与教师网络特征位置的差距,并分别和学生网络进行蒸馏损失计算,从而提高学生网络的分割精度,辅助学生网络更快地收敛。最后在公开数据集Pascal VOC和Cityscapes上实现了优秀的分割性能,MIoU分别达到74.19%和76.53%,比原始学生网络分别提高了2.04%和4.48%。本文方法相比于主流方法具有更好的分割性能和鲁棒性,为语义分割知识蒸馏提供了一种新方法。     

一种基于改进的MobileNetV2网络语义分割算法

基于金字塔卷积神经网络的语义分割算法准确率很高,但是其计算资源消耗巨大、算法执行时间长、无法满足实时性要求.为了解决这个问题,本文做出了以下改进：（1）用MobileNet替换原网络的结构,减少了网络运算时间和内存开销;（2）引入编码器-解码器结构提高输出图像的分辨率,进一步细化分割结果;（3）针对高分辨率图像推断时间过长的问题,本文设计了多级图像输入方法,降低了网络推断高分辨率图像所消耗的时间.本文在VOC 2012数据集和Cityscapes数据集上进行了测试,并与FCN、SegNet、DeepLab、PSPNet以及DFN等语义分割模型对比.实验结果表明,本文设计的语义分割算法在VOC 2012数据集上达到了76.1%的mIoU,在Cityscapes数据集上达到了74.1%的mIoU,略低于传统语义分割算法;处理一张分辨率为1024×512的图片需要18ms,少于传统语义分割算法,满足了实时性要求,达到了准确率与计算资源消耗之间的平衡.     

基于CAFF-PointNet的机载LiDAR点云语义分割

针对机载LiDAR点云中几何结构复杂和不同地物尺度变化大导致小目标点云分类准确率低的问题,本文提出了一种基于通道注意力机制进行多尺度特征融合的卷积神经网络.首先,通过球形邻域计算点云的平面度、线性度、法向量以及本征熵等浅层几何特征,并将其与网络提取的深层次语义特征进行融合,增强模型对点云几何结构的感知能力;其次,设计基于通道注意力机制的多尺度特征融合模块,学习特征融合的权重系数,使网络可以自适应调整不同尺度目标的感受野大小,实现对不同尺度信息的筛选,进而提高小尺度目标的分类精度.实验结果表明,与其他模型相比,本文模型在ISPRS机载LiDAR点云上的平均F1分数为72.2％,且对电力线和汽车类别均取得了最高的分类精度,F1分数分别为64.3％和79.9％.     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。     

分组双注意力语义分割网络

深度学习和自注意力机制的应用,使语义分割网络的性能得到了大幅提升.针对目前自注意力机制将每个像素的所有通道看作一个向量进行计算的粗糙性,基于空间维度和通道维度提出了一种分组双注意力网络.首先,将特征层分成多组;然后,自适应过滤掉每组特征层的无效基组,从而捕获精确的上下文信息;最后,将多组加权后的信息进行融合,获得较强的上下文信息.实验结果表明,本网络在两个数据集上的分割性能均优于双注意力网络,在PASCAL VOC2012验证集上的分割精度为85.6％,在Cityscapes验证集上的分割精度为71.7％.     

深度卷积神经网络语义分割综述

得益于深度卷积神经网络在特征提取和语义理解的强大能力,基于深度神经网络的语义分割技术逐渐成为计算机视觉研究的热点课题.在无人驾驶、医学图像,甚至是虚拟交互、增强现实等领域都需要精确高效的语义分割技术.语义分割从图像像素级理解出发,为每个像素分配单独的类别标签.针对基于深度神经网络的语义分割技术,根据技术特性的差异,从编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合方面展开,对现有模型的优缺点进行梳理和分析,并当前主流语义分割方法在公共数据集实验结果进行对比,总结了该领域当前面临的挑战以及对未来研究方向的展望.     

基于动态图卷积网络的点云分类和分割网络

点云分类和分割是三维场景理解中的关键步骤.针对稀疏点云输入和遮挡不能有效识别点云的问题,提出一种改进型分类和分割网络Linked-DGCNN.在动态图卷积网络(DGCNN)的基础上增加EdgeConv卷积层数以提取深层次点云特征;去除DGCNN的转换网络以简化网络结构;引入深度残差网络的思想连接不同网络层的输出特征,形...