一种面向散乱点云语义分割的深度残差?特征金字塔网络框架

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差?特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差?特征金字塔网络框架在分割精度方面优于现存同类方法.     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于伪点云特征增强的多模态三维目标检测方法

环境感知是自动驾驶汽车落地的关键技术之一,它对于提高自动驾驶汽车的安全性和可靠性至关重要.三维目标检测是其中的一项核心任务,旨在识别和定位三维空间中的物体,为后续决策提供重要的信息.点云和图像是该任务最常用的输入数据,点云由三维空间中不规则分布的点组成,而图像则是由二维空间上规则分布的像素组成.因此,点云和图像之间难以进行有效的融合.而伪点云作为一种点云表征的图像信息,近几年受到了该领域学者的广泛关注.现阶段基于伪点云的三维目标检测方法还存在伪点云特征提取粗糙和相应感兴趣区域(Region-of-Intersts, Ro I)特征表征能力差的问题.本文针对上述问题开展研究,分别提出细粒度注意力卷积和多尺度分组稀疏卷积.细粒度注意力卷积将规则图像处理中常用的深度可分离卷积引入不规则点云的处理流程,并在此基础上嵌入通道和分组注意力机制,进行精细的特征提取,增强伪点云特征;多尺度分组稀疏卷积将格网池化后的Ro I特征分组,进行差异化特征学习,获取不同尺度的Ro I特征,增强伪点云Ro I格网特征的表征能力.基于此,本文在SFD(Sparse Fuse Dense)网络的伪点云特征提取流程中引...     

基于深度学习的X射线鞋底异物检测系统

在服饰鞋厂的加工生产过程中经常会出现断针现象,残留在鞋子里的多余断针等金属异物会威胁人们的人身安全.针对这一问题,本文提出了一种基于深度学习的鞋底金属异物检测系统.首先,将鞋子依次放在传送带上送入检针机,经过X光照射采集图像.之后对采集到的图像进行预处理操作,使金属异物变得清晰.最后通过深度学习网络模型识别当前图像是否含有金属异物,并检测异物所处位置.实验结果表明,经过图像预处理和微调标注框的做法,能有效提高模型识别的精度.本文提出模型的平均精度为97.6%,该结果表明此模型可以有效检测遗留在各种鞋类中不同形状的金属异物,具有很好的商业价值.     

深度学习在仿生眼监控系统中的应用

在视频监控系统中,由于受到复杂的背景、环境光线变化以及设备本身性能的限制,导致目标检测算法设计难度的加大,而传统的目标检测算法通常依赖于人工选择特征,难以从海量的数据中自动学习得到一个有效的分类器.基于深度学习算法,构建了一个卷积神经网络,并利用仿生眼视频监控系统中采集的人、车图像进行训练,在此基础上设计若干实验对深度学习网络特性进行分析,证明了训练集中各个类别样本的分布以及小样本训练的情况下对深度学习的训练结果会造成较大的影响.     

基于深度学习的企业多源数据融合并行处理方法设计

为解决数据融合处理中的丢失问题，本文进行基于深度学习的企业多源数据融合并行处理方法设计研究。将获取的信息按照其来源与类型划分为多个类别，在计算机终端建立一个空白云存储终端，将所有数据录入云存储空间，使采集的数据在空间中呈现离散化分布状态，计算不同网格区域之间的相似性，按照规范完成对企业多源数据的预处理；引进深度学习算法，将数据录入卷积层，建立数据在深度学习网络中的反向传播训练损失函数，通过不断更新卷积层节点参数的方式，提取多源数据特征，在深度学习网络Sink节点，根据待处理数据的类型，在节点驱动数据的融合并行处理。设计对比实验证明：设计的处理方法在实际应用中的效果最佳，该方法可以有效控制企业多源数据融合并行处理过程中的丢失量，降低企业损失。     

基于三维点云的卷积运算综述

随着深度相机、激光雷达等3D扫描设备的普及，用点云表示3D数据的方法越来越流行，对点云数据的分析与处理也引起了视觉研究领域的极大兴趣.一般来说，由于分布在3D几何空间中的点云是无序的，可以形成特定的结构，因此学习到的特征表示应该具备排列不变性、旋转和平移不变性、形状区分性.近年来，越来越多的研究人员基于点云的这些特性采用深度学习这一人工智能领域中的主流技术来处理分析点云数据.其中，卷积神经网络使用的卷积运算具备权重共享、局部聚合和变换不变等优点，减少了训练参数的个数，并具有较强的鲁棒性，可以有效地降低网络复杂度并提升网络性能，因此在各种2D视觉问题（如图像、视频）上的研究及应用已经相对成熟，这也引起了研究人员的高度关注并尝试将其引入到点云处理任务中.但传统的标准卷积运算往往无法直接作用于点云这种不规则数据上，一些研究人员进而对卷积运算及其卷积算子展开了深入的探索，并提出了多种卷积策略和网络以提高计算效率和算法性能.为了促进之后的研究，首先对现有点云研究中所使用的卷积方法进行了概述，包括基于投影的方法、基于体素的方法、基于晶格的方法、基于图的方法和基于点的方法.之后着重针对直接处理3D点...     

基于深度卷积神经网络的点云三维目标识别方法研究

为了提高对三维点云目标的识别精确度,提出一种基于深度卷积神经网络(Convolutional Neural Network, CNN)的点云目标识别模型。针对已有的深度卷积点云目标识别网络无法有效提取点云局部拓扑特征的问题,采用迭代最远点采样(Iterative Farthest Point Sampling, FPS)结合方向卷积编码方式来捕获局部形状特征。并引入空间变换网络(Spatial Transform Network, STN)使点云数据能够自适应进行空间变换和对齐,以解决点云数据旋转性会造成目标识别结果不稳定的问题。实验结果表明：文中提出的点云目标识别方法有效提高了识别精度度,相较于PointNet在ModelNet40和ShapeNetCore两个数据集上分别提高1.2%和1.4%。     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint。ResPoint网络使用了分组、采样和局部特征提取（ResConv）等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果。首先通过人脸几何特征点定位鼻尖点,并以该点为中心切割出面部区域,切割出的区域有噪点并且有孔洞,因此对其进行高斯滤波和三维立方插值;其次,使用ResPoint网络对预处理后的点云数据提取特征;最后,在全连接层组合特征以实现三维人脸的分类。在CASIA三维人脸数据库上的实验中,与关系型卷积神经网络（RS-CNN）相比,ResPoint网络的识别正确率提高了5.06%。实验结果表明,ResPoint网络增加了网络深度的同时使用不同的卷积核提取特征,因此ResPoint网络有更好的特征提取能力。     

多尺度Transformer激光雷达点云3D物体检测

激光雷达点云3D物体检测,对于小物体如行人、自行车的检测精度较低,容易漏检误检,提出一种多尺度Transformer激光雷达点云3D物体检测方法MSPT-RCNN(multi-scale point transformer-RCNN),提高点云3D物体检测精度.该方法包含两个阶段,即第一阶段(RPN)和第二阶段(RCN...     

点云空间与反射强度融合的非结构化道路可行驶区域检测

可行驶区域检测旨在检测和提取智能车辆在道路上可行进的区域, 目前主流的检测方法主要基于三维激光雷达的空间特征实现, 难以处理路面边缘无清晰空间特征的非结构化道路. 为此, 本文提出了一种基于点云空间和反射强度融合的非结构化道路可行驶区域检测方法. 首先, 通过融合反射强度因子改进了基于空间特征的柱坐标系检测模型; 然后, 使用强度和降维空间检测对检测精度较低的环形检测模型进行优化, 并将其与柱坐标系检测模型联合使用以提高方法检测准确率; 最后, 在自录实际道路数据集上进行对比实验. 实验结果表明本文方法显著提高了非结构化道路可行驶区域检测的成功率与精确率, 在结构化道路上也具有良好效果.     

基于激光点云的道路可通行区域检测方法

以车载激光雷达获取的点云数据为研究对象,针对无人车道路环境感知的关键技术展开研究。为解决无人驾驶中道路可通行区域检测存在的地面不平整、缓坡、障碍物单一等问题,提出基于激光点云数据的道路可通行区域检测方法。通过基于分段校准的RANSAC算法进行地面分割,解决地面不平整导致的欠分割问题。使用多特征复合判据,利用基于体素化的DBSCAN聚类算法和基于结构特征的障碍物识别方法完成障碍物的分割与识别。结合道路结构以及数据高程突变特征,提取道路边界候选点并拟合得到完整的道路边界线。将道路区域栅格化,根据道路边界悬空障碍物判断并更新可通行区域,实现可通行区域的准确检测。实验结果表明,该方法在复杂道路场景中的边界检测准确率高于95%,可有效检测出障碍物及道路的可通行区域,具有良好的实时性与鲁棒性。     

面向点云三维重建的空间感知对抗神经网络

为了解决由原始点云数据局部密度稀疏、不均匀或者法向量错误等制约因素引起的重建网格质量问题,利用对抗神经网络中权重共享的特性和对抗的训练过程,提出一种基于对抗网络的点云三维重建方法。首先,利用预测器对网格模型边的偏移量进行预测,从而得到每一个顶点的位移,并进行拓扑保持的顶点重定向,得到新的网格模型。然后,利用判别器中的点云分类器,提取原始点云数据和网格模型表面采样点集的高维特征,并基于高维特征进行空间感知的判别,用于区分原始点云与采样点集数据。最后,使用对抗的训练方式将预测器与判别器的输出数据关联起来,通过多次迭代优化网络模型,从而得到满足点云空间特征的三维网格模型。在不同的点云数据集上进行实验,并使用MeshLab软件进行效果展示,结果表明,该方法能够重建出满足点云空间信息的三维网格模型,同时能够解决粗劣的点云数据引起的网格质量问题。     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

基于三维激光雷达的道路边界提取和障碍物检测算法

为了快速有效地提取智能车辆在不同环境下的道路环境信息,提出基于三维激光雷达的道路边界提取和障碍物检测算法.首先,对三维激光雷达点云数据进行栅格化滤波处理,利用单束激光点云空间邻域联合分割的方法进行空间分析,得到点云平滑度特征图像.然后,采用自适应方向搜索算法获取道路边界候选点,并进行聚类分析和曲线拟合.最后,对道路边界约束下可通行区域内点云进行聚类分割,获得道路内障碍物方位和距离信息.实验表明,文中算法能够实时准确地提取道路边界和障碍物位置信息,满足智能车环境建模和路径规划的需求.     

无人机摄影测量点云道路自适应提取

在无人机摄影测量中, 针对传统的地面点云提取方法对图像点云数据中的道路提取适应性较差的问题, 本文提出了一种无人机摄影测量点云道路自适应提取方法. 首先, 根据点云的空间几何特征将点云划分为3个类别; 然后, 针对非道路的点云类别采取相应的方法进行剔除; 最后, 对经过自适应提取方法得到的点云数据进行滤波平滑和基于颜色的区域生长分割处理. 实验结果表明, 该方法提取的道路点云的I类误差为4.97%, II类误差为1.14%. 该方法能够有效地提取目标道路路面, 提高了无人机摄影测量工程应用中点云数据处理的效率.     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

牙颌点云数据的显著性特征提取

随着激光扫描测量技术的发展,其数据测量精度的逐渐增高使得获取的几何模型表面点云数据的细节信息越丰富,能更准确的反应物体几何表面特征,但如此海量的点云数据同时也带来对应的技术挑战,海量的点云数据在计算机文件存储、数据后期进一步处理以及软件可视化方面都不方便且效率低下.本文中的算法首先采用栅格法对点云进行空间划分及领域关系的建立,其次利用局部表面拟合的方法估算点云法向量,然后利用点云K领域法的向量求解坐标点的显著性值,最后根据显著性的值构建点云八叉树.该算法实现了对点云显著性特征的提取和对点云数据量的进一步简化,它不仅保留了对点云细节特征保持方面的优势,而且在时间效率上得到了提高.