基于原始点云的三维目标检测算法

针对当前三维目标检测中存在的数据降采样难、特征提取不充分、感受野有限、候选包围盒回归质量不高等问题,基于3DSSD三维目标检测算法,提出了一种基于原始点云、单阶段、无锚框的三维目标检测算法RPV-SSD(random point voxel single stage object detector),该算法由随机体素采样层、3D稀疏卷积层、特征聚合层、候选点生成层、区域建议网络层共五个部分组成,主要通过聚合随机体素采样的关键点逐点特征、体素稀疏卷积特征、鸟瞰图特征,进而实现对物体类别、3D包围盒以及物体朝向的预测。在KITTI数据集上的实验表明,该算法整体表现良好,不仅能够命中真值标签中的目标并且回归较好的包围盒,还能够从物体的不完整点云推测出物体的类别及其完整形状,提高目标检测性能。     

基于定位不确定性的鲁棒3D目标检测方法

针对3D点云训练数据因人工标注不精确而导致模型定位不准确的问题,提出了一种基于定位不确定性的鲁棒3D目标检测方法。首先,以基于3D体素网格的稀疏嵌入卷积检测（SECOND）网络作为基础网络,在候选区域生成网络（RPN）的基础上增加对定位不确定性的预测;然后,在训练过程中使用高斯和拉普拉斯两种分布模型对定位不确定性进行建模,并对定位损失函数进行重新定义;最后,在预测过程中结合定位不确定性和分类置信度作为目标置信度,使用阈值过滤和非极大值抑制（NMS）方法筛选候选目标。实验结果表明,在KITTI 3D目标检测数据集上,所提算法对于车辆类别的检测准确率在中等难度上比SECOND网络提高了0.5个百分点;当在训练数据中额外加入扰动模拟噪声的情况下,所提算法的检测准确率比SECOND网络最多提高了3.1个百分点。所提算法提高了3D目标检测准确率,减少了误检且提高了3D边界框的精度,并且对于带噪声的数据更鲁棒。     

基于PointPillars改进的点云目标检测算法

现有的点云目标检测方法虽然层出不穷,但主要以提升检测精度为主,检测效率较低,很难满足实际应用时的实时性需求。PointPillars[1]方法通过一种创新的点云特征处理方法,明显提升了点云目标检测的速度,为工业界的实际应用提供了可能性,但其精度相比速度略有欠缺。论文基于多尺度特征融合和3D注意力机制,对PointPillars方法的结构进行改进,提高了原方法对于多尺度目标的检测精度,弥补了该方法相比主流方法在检测精度上的不足。改进后的方法兼具较高的检测精度和较快的检测速度,具有一定的工程应用价值。     

基于最大分类器差异域适应方法的3维点云分类

实现快速且高精度的点云分类算法对自动驾驶、 3维场景识别、地图重建、工业机器人等应用领域起着重要的作用。针对目前传统3维点云分类算法存在着深度学习需要海量带标签训练数据以及在网络中没有考虑到3维点云数据的局部信息的不足,基于最大分类器差异域适应方法,设计了一种3维点云分类框架。首先使用PointNet点云分类网络作为网络的基本框架,其次在特征网络中添加自适应节点模块以处理3维点云的局部特征,最后利用领域自适应方法中的最大分类器差异域适应方法对网络的全局特征进行训练,有效缓解对海量训练数据的依赖性。在3维点云数据集PointDA-10的6种迁移组合对所提方法进行实验验证,在其中5种组合的分类准确率优于传统的点云分类算法,并且在减少20%训练数据量的情况下仍能较传统方法有效提升分类准确率。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于深度学习的点云目标检测方法

随着自动驾驶技术和点云处理技术的不断发展,如何对点云数据中的点的相关特征进行分析就成为关键问题.针对点云特征分析问题,很多的文献中对点云特征值采取手动输入的方法.然而,该类方法无法适应实际环境中复杂多变的情况.为了解决该问题,该文提出了一种新的基于深度学习网络的三维点云检测框架.该框架以深度学习作为点云分析工具,并引入...     

基于三维点云的阶梯目标检测与参数估计

阶梯目标检测与阶梯三维模型构建对移动机器人自主导航和运动规划具有重要意义.针对实际应用中阶梯目标结构的多样性以及点云分布的不确定性等特点,提出一种基于阶梯拓扑模型和模糊集理论的自适应阶梯目标检测与参数估计方法.利用阶梯剖面模型的拓扑关系与直方图算法,可有效提高阶梯边缘位置估计的精度及鲁棒性.采用同级线段提取与跨级线段接合策略,可实现对候选阶梯边缘线集合的准确构建.在此基础上,通过模糊变换和自适应模糊推理估计各级候选阶梯边缘线之间的级联概率,并采用模拟退火算法搜索全局最优的候选阶梯边缘线组合,从而实现对阶梯三维模型参数的有效估计.实验结果及数据分析验证了所提方法的有效性和实用性.     

基于三维点云深度学习的路面异物检测

针对采机场跑道异物FOD(ForeignObjectDebris)检测问题,本文设计了一套基于智能车载3D相机采集路面信息并进行异物检测的系统.此系统通过深度图像的深度量化值分布差异初步筛除正常路面,再经过点云异常值过滤与不均匀降样算法对参数进行纠正和数据量缩减,精简后的点云通过对路面数据适应性改进的网络进行异物检测....     

多尺度Transformer激光雷达点云3D物体检测

激光雷达点云3D物体检测,对于小物体如行人、自行车的检测精度较低,容易漏检误检,提出一种多尺度Transformer激光雷达点云3D物体检测方法MSPT-RCNN(multi-scale point transformer-RCNN),提高点云3D物体检测精度.该方法包含两个阶段,即第一阶段(RPN)和第二阶段(RCN...     

基于改进3D卷积神经网络的疼痛检测

在临床实践中, 精确评估疼痛对于疼痛管理和诊断至关重要. 但传统的评估方法主观性高且依赖医生经验, 迫切需要更可靠客观的替代方法. 利用深度学习的方法实现基于面部表情的疼痛检测研究近年已取得显著进展, 但复杂的结构和高计算成本制约了其实际应用. 因此, 本文提出了一个改进的3D卷积神经网络, 采用轻量级的3D卷积神经网络L3D作为骨干网络, 并结合改进的SE注意力机制, 把多个不同尺度的特征进行融合, 捕捉疼痛序列中具有较强辨别能力的时空特征. 在UNBC-McMaster和BioVid数据集上进行评估, 与最新方法相比, 该方法在疼痛检测性能以及计算复杂度上取得了优势.     

协同级联网络和对抗网络的目标检测

识别多尺度目标和遮挡目标是目标检测中的重点和难点。为了检测不同大小的目标,目标检测器通常利用卷积神经网络(CNN)的多尺度特征图层次结构,然而这种自顶向下的结构由于底层特征图的卷积层较小,缺乏获取小目标特征所需的细节信息,这些目标检测器的性能受到了限制。为此,结合Faster R-CNN框架提出Collaborative R-CNN,设计了一种级联网络结构,可以融合多尺度特征图,以生成深度融合的特征信息来增强小目标所需的细节特征,从而提高检测小目标的能力。此外,由于使用RoIPooling过程中的量化会对小目标检测造成极大的限制,为进一步提高方法的鲁棒性,设计了多尺度RoIAlign来消除这种量化,并通过多尺度的池化来提高网络检测不同尺度目标的能力。最后,将对抗网络与所提出的级联网络相结合,生成包含遮挡目标的训练样本,可显著提高模型的分类能力和识别遮挡目标的鲁棒性。在PASCAL VOC 2012和PASCAL VOC 2007数据集上的实验结果表明,提出的方法优于许多先进的方法。     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用...     

基于显著图的弱监督实时目标检测

深度卷积神经网络(Deep convolutional neural network, DCNN)在目标检测任务上使用目标的全标注来训练网络参数, 其检测准确率也得到了大幅度的提升. 然而, 获取目标的边界框(Bounding-box)标注是一项耗时且代价高的工作. 此外, 目标检测的实时性是制约其实用性的另一个重要问题. 为了克服这两个问题, 本文提出一种基于图像级标注的弱监督实时目标检测方法. 该方法分为三个子模块: 1)首先应用分类网络和反向传递过程生成类别显著图, 该显著图提供了目标在图像中的位置信息; 2)根据类别显著图生成目标的伪标注(Pseudo-bounding-box); 3)最后将伪标注看作真实标注并优化实时目标检测网络的参数. 不同于其他弱监督目标检测方法, 本文方法无需目标候选集合获取过程, 并且对于测试图像仅通过网络的前向传递过程就可以获取检测结果, 因此极大地加快了检测的速率(实时性). 此外, 该方法简单易用; 针对未知类别的目标检测, 只需要训练目标类别的分类网络和检测网络. 因此本框架具有较强的泛化能力, 为解决弱监督实时检测问题提供了新的研究思路. 在PASCAL VOC 2007数据集上的实验表明: 1)本文方法在检测的准确率上取得了较好的提升; 2)实现了弱监督条件下的实时检测.     

结合目标检测的人体行为识别

人体行为识别领域的研究方法大多数是从原始视频帧中提取相关特征, 这些方法或多或少地引入了多余的背景信息, 从而给神经网络带来了较大的噪声. 为了解决背景信息干扰、视频帧存在的大量冗余信息、样本分类不均衡及个别类分类难的问题, 本文提出一种新的结合目标检测的人体行为识别的算法. 首先, 在人体行为识别的过程中增加目标检测机制, 使神经网络有侧重地学习人体的动作信息; 其次, 对视频进行分段随机采样, 建立跨越整个视频段的长时时域建模; 最后, 通过改进的神经网络损失函数再进行行为识别. 本文方法在常见的人体行为识别数据集UCF101和HMDB51上进行了大量的实验分析, 人体行为识别的准确率(仅RGB图像)分别可达96.0%和75.3%, 明显高于当今主流人体行为识别算法.     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

CurveNet: Curvature-Based Multitask Learning Deep Networks for 3D Object Recognition

In computer vision fields, 3D object recognition is one of the most important tasks for many real-world applications. Three-dimensional convolutional neural networks (CNNs) have demonstrated their advantages in 3D object recognition. In this paper, we propose to use the principal curvature directions of 3D objects (using a CAD model) to represent the geometric features as inputs for the 3D CNN. Our framework, namely CurveNet, learns perceptually relevant salient features and predicts object class labels. Curvature directions incorporate complex surface information of a 3D object, which helps our framework to produce more precise and discriminative features for object recognition. Multitask learning is inspired by sharing features between two related tasks, where we consider pose classification as an auxiliary task to enable our CurveNet to better generalize object label classification. Experimental results show that our proposed framework using curvature vectors performs better than voxels as an input for 3D object classification. We further improved the performance of CurveNet by combining two networks with both curvature direction and voxels of a 3D object as the inputs. A Cross-Stitch module was adopted to learn effective shared features across multiple representations. We evaluated our methods using three publicly available datasets and achieved competitive performance in the 3D object recognition task.