融合图像特征的单阶段点云目标检测

使用图像信息补充三维点云的几何和纹理信息,可以对三维物体进行有效地检测与分类。为了能够更好地将图像特征融入点云,设计了一个端到端的深度神经网络,提出了一个新颖的融合模块PI-Fusion(point cloud and image fusion),使用图像特征以逐点融合的方式来增强点云的语义信息。另外,在点云下采样的过程中,使用距离最远点采样和特征最远点采样的融合采样方式,以在小目标上采样到更多的点。经过融合图像和点云特征的三次下采样之后,通过一个候选点生成层将点移动到目标物体的中心。最后,通过一个单阶段目标检测头,得出分类置信度和回归框。在公开数据集KITTI的实验表明,与3DSSD相比,此方法在简单、中等、困难难度的检测上分别提升了3.37、1.92、1.58个百分点。     

基于深度学习的点云三维目标检测方法综述

点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来,深度学习进入点云领域,让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务,首先分析了点云数据的特性并列举了日常任务中常用的点云数据集,随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述,并通过单模态与多模态方法在数据集上的表现作比对。最后对当前点云三维目标检测研究的发展趋势进行展望与总结。     

基于深度学习的点云目标检测方法

随着自动驾驶技术和点云处理技术的不断发展,如何对点云数据中的点的相关特征进行分析就成为关键问题.针对点云特征分析问题,很多的文献中对点云特征值采取手动输入的方法.然而,该类方法无法适应实际环境中复杂多变的情况.为了解决该问题,该文提出了一种新的基于深度学习网络的三维点云检测框架.该框架以深度学习作为点云分析工具,并引入...     

基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

图像与点云多重信息感知关联的三维多目标跟踪

目的 三维多目标跟踪是一项极具挑战性的任务,图像和点云的多模态融合能够提升多目标跟踪性能,但由于场景的复杂性以及多模态数据类型的不同,融合的充分性和关联的鲁棒性仍是亟待解决的问题。因此,提出图像与点云多重信息感知关联的三维多目标跟踪方法。方法 首先,提出混合软注意力模块,采用通道分离技术对图像语义特征进行增强,更好地实现通道和空间注意力之间的信息交互。然后,提出语义特征引导的多模态融合网络,将点云特征、图像特征以及逐点图像特征进行深度自适应持续融合,抑制不同模态的干扰信息,提高网络对远距离小目标以及被遮挡目标的跟踪效果。最后,构建多重信息感知亲和矩阵,利用交并比、欧氏距离、外观信息和方向相似性等多重信息进行数据关联,增加轨迹和检测的匹配率,提升跟踪性能。结果 在KITTI和NuScenes两个基准数据集上进行评估并与较先进跟踪方法进行对比。KITTI数据集上,HOTA(higher order tracking accuracy)和MOTA(multi-object tracking accuracy)指标分别达到76.94%和88.12%,相比于对比方法中性能最好的模型,分别提升1....     

基于雷达点云的中视图投影处理

二维的单目相机图像识别在准确性和速度方面已经达到工业级的应用标准,近年来发展迅速,但在实际应用时,由于维度较低,不能很好地描述现实物体的特征与状态。直接的三维检测由于维度提升导致变量增多,存在运算速度慢、检测精度低等问题,因此将点云数据进行投影处理,不失为一种很好的压缩预处理方法。对点云投影的预处理进行了介绍,并提出改进方案——一种保留更多距离信息的点云中视图投影识别。介绍了3D点云的投影处理方法及存在的问题,并给出相应的解决方案,对得到的投影图进行评估,表明中视图投影处理的方法既可以与照片共同用于自动驾驶,又可以单独用于提高自动驾驶的安全性。     

自动驾驶场景下多传感器融合目标检测算法研究

日前随着智能交通的发展,自动驾驶的需求日益增长,由于复杂和动态的驾驶环境的性质,实现完全的自动驾驶目前面临巨大挑战。自动驾驶场景下的目标识别可以用于路径规划、运动预测和碰撞避免,是自动驾驶技术的关键技术之一。如何在有限的传感器、时间和计算资源消费范围内获得更高的目标识别率及更好跟踪准确度是自动驾驶所需要解决的问题。鉴于传统目标检测系统中,采用单一传感器进行目标识别,在感知范围、识别准确性等方面存在的固有缺陷,本文对单激光点云和点云-图像融合3D目标识别进行研究分析,同时重点阐述点云-图像前融合深度学习网络MV3D、VOAD、PointPainting,后融合网络CLOCs的应用及其性能对比分析。最后对后融合网络CLOCs进行网络改进,提出根据大小目标灵活变化输出多尺度的特征图,以达到目标特征匹配的结果从而提高融合的匹配程度,实验结果表明在小目标检测过程中表现出较好的性能。     

基于三维点云的阶梯目标检测与参数估计

阶梯目标检测与阶梯三维模型构建对移动机器人自主导航和运动规划具有重要意义.针对实际应用中阶梯目标结构的多样性以及点云分布的不确定性等特点,提出一种基于阶梯拓扑模型和模糊集理论的自适应阶梯目标检测与参数估计方法.利用阶梯剖面模型的拓扑关系与直方图算法,可有效提高阶梯边缘位置估计的精度及鲁棒性.采用同级线段提取与跨级线段接合策略,可实现对候选阶梯边缘线集合的准确构建.在此基础上,通过模糊变换和自适应模糊推理估计各级候选阶梯边缘线之间的级联概率,并采用模拟退火算法搜索全局最优的候选阶梯边缘线组合,从而实现对阶梯三维模型参数的有效估计.实验结果及数据分析验证了所提方法的有效性和实用性.     

面向自动驾驶目标检测的深度多模态融合技术

研究者关注利用多个传感器来提升自动驾驶中目标检测模型的准确率,因此对目标检测中的数据融合方法进行研究具有重要的学术和应用价值。为此,本文总结了近年来自动驾驶中深度目标检测模型中的数据融合方法。首先介绍了自动驾驶中深度目标检测技术和数据融合技术的发展,以及已有的研究综述;接着从多模态目标检测、数据融合的层次、数据融合的计算方法3个方面展开阐述,全面展现了该领域的前沿进展;此外,本文提出了数据融合的合理性分析,从方法、鲁棒性、冗余性3个角度对数据融合方法进行了讨论;最后讨论了融合方法的一些公开问题,并从挑战、策略和前景等方面作了总结。     

动态环境中多帧点云融合算法及三维目标检测算法研究

低线束激光雷达扫描的点云数据较为稀疏,导致无人驾驶环境感知系统中三维目标检测效果欠佳,通过多帧点云配准可实现稀疏点云稠密化,但动态环境中的行人与移动车辆会降低激光雷达的定位精度,也会造成融合帧中运动目标上的点云偏移较大。针对上述问题,提出了一种动态环境中多帧点云融合算法,利用该算法在园区道路实况下进行三维目标检测,提高了低线束激光雷达的三维目标检测精度。利用16线和40线激光雷达采集的行驶路况数据进行实验,结果表明该算法能够增强稀疏点云密度,改善低成本激光雷达的环境感知能力。     

AF-CenterNet:基于交叉注意力机制的毫米波雷达和相机融合的目标检测

对于自动驾驶领域而言,确保在各种天气和光照条件下精确检测其他车辆目标是至关重要的。针对单个传感器获取信息的局限性,提出一种基于cross-attention注意力机制的融合方法(AF),用于在特征层面上融合毫米波雷达和相机信息。首先,将毫米波雷达和相机进行空间对齐,并将对齐后的点云信息投影成点云图像。然后,将点云图像在高度和宽度方向上进行扩展,以提高相机图像和点云图像之间的匹配度。最后,将点云图像和相机图像送入包含AF结构的CenterNet目标检测网络中进行训练,并生成一个空间注意力权重,以增强相机中的关键特征。实验结果表明,AF结构可以提高原网络检测各种大小目标的性能,特别是对小目标的检测提升更为明显,且对系统的实时性影响不大,是提高车辆在多种场景下检测精度的理想选择。     

基于注意力的毫米波-激光雷达融合目标检测

针对自动驾驶中使用激光雷达进行目标检测时漏检被遮挡目标、远距离目标和复杂天气场景下目标的问题,提出一种基于注意力机制的毫米波-激光雷达特征融合的目标检测方法.首先,将毫米波和激光雷达各自的扫描帧数据分别聚合到它们的标注帧上,并将毫米波和激光雷达的数据点进行空间对齐;其次,对两者进行聚合和空间对齐后的数据分别进行Poin...     

小目标检测研究综述

随着计算机视觉和人工智能技术的快速发展,目标检测受到了更加广泛的关注。由于小目标像素占比小、语义信息少、易受复杂场景干扰以及易聚集遮挡等问题,导致小目标检测一直是目标检测领域中的一大难点。目前,视觉的小目标检测在生活的各个领域中日益重要。为了进一步促进小目标检测的发展,提高小目标检测的精度与速度,优化其算法模型,本文针对小目标检测中存在的问题,梳理了国内外研究现状及成果。首先,分别从小目标可视化特征、目标分布情况和检测环境等角度对小目标检测的难点进行了分析,同时从数据增强、超分辨率、多尺度特征融合、上下文语义信息、锚框机制、注意力机制以及特定的检测场景等方面系统总结了小目标检测方法,并整理了在框架结构、损失函数、预测和匹配机制等方面发展的较为成熟的单阶段小目标检测方法。其次,本文对小目标检测的评价指标以及可用于小目标检测的各类数据集进行了详细介绍,并针对部分经典的小目标检测方法在MSCOCO(Microsoft common objects in context)、VisDrone2021(vision meets drones2021)和Tsinghua-Tencent100K等数据...     

基于IMU和动态目标检测的多帧点云融合算法

针对16线激光雷达点云数据稀疏,而导致环境感知效果不佳的问题,提出了一种基于惯性测量单元和动态目标检测相结合的多帧点云数据融合算法.该算法利用惯性测量单元提供的位姿信息进行点云中静态物体部分的融合,利用动态目标检测完成运动物体部分的融合,既可以增快点云融合的速度,又可以缓解融合时运动物体点云偏移过大的问题,在节约成本的同时,达到有效地增大点云密度的目的.实验结果表明,该算法进行点云融合时具有良好的效果,在无人驾驶环境感知方面具有较高的应用价值.     

运动目标检测的红外与可见光图像融合方法

在弱可见光条件下,对同一场景监控的红外与可见光图像进行融合,使融合图像即显示红外目标,又能保留可见光图像的细节结构信息,方便观察者对场景的观察与监控。充分利用红外成像的特点,热目标与背景的温度差会使目标在红外图像中的灰度值更大。使用红外序列建立稳定的背景模型,当前帧与背景的差得到运动目标区域,然后,将目标区域内的红外目标融合到可见光图像中,达到对红外运动目标检测的目的。     

改进的基于冗余点过滤的3D目标检测方法

VoxelNet网络模型是第一个基于点云的端对端目标检测网络,只利用点云数据来生成高精度的3D目标检测框,具有十分良好的效果。但是,VoxelNet使用完整场景的点云数据作为输入,导致耗费了更多的计算资源在背景点云数据上,而且只包含几何信息的点云对目标的识别粒度较低,在较复杂的场景中容易出现误检测和漏检测。针对这些问题对VoxelNet进行了改进,在VoxelNet模型中加入视锥体候选区。首先,通过RGB前视图对感兴趣目标进行定位;然后,将目标2D位置升维至空间视锥体,在点云中提取目标视锥体候选区,过滤冗余点云,仅对视锥体候选区中的点云数据进行计算来得到检测结果。改进后的算法与VoxelNet相比,降低了点云计算量,避免了对背景点云数据的计算,提升了有效运算率,同时,避免了过多背景点的干扰,降低了误检测和漏检测率。KITTI数据集上的实验结果表明,改进后的算法在简单、中等、困难三种模式下的3D平均精度分别为67.92%、59.98%、53.95%,优于VoxelNet模型。     

Multi-class object detection in tunnels from 3D point clouds: An auto-optimized lazy learning approach

This research develops an auto-optimized lazy learning approach named BOKNN (Bayesian optimized K nearest neighbor) method to detect seepage and multi-classify various objects (e.g., segment, pipe, track, support, and cable) in operating tunnels from 3D point clouds. Firstly, the 3D laser scanning is employed to acquire raw point cloud data, and the equidistant pooling for down-sampling is conducted to improve class imbalance issues and enhance the efficiency. Then, the K-nearest neighbor (KNN) model is built on the trimmed dataset, where the Bayesian optimization is performed to obtain the optimal combination of hyper-parameters in the KNN model. A realistic cross-river tunnel section in China is used as a case study to demonstrate the applicability and effectiveness of the developed approach. Results indicate that (1) The established BOKNN model displays a high performance in multi-class detection, together with a total accuracy of 0.935, a macro F1 score of 0.896, and a weighted F1 score of 0.939. (2) It performs well even in minor class detection, and the detection of seepage is conservative, where only 4.1% of seepage points are misclassified as non-seepage points. (3) It displays better detection performance than the other representative machine learning models (i.e, Adaboost, Support Vector Machine, and Naive Bayes). The developed approach is nonparametric and training-free, which can be used as a decision tool to substitute the present manual detection and improve the detection efficiency.