基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于对称形状生成的三维目标检测网络

基于点云的三维目标检测在机器人、自动驾驶等领域起着至关重要的作用,激光点云能为场景理解提供精确的几何信 息。 然而,由于点云的稀疏性和物体间的遮挡关系,激光点云通常只能描述物体的部分形状,导致目标结构信息不完整,从而降 低检测精度。 针对这个问题,提出基于对称形状生成的三维目标检测网络( SSG-RCNN),一种双阶段目标检测器。 考虑到感兴 趣目标形状的对称性,SSG-RCNN 在一阶段生成候选框的同时为每个前景点预测镜像对称点,从而恢复目标的整体形状。 二阶 段中,使用自注意力池化层从原始点和对称点中聚合特征用于候选框修正,完成三维框预测。 KITTI 数据集上的实验表明 SSG-RCNN 取得了卓越的检测性能,在测试集上对困难目标的检测精度达到 77. 64% ,高于所有对比方法。     

基于动态图注意力机制的秦俑点云鲁棒配准

针对目前的点云配准方法在处理秦俑等文物模型时不能很好地解决分辨率不匹配、点云部分重叠、噪声点较多等问题,提出一种基于动态图注意力机制的ResUNet配准模型。该模型将残差模块融入U-Net网络中,使用三维稀疏体素卷积计算点云特征,并引入一种新的归一化技术：批邻域归一化（Batch-Neighborhood Normalization,BNHN）,来提高特征对于点密度变化的鲁棒性;为了进一步提高配准性能,该模型通过自注意力机制和交叉注意力机制聚合局部特征和上下文特征,最后结合随机抽样一致性算法来估计源点云与目标点云之间的变化矩阵,完成秦俑文物模型的鲁棒配准。为了验证本文方法的有效与鲁棒,使用四组数据集（3DMatch、3DLoMatch、分辨率不匹配的3DMatch数据集以及两组秦俑数据）对配准模型进行测试,实验结果表明,该算法在3DMatch数据集和3DLoMatch数据集上的配准召回率分别达到90.1%和61.0%;在分辨率不匹配的3DMatch数据集,相比与基于特征学习的配准算法,该算法在配准召回率上提升了5%～20%;在秦俑数据集上,相对旋转误差均小于0.071,相对平移误差均小...     

基于改进高分辨率神经网络的多目标行人跟踪

针对行人多目标跟踪过程中目标被遮挡时产生的检测、跟踪失败问题,提出了一种改进型高分辨率神经网络作为检测网络。首先,为了增强网络对于行人目标的初始特征提取能力,在高分辨率神经网络的基础上,对网络的主干部分引入二代瓶颈残差块结构,提升感受野和特征表达力;其次,设计了添加二层高效通道注意力模块的残差检测块架构,并通过该架构替换了原有网络在多尺度信息交换阶段中的残差检测块,以提高了整个网络系统的测试性能;最后,通过选择适当的参数对网络进行了全面地训练,并通过多个测试集对算法测试。测试结果显示,本文算法相较于FairMOT在2DMOT15,MOT17,MOT20数据集上的跟踪准确度分别提升0.1%,1.6%,0.8%。本文算法可以良好地应用在目标较多且遮挡面积较大的特殊情景,同时对于较长时间视频序列的追踪稳定性也大大提高。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

顾及长尾分布的机载LiDAR点 CNN 语义分割

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象，构建顾及数据长尾分布的机载LEDAR点云语义分割网络，主要涉及两方面内容，聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移（Mearshift）聚类组合策略，最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习；空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习，以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明，本文网络模型整体分割精度和平均F，较 PointNet++分别提升6.3%和6.6%，并优于其它6种PointNet++系列网络模型及新公布的10种网络模型，具有良好的泛化性能与应用价值。     

基于GM-APD激光雷达数据融合的小目标检测

GM-APD激光雷达具有单光子探测灵敏度,大幅降低了系统体积和功耗,但受像元数限制,难以获得远距离小目标清晰轮廓,目标检测率不高。针对该问题,提出了基于强度像和距离像多级处理的小目标深度学习检测算法,充分挖掘强度图像和点云特征信息及相互关联性,提高小目标检测概率。通过改进特征金字塔网络,将感受野模块和注意力机制模块与特征提取网络相结合,增强强度像初筛目标准确性,在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后,使用动态图卷积网络对候选区内目标进行二次检测,利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试,网络的检测准确率达到98.8%,对于车辆结构不完整,车辆回波弱,背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD,YOLOv5等较为先进的目标检测网络,检测准确率分别提升了3.1%与2.5%,该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。     

双边特征聚合与注意力机制点云语义分割

机器视觉是环境感知的重要手段之一,是自动驾驶、机器人、工业检测等领域的研究热点,而点云数据的精细分析是其 中的一项关键技术。 针对大尺度真实场景点云数据分割精度低的问题,提出了一种适用于点云数据语义分割的网络结构。 首 先,构建了一个双边特征聚合结构,通过分别处理点云的几何信息和语义信息,达到充分利用点云特征信息的目的。 其次,使用 近邻特征的高维空间相关性计算点与点之间的相互作用,进行局部邻域的上下文信息增强。 提出了一种混合池化结构代替最 大值池化,减少信息损失,使用横向跨层池化连接来增强特征多样性。 最后,引入注意力机制提取全局特征,滤除尺度噪声,增 强特征在空间上的表现力。 实验结果表明,该方法在大尺度真实场景点云数据集 S3DIS 上的平均交并比为 68. 2% ,平均准确率 为 80. 7% ,比 PointNet 提高了 20. 6% 和 14. 5% ,客观指标优于已有的代表性方法。     

改进UNet与DBSCAN融合的车道线检测方法

室内外标记线和车道线检测是移动作业机器人研究的难点这一。针对现有方法效率低、精度差等问题，提出了改进UNet与DBSCAN融合的车道线检测方法。基于分布式融合结构，将图像输入嵌有并行融合注意力模块的UNet,通过注意力机制加大车道线权重，并抑制干扰信息，以获得更好的识别结果。三维激光雷达的点云数据通过随机抽样一致算法和自适应邻域DBSCAN获得车道线原始点云，经过最小二乘拟合得到点云车道线。在像素坐标系上引入匈牙利算法匹配决策判断，实现车道线拟合。基于KITTI数据集和真实数据集进行试验验证，识别结果优于UNet和LaneNet,检测时间平均约为0.5 s,相比纯视觉方法具有较好的鲁棒性和准确性。     

基于激光点云与图像信息融合的交通环境车辆检测

随着无人驾驶汽车的快速发展,仅依靠单一传感器的环境感知已经无法满足车辆在复杂交通场景下的目标检测需求。融合多种传感器数据已成为无人驾驶汽车的主流感知方案。提出一种基于激光点云与图像信息融合的交通环境车辆检测方法。首先,利用深度学习方法对激光雷达和摄像头传感器所采集的数据分别进行目标检测;其次,利用匈牙利算法对两种目标检测结果进行实时目标跟踪,进而对两种传感器检测及跟踪结果的特征进行最优匹配;最后,将已匹配及未匹配的目标进行择优输出,作为最终感知结果。利用公开数据集KITTI的部分交通环境跟踪序列及实际道路测试来验证所提方法,结果表明,所提融合方法实时车辆检测精度提升12%以上、误检数减少50%以上。     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

增强点云局部显著性特征的细粒度语义分割网

点云细粒度语义分割，即物体部件分割，在机械臂控制、智能化装配、物体检测等工业生产中有着重要的应用价值。然而由于点云数据形式散乱，导致物体部件边界处几何特征不明显且计算困难，从而致使细粒度分割精度较低，难以满足生产需求。针对点云的部件级分割，本文提出了增强点云局部显著性特征的细粒度语义分割网，网络中构建了局部数据上下文信息，提高细粒度分割精度。本网络建立了利用几何曲率改进的的最远点采样算法，增强点云局部数据子集特征计算能力；创建多尺度高维特征提取器，提取不同尺度的高维特征；在点云特征计算过程中使用seq2seq的方式，引入注意力机制，融合不同尺度的高维特征，进而获取细粒度语义分割的上下文信息。最终使得细粒度分割精度得到了有效提高，尤其是对边界处的分割效果提升显著。实验结果表明，本网络在ShapeNet Part数据集上的总体交并比达到了85.2%，准确率达到95.6%，且具有一定泛化能力。该方法对三维物体的细粒度语义分割具有重要的意义。     

基于深度测量的行人体态特征提取与再识别方法

行人再识别是视觉监控系统的核心问题之一,然而传统基于彩色图像的特征提取方法难以用于极暗光照条件下的行人再识别。本文提出一种基于深度测量的行人体态特征提取方法,由于深度测量独立于光照条件,因此所提方法可以在极暗光照条件下对行人目标进行有效识别。由深度数据经过分割和滤波生成人体点云,将观测点云与初始人体模型进行配准,基于配准后的点云对人体模型的体态参数和姿态参数进行联合估计,计算体态特征向量的欧式距离实现行人再识别。在公开数据集和实验室自采数据集上进行验证,计算Rank-n、累计匹配曲线、平均精度均值等性能指标,其中在Single shot评估模式下BIWI数据集的Rank-1可达到70.71%、Rank-5可达到92.32%,结果表明本文所提算法可有效提高再识别精度。     

基于点云深度学习的加工特征识别方法

在计算机辅助设计与制造系统中，加工特征识别是一项关键技术。针对传统的特征识别技术可扩展性差、鲁棒性差等问题，提出一种基于点云深度学习的加工特征识别方法。通过对加工特征表面进行均匀点采样，构建加工特征的点云数据集。使用K近邻算法构建点云的旋转不变表示，提出一种融入几何先验知识的点云分类网络。对于多特征模型的点云数据，提出一种加工特征点集的提取方法和相交特征的分离方法。通过具体实例验证了所提方法的有效性，表明该方法能识别CAD模型中的单一特征和相交特征。     

采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。     

基于视觉压缩感知的传感网络行人目标辨识方法

行人目标辨识是指在视觉传感网络中识别检测到的目标,对智能安防具有重要意义。对行人目标辨识所需数据进行压缩可提高视觉传感网络行人目标辨识的实时性。提出了一种基于视觉压缩感知的传感网络行人目标辨识方法。无线视觉节点获取行人目标图像后,首先提取图像中行人脸部的尺度不变特征,并采用特征字典对目标进行稀疏表示,得到目标特征直方图。然后视觉节点应用压缩感知方法对特征直方图进行数据压缩,并传输至中心节点。最后,中心节点应用非负正交匹配追踪算法重构特征直方图,并采用支持向量机对特征直方图进行分类辨识。实验表明,该方法能够在不影响行人目标辨识准确率的前提下,有效减少在视觉传感网络中进行行人目标辨识时所需传输的数据量。     

MSA-Net:一种基于多阶段注意力机制的少样本目标检测方法

近年来，样本较少场景下的目标检测引起了广泛的关注。由于少样本提供的信息有限，大部分少样本目标检测模型采用改进的Faster RCNN检测框架进行研究。但由于Faster RCNN框架中潜在的模块矛盾问题，现有的少样本目标检测模型的特征捕捉和分类的能力有待提高。为解决以上问题，以Faster RCNN框架为基础，加入了梯度反传解耦机制，缓解在反向传播过程中，RPN和RCNN的冲突对主干网络的负面影响。为提高目标检测模型的特征捕捉能力，采用元学习框架，并融合基于注意力机制的蒸馏模块和多尺度注意力模块，充分利用查询集和支持集的信息，捕捉更多全局特征信息。大量的实验证明，在随机采样目标数k=1, 2, 3, 5, 10设置下，改进后的模型在Pascal VOC数据集的新类上，分别达到21.8%,34.7%, 40.9%, 44.5%, 51.7%mAP(AP50)。在k=10, 30设置下，改进后的模型在COCO数据集的新类上，分别达到25.1%,27.6%mAP(AP50)。