采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

自适应性多模态特征融合的远小困难目标检测（英文）

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

旋转不变的2D视图-3D点云自编码器

点云的无监督表征学习对于理解和分析点云至关重要，基于三维重建的自动编码器是无监督学习中的重要架构。针对现有的自编码器存在旋转干扰和特征学习能力不足的问题，本文提出一个旋转不变的2D视图-3D点云自编码器。首先，设计局部融合全局的旋转不变特征转换策略。对于局部表示，利用手工设计特征对输入点云进行转换，生成旋转不变的点云表征；对于全局表示，提出一个基于主成分分析（Principal Component Analysis, PCA）的对齐模块，将旋转点云对齐同一姿态下，在补充全局信息的同时排除旋转干扰。然后，在编码器设计局部和非局部特征提取模块，充分提取点云的局部空间特征和非局部上下文相关性，并建模不同层次特征之间的语义一致性。最后，提出一个基于PCA对齐的2D-3D重构的解码方法，重建对齐后的三维点云和二维视图，使编码器输出的点云表征集成来自3D点云和2D视图的丰富学习信号。实验结果表明：本算法在随机旋转的合成数据集ModelNet40和真实数据集ScanObjectNN上的识别精度分别为90.84%和89.02%，学习的点云表征在没有任何标签监督的情况下实现了良好的可辨别性，并且具有较好...     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。     

基于多传感器融合的目标检测方法研究

为了提高智能汽车对行驶区域障碍物的感知能力,设计了相机图像与激光雷达点云融合的双模中融合模型。选用YOLOv3-tiny作为图像目标检测算法,PointRCNN作为点云目标检测算法,将点云检测获取到的ROI图像与原始图像进行加权融合,在融合后包含障碍物位置信息的图像上进行目标检测。通过与基于图像或基于点云的单模目标检测模型进行比对,在选用合适加权融合系数下双模中融合模型得到了更好的目标检测效果,在KITTI数据集上总类别的mAP@.5:.95上提升了3.3%,在Cyclist障碍物类别的AP@.5:.95上有了5.7%的显著提升。激光雷达点云的引入大大提升了纯视觉目标检测模型在小目标障碍物上的检测能力。     

采用八叉树体素生长的点云平面提取

提出了一种高效的基于八叉树体素自适应生成与体素分层次生长的平面提取方法,其主要思路为采用体素信息统计的方式进行相关阈值参数的自动选定,以及基于体素的生长替代基于点的生长进行平面提取。首先,对点云进行八叉树初始剖分并计算其几何属性信息(包括法矢、特征值以及维度特征描述符等);然后,通过统计得到细分终止条件,并对初始八叉树进行进一步自适应剖分,得到一系列非均匀八叉树体素;最后,在体素层面进行区域生长阈值的统计与体素的分层次生长,进行点云平面的精细提取。利用4种不同类型的点云数据对本文算法进行了测试。实验结果显示:精度和召回率可以达到95%以上,表明本文算法对数据质量不敏感,可以自动适应不同平台采集的、不同分布密度和不同数据质量的激光点云,并且高效地得到精细的点云平面提取结果。     

基于预分割轮廓的CT图像亚体素表面检测方法

针对基于CT(computed tomography)图像检测分析中的点云提取精度与完整性问题,提出一种基于预分割轮廓的高精度、高完整性的亚体素表面检测方法。首先采用Otsu分割算法提取CT图像的体素级轮廓点集,并以此作为粗定位轮廓自适应地生成用于亚体素表面检测的完备感兴趣区域(region of interest,ROI);然后提出一种基于梯度非极大值抑制的表面体素判定方法,避免了梯度阈值选择难题;最后基于3D Facet模型定位亚体素级表面点位置。实验结果表明,该方法能有效改善传统亚体素检测方法的轮廓丢失、伪边严重等问题,轮廓定位误差小于0.2个体素,同时能够取得3倍以上的计算加速比。     

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。     

基于GM-APD激光雷达数据融合的小目标检测

GM-APD激光雷达具有单光子探测灵敏度,大幅降低了系统体积和功耗,但受像元数限制,难以获得远距离小目标清晰轮廓,目标检测率不高。针对该问题,提出了基于强度像和距离像多级处理的小目标深度学习检测算法,充分挖掘强度图像和点云特征信息及相互关联性,提高小目标检测概率。通过改进特征金字塔网络,将感受野模块和注意力机制模块与特征提取网络相结合,增强强度像初筛目标准确性,在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后,使用动态图卷积网络对候选区内目标进行二次检测,利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试,网络的检测准确率达到98.8%,对于车辆结构不完整,车辆回波弱,背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD,YOLOv5等较为先进的目标检测网络,检测准确率分别提升了3.1%与2.5%,该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。     

压力信号干扰抑制的质量流量数据融合研究

质量流量测量精度受压力的影响,且随着压力的增大其测量精度变差。采用多个质量流量传感器进行多处测量,对质量流量测量数据进行自适应加权融合。在此基础上,为了消除压力对流量测量值的影响,采用BP神经网络进行压力干扰抑制的质量流量数据融合研究。研究结果表明,BP神经网络质量流量融合值的精度较自适应加权融合值的精度大大提高,且附加动量法获得的BP网络融合精度最高,自适应学习速率调整法次之,梯度下降法最差。     

融合多层级特征的遥感图像地面弱小目标检测

为解决遥感图像地面弱小目标检测中弱小目标信息量少、信息真假混杂的难题,本文提出一种融合多层级特征的遥感图像地面弱小目标检测算法CC-YOLO。该算法首先利用深度卷积神经网络逐级对目标图像进行特征提取,得到高低层特征空间金字塔图;然后,对空间金字塔图进行跨层级通道特征融合,结合新增的位置注意力机制CA,分别沿两个空间方向聚合特征,保留弱小目标精确的位置信息;最后,在聚合后生成的双支路特征图上进行端到端的目标检测,联合多通道检测信息输出检测结果。为解决算法实验中图像数据匮乏的问题,构建了遥感图像地面弱小目标数据集GDSTD。实验结果表明,算法AP_0.5∶0.95达到42.3%,AP_0.5达到94.6%,检测速率FPS达到58.8帧/s,具有一定的鲁棒性和实时性。     

多视点云数据快速对齐方法

多视点云数据的对齐(拼接)问题是逆向工程研究的热点问题之一。在ICP算法的基础上,提出通过在数据测量时放置基准物体,建立点云数据对齐特征,在进行多视点云数据拼接时对对齐特征增加约束的方法,实现多视点云数据的快速对齐。并对基于三个基准点约束对齐的对齐精度进行了分析,提出了减少对齐误差的措施,最后通过实例对研究结果加以分析验证。     

基于信息融合的城市自主车辆实时目标识别

针对单一传感器感知维度不足、实时性差的问题,提出一种激光雷达与相机融合的城市自主车辆实时目标识别方法。建立两传感器间的坐标变换模型,实现两传感器的像素级匹配。改进yolov3-tiny算法,提高目标检测准确率。对激光雷达点进行体素网格滤波,根据点云坡度进行地面分割。建立聚类半径与距离作用模型,对非地面点云进行聚类。引入图像中包络的思想,获取目标三维边界框以及位姿信息;将视觉目标特征与激光雷达目标特征融合。试验结果表明,改进的yolov3-tiny算法对于城市密集目标具有更高的识别率,雷达算法能够完整的完成三维目标检测以及位姿估计,融合识别系统在准确率、实时性方面达到实际行驶要求。     

基于深度投影的三维点云目标分割和碰撞检测

三维激光雷达被广泛应用在无人驾驶系统中对道路环境的检测和防碰撞检测。为增加激光雷达对扫描点云进行分割的准确性,提出一种基于深度投影的点云目标实时分割方法。首先采用体素化滤波去除噪声点,然后使用渐进式形态学滤波方法去除地面点,最后将点云进行深度投影,建立三维点云与深度投影图像的映射关系,利用深度投影图像的自适应角度阈值对点云进行目标分割,并将分割后的点云目标构造混合层次包围盒进行碰撞检测。实验结果表明该方法相对于传统聚类算法在时间效率上有明显提升,并且能有效降低过分割问题,实验数据目标分割准确率达到了78.82%,结合混合层次包围盒算法对分割后的点云目标进行碰撞检测,可有效地识别并判断物体空间位置关系,提升碰撞识别的准确性。     

改进YOLOv2卷积神经网络的多类型合作目标检测

针对大型构件三维精密测量中构件结构复杂、测量环境变化等导致的合作目标检测精度低的问题,提出一种改进YOLOv2卷积神经网络的多类型合作目标检测方法。首先,利用WGAN-GP生成对抗网络扩增合作目标图像样本数量;其次,采用卷积层密集连接代替YOLOv2基础网络的逐层连接增强图像特征信息流,引入空间金字塔池化汇聚图像局部区域特征,构建改进YOLOv2卷积神经网络的多类型合作目标检测方法;最后,采用增强的目标图像样本数据集训练改进YOLOv2卷积神经网络的多类型合作目标检测模型,实现多类型合作目标检测。实验结果表明:采用多类型合作目标图像数据集测试,多类型合作目标检测精度达到90.48%,目标检测速度为58.7 frame/s。该方法具有较高的检测精度和速度,鲁棒性好,满足大型构件三维精密测量中多类型合作目标检测的要求。     

遥感图像云检测的多尺度融合分割网络方法

在进行可见光遥感图像高精度云检测时,云自身特征的多变性,以及地物与云之间的特征相似性,会降低检测精度。因此,提出一种带权重的多尺度融合分割网络云检测方法。首先,通过有云区域和无云区域的特征学习,降低对云状的敏感性,同时利用全卷积网络进行端到端训练,实现对每个像素点分类。该方法能够自动提取深层特征,并可将云的深层语义特征与浅层细节特征结合,不但有利于区分下垫面中与云特征相似的地物,还可提高云边缘检测效果,从而提升云量值的检测精度。与其他深度学习分割网络的实验比较分析表明,所提方法可以实现95. 39%的像素分类准确度,云量值检测误差优于1%,为解决遥感图像云污染问题提供了新的思路。