基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于线结构光的水下旋转扫描高精度测量方法研究

随着海洋工程领域的不断发展，如何高精度地获取水下物体的三维点云具有重要学术和应用价值。由于光在不同介质中传播会引起光路的变化，导致水下线结构光视觉测量获得的点云受折射畸变影响，精度降低。针对上述问题，设计了一种基于线结构光的水下旋转扫描测量系统。提出了一种轴眼标定算法，能够将多视角水下点云配准到统一坐标系中。提出了一种引人折射补偿的水下相机成像模型，该模型可准确的描述激光在不同介质间传播过程中的光路，基于水下激光平面方程的约束，对水下点云进行折射校正，提高了水下点云的重建精度。水下测量实验结果表明，提出的高精度测量方法能够获得水下物体的三维点云信息，可测量水下目标的尺寸信息，距离目标30~80cm 时测量精度达到0.2mm，满足了水下目标三维高精度测量要求，     

铁路场景三维点云分割与分类识别算法

铁路限界侵入检测对保障高速铁路安全具有重要意义,基于激光三维点云分割与分类识别的异物侵入检测具有准确、直观的优点,在诸如隧道口和站台的铁路重点区域监测中具有广泛应用前景。设计了一种带动二维激光雷达进行俯仰运动的装置用于铁路三维点云的采集,基于法线方向一致性原则提出采用区域生长分割算法解决欧氏聚类分割和随机采样一致性(RANSAC)分割造成的过分割和欠分割问题;针对分割后的单物体点云,提出利用视点特征直方图(VFH)进行不同目标的三维点云特征提取,基于不同物体VFH建立KD树,并利用最近点搜索方法完成单物体点云分类识别。铁路场景典型物体的分类实验结果表明,本算法对铁路场景典型物体的分类识别准确率大于90%。     

新型激光远程点云装置研究

采用最新研制的多尺度相位差式激光点云装置,对电网铁塔上的绝缘端子进行了远程非接触式检测。利用测距激光对被测物体整体或局部进行从左到右的步进扫描,获取目标的空间三维数据,从而发现绝缘端子破损等缺陷,验证了多尺度相位差式激光点云装置在电网运维检测中的应用可行性,可以保障输电线路的运行安全性与稳定性。     

移动机器人基于激光点云定位建图的汽车宽度与方位估计

在移动机器人抓取搬运作业中,识别待操作目标物体的宽度和方位是成功的关键。针对室外环境下停放的汽车搬运作业需求,提出一种识别待搬运汽车宽度和方位的方法。该方法基于三维激光传感器,先构建整个环境的三维点云地图,然后从地图中分离出目标汽车点云,最后将汽车点云向地面投影,根据投影的点云包围盒进行汽车的宽度和方位估计。采用室外实验验证了该方法的识别效果,其精度满足应用要求。     

基于深度学习的单视图重建参数化CAD模型方法

基于图像的三维重建是逆向工程的一个重要研究领域。现有的基于图像的三维重建方法的重建结果基本为点云、体素和网格。该文基于深度学习提出一种单视图重建三维参数化模型的方法。该方法分为2个阶段：第1阶段将RGB图像输入BSP-Net神经网络模型将图像中的物体重建成点云;第2阶段使用Point Net++和DeepCAD神经网络模型实现点云到参数化模型的重建,其中PointNet++提取点云形状特征并编码成形状特征向量,随后将该向量通过DeepCAD解码成CAD命令序列。最后使用PythonOCC库将CAD命令序列转换成参数化模型。实验结果表明,该方法能够实现图像到参数化模型的快速重建,并且鲁棒性较好。对点云重建参数化模型的神经网络模型性能研究,确定该模型的最佳参数组合。此外,在公开的CAD数据集上实验结果表明,第2阶段的神经网络模型能够准确的重建三维参数化模型。     

基于主成分分析的大型管道三维表面重建

针对大量的点云数据要求快速、方便且精度高的特点,在轮廓线拼接建模方法的基础上提出一种结合主成分分析的三维表面建模方法。由结构光扫描系统获得点云;通过热传导模型将点云进行片层分割并进行主成分分析,得到纬度圈,从而获得纬度圈上的所有对应点对;在相邻点对之间进行柱面插值连接,生成物体的四边形网格模型和三维表面模型。结果显示,被测管道重构表面平均误差为0.19 mm,小于采用基于轮廓线拼接方法得到模型的平均误差。结果表明,采用基于主成分分析的方法进行管道三维表面重构,其精度得到了有效地提高,满足工程测量的精度要求;同时也证明了该方法的正确性。该重构方法适用于表面是一阶连续性被测物体尺寸及变形的分析。     

采用非规则标识点过程的LiDAR点云数据目标提取

针对LiDAR点云数据目标投影几何的非规则性,提出非规则标识点过程的LiDAR点云数据目标提取方法。首先,在投影平面上定义随机点过程,利用其随机点定位该平面上的目标投影,对每一随机点生成一组节点集以建模该目标投影几何,作为目标标识;假设地物目标高程值服从独立同一高斯分布,从而得到LiDAR点云数据高程测度模型;在贝叶斯理论架构下建立目标几何提取模型,并结合可逆跳变马尔可夫链蒙特卡罗(Reversible Jump Markov Chain Monte Carlo,RJMCMC)算法模拟后验分布以及估计各参数;最后根据最大后验概率准则,求解最优目标提取模型。采用提出方法对LiDAR点云数据进行目标提取,根据实验结果可以看出,算法得到的检测精度均达到80%以上,最高精度为99.43%,得到了较好的检测结果。本文将传统的规则标识点过程拓展到非规则标识点过程,可以有效拟合任意形状目标几何。定性和定量的实验结果表明了该方法的可行性、有效性和准确性。     

基于RGB-D图像的物体识别与位置估计方法

在RGB-D图像包含物体颜色信息与深度信息的基础上,提出了一种物体识别与位置估计方法。采用二维加速稳健特征算法快速从场景图像中识别出模型图像所处的目标区域,进而从场景点云中分割出待搜索的目标点云,减小了三维物体识别的计算量。采用三维霍夫变换从目标点云中识别出模型点云所处的空间位置,从而精确估计出物体位置。在构建日常生活场景常见物品RGB-D图像库的基础上,进行物体识别与位置估计试验,结果表明所提出的方法适应性和稳定性好,具有识别速度快、识别精度与准确率高等优点。     

基于视觉修正的激光雷达体积测量方法

针对激光雷达点云数据稀疏、扰动、存在噪声和其他方法难以迁移,实时性差等难题,面向“L”型小尺寸目标研究了一种基于视觉修正的激光雷达体积测量方法。该方法首先通过联合标定和时间戳最近邻匹配实现相机与激光雷达数据的对齐;然后经过目标检测算法获取图像中目标的信息,与此同时对点云数据执行地面分割得到地面点云与非地面点云,利用视觉投影和点云聚类实现目标点云的分割,使用KDtree找到目标点云附近的地面点云;最后,设计了一种三维框的拟合算法初步完成点云目标三维框的粗拟合,并建立视觉修正模型对于目标三维框进行细修正,从而实现目标体积的计算。实验结果表明,对于武器箱道具、医疗箱和油桶等“L”型物体,提出的算法在一定范围内,体积测量的平均相对误差小于4.44%、最大误差小于6.12%、最大重复性小于5.61%,并且基于视觉的修正模型大幅提高了算法的精度和稳定性,在嵌入式平台的处理1帧用时55 ms,能够实现实时高精度的体积测量,具有良好的工程应用前景。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

基于可视点法剔除动态目标的激光-惯导SLAM

针对传统激光同时定位与建图在动态环境中位姿估计累计误差大、地图中存在动态目标错误点云的问题,本文提出了一种基于可视点法实时剔除动态目标的激光-惯导SLAM方法(DM-LIO)。该方法使用IMU测量值为基于可视点法的动态目标剔除模块提供先验位姿,并引入基于弯曲体素空间的点云聚类方法,以解决在低分辨率可视点法下动态点不能被完全捕捉的问题,从而实现了在算法前端剔除激光点云中的动态目标。本文通过自主搭建室内真机实验平台和使用公开数据集两种方式对算法性能进行评估。真机实验结果表明本文提出的DM-LIO能够对多个动态目标以及非先验动态目标进行实时剔除;在公开数据集Urbanloco上的测试结果表明,在高动态的环境下DM-LIO的绝对轨迹误差相较于LIO-SAM减少了60%以上,验证了该算法在高动态环境中具有良好的定位精度。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

基于梯度聚类的有序点云边缘优化提取方法

应用传统的2D边缘检测器检测低分辨率深度图中物体边缘时,边缘检测精度较差,召回率低;而当前基于3D点云的边缘提取方法也存在实时性差、抗干扰能力弱等缺点。为此,提出一种基于梯度聚类的边缘优化提取方法,实现从有序点云中快速、稳定地检测物体的边缘。首先,通过邻域点距离分析滤除飞行像素噪声,消除边缘误检;其次,提出一种基于梯度聚类的边缘点/非边缘点分离方法,快速获取物体的粗边缘;最后,结合快速平行细化算法与掩膜滤波,优化粗边缘,获得物体精确边缘。在公共数据集和TOF相机实测数据上进行实验验证。结果表明,提出方法的实时性与检测精度均优于现有方法,在实测数据中的边缘检测精度达89%,FPS达28 fps。     

Balanced feature-sensitive point sampling for 3D model generation

Many surfaces used in practice consist of combinations of various features that are sufficiently smooth or highly detailed. In the presence of highly detailed features, it is obvious that non-feature-sensitive sampling is unable to preserve small features after significant data reduction. The higher the sensibility of point sampling to small features, the more intensive sample points in detailed features we have. When feature sensitivity is exaggerated, however, it makes the distribution of sample points locally greedy and unbalanced, which is undesirable for many point-based applications. Therefore, it is important for feature-sensitive sampling to blend feature sensitivity with balanced distribution of sample points to generate high-quality 3D models through point sampling. This paper presents a novel 3D point-sampling algorithm that produces balanced feature-sensitive sample points from unorganized point clouds. The key ideas of our point-sampling algorithm are that we set scalable feature sensitivity based on local feature size and balance the distribution of sample points by normalizing the number of sample points over localized regions. Then, sample points are placed at feature-sensitively weighted positions by a fuzzy clustering technique. The proposed sampling method enables us to produce a variety of well-balanced sample points from sparse to dense and from regular to feature-sensitive. We demonstrate the versatility of our sampling method by providing experimental results and comparisons with other point sampling methods.     

利用邻域方向分布的机载激光雷达点云建筑物外轮廓提取

机载激光雷达点云密度分布不均、建筑物形状不规则且复杂多样等多种因素,导致现有建筑物轮廓提取方法存在参数难以设置、适应性较差等问题,为此本文提出一种利用邻域方向分布的机载激光雷达点云建筑物外轮廓提取方法.首先采用固定邻域点数分析各点的邻域方向分布,以获取不同邻域方向间的夹角,根据建筑物外轮廓点的特点,定义潜在轮廓点并将其...