基于边缘关联点云的激光雷达与相机外参标定方法

激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题,提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先,利用双回波提取标定板边缘关联点云;然后,通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点;最后,将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明,该方法的重投影误差为1.602px,低于同类对比方法,验证了该方法的有效性与准确性。     

融合图像边缘的区域生长点云分割算法

为了解决传统区域生长点云分割算法因种子点选择不当或者生长策略设计不当导致的欠分割或过分割现象，本文提出利用图像中目标对象边缘得到目标点云边缘点作为种子点的区域生长点云分割算法.首先通过激光雷达与相机联合标定融合采集到的点云与图像，然后根据图像中目标对象边缘以及图像与点云的映射关系提取出目标对象点云的边缘点，接着以边缘点为种子点，根据边缘的性质设计出相关的生长策略，最后进行区域生长分割得到目标点云.实验结果表明，相比其它三种主流点云分割算法，本文算法可以从数据量大的稠密点云中以高精度分割出目标点云，并且有效避免欠分割与过分割现象.     

基于迭代最近点的井下无人机实时位姿估计

针对煤矿井下无GPS信号、低照度、结构化环境等特点,提出了一种基于迭代最近点(ICP)的井下无人机实时位姿估计方法。通过建立四旋翼无人机运动模型与机载激光雷达观测模型,将煤矿井下四旋翼无人机位姿估计问题转换为机载激光点云数据的扫描匹配问题。用三维激光雷达作为四旋翼无人机机载环境测量传感器,得到无人机当前位姿下的观测点云数据;以第1帧位置为初始位,通过ICP方法得到连续2帧点云数据之间的相对变换矩阵,迭代求解连续关键帧点云数据,得到煤矿井下四旋翼无人机实时位姿估计结果。采用滤波与下采样方法对点云数据进行优化,加速变换矩阵的求解,满足四旋翼无人机位姿估计实时性需求。实验结果表明,基于ICP的井下无人机实时位姿估计方法能够快速、有效地求解四旋翼无人机位姿,相比于正态分布变换方法,ICP方法更适用于煤矿井下四旋翼无人机的实时位姿估计。     

自动驾驶汽车虚拟测试中的树木点云生成方法

自动驾驶汽车虚拟测试已成为自动驾驶或车路协同测试评价的一个重要手段,三维激光雷达数据模拟生成是自动驾驶汽车虚拟测试中的重要任务之一,目前多采用基于飞行时间原理的几何模型方法生成激光雷达三维点云数据,该方法生成点云实时性较差。布告牌是虚拟场景中常采用的树木建模方法,由于布告牌仅由两个矩形面片即八个三角形面片组成,直接采用布告牌方法生成的三维点云数据难以反映树木的真实空间信息。针对上述问题,提出了一种基于布告牌空间变换的快速树木三维点云生成方法。以布告牌的纹理图像为依据,根据纹理透明度获取树木二维平面点云分布,经二维树木点云的轮廓提取,结合树木结构的先验知识进行旋转、随机偏移和尺度变换,以更少的三角形面片数和更小的计算代价获得树木的三维点云数据。提出了一种空间直方图三维点云相似度评价方法,将三维点云空间量化为若干个子空间,获得三维点云的投影空间直方图,采用巴氏系数计算投影空间直方图相似度,以投影空间直方图加权相似度作为点云相似度评价值。实验结果表明,基于布告牌空间变换方法和几何模型方法生成的云杉等三种树木的三维点云数据的平均相似度在90%以上,且该方法生成树木点云的时间仅是几何模型法的1%,因此布告牌空间变换树木三维点云生成方法快速且准确,可以满足自动驾驶汽车虚拟测试的性能要求。     

基于点云-模型匹配的激光雷达目标识别

为实现激光雷达自动目标识别,本文给出了一种基于点云模型匹配的方法。将点云进行三视投影,对投影点云进行二值化处理得到二值图像,采用Sobel算子和Hough变换提取点云轮廓边界及获得边界直线参数,然后以投影点云轮廓信息为约束提取包围矩形,完成目标姿态估计和几何特征提取。在此基础上以点云到CAD模型面元的欧氏距离最小为优化目标,采用单位四元数法计算点云与模型之间的刚体变换,通过迭代实现点云和候选目标CAD模型的匹配,并以归一化平均欧氏距离作为相似性度量完成目标识别。采用五种地面装甲目标在不同激光雷达视角下的点云进行目标识别实验,统计结果表明目标类别的正确识别率为100%,目标型号的正确识别率大于91%,因而本文方法具有较好的识别性能和较高的应用价值。     

基于多视角车辆轮廓深度图像的割线迭代接近角计算方法

针对车辆通过性指标中接近角的测量问题，提出一种基于深度相机获取车辆底盘轮廓点云的接近角计算方法。首先使用深度相机对目标车辆底盘轮廓进行多视角的点云采集，并通过迭代最近点算法进行点云拼接与模型重建，对轮廓点云的轮胎特征进行分割提取，最后采用本文提出的割线迭代方法对接近角进行计算。通过计算机仿真构建车辆轮廓点云，并对该点云进行拼接、分析计算。结果表明，本文提出的方法具有快速、准确的接近角计算效果。     

基于第二代Curvelet变换的点云曲面特征提取

针对点云特征提前取方法在多方向性分析方面的局限性,将Curvelet变换引入点云的分析,研究数据点云不同尺度曲面特征的提取方法。在数据点云分层、扩展预处理的基础上,以第二代离散Curvelet变换分析数据点云,采用软硬阈值折衷法,对表示数据点云边缘的Detail层、Fine层Curvelet变换系数进行处理,增强数据点云的边缘。对增强后的Curvelet变换系数进行Curvelet逆变换,重构数据点云,提取数据点云的边缘,获取曲面特征。实例表明,以Curvelet变换分析为基础的曲面特征提取方法,可以更加准确地提取数据点云的曲面特征。     

基于3D-SIFT与4PCS融合的大数据量点云快速配准方法

测量点云与模型点云的配准是视觉定位的关键。针对测量点云数据量大且与CAD模型点云重叠率低造成视觉定位精度差、算法效率低的问题,提出一种基于三维尺度不变特征变换（3D-SIFT）与4点快速鲁棒匹配算法（4PCS）融合的测量点云与模型点云配准方法。首先利用深度相机对零件进行点云提取并对提取到的测量点云进行降噪和滤波处理;接着利用3D-SIFT特征点提取算法对测量点云和CAD模型点云进行特征点提取;最后把提取的特征点作为4PCS算法的初始值进行2种点云数据的配准。与常用的4PCS算法、Super-4PCS算法相比,在算法仿真与实际应用实验结果表明,本文算法在保证配准精度的前提下将配准速度提高30%以上。     

基于深度学习的刚体点云配准变换参数预测

随着激光雷达、立体相机和结构光传感器等点云数据采集设备的发展,点云配准在计算机视觉和机器人技术领域引起了广泛关注.参数变换预测作为点云配准的关键步骤之一,寻找一个较好的预测方法可以有效地提高配准的精度.使用深度学习TensorFlow框架构建前馈神经网络,充分分析点云提取地全局特征,从全局特征中自适应学习变换参数,代替...     

改进曲波变换的在图像角点检测中的应用研究

角点是图像目标的重要局部特征,角点检测在目标跟踪、运动估计、相机定标等方面都有重要的应用.曲波变换基于多尺度几何分析的思想,以边缘为基本元素能够同时获得对图像平滑区域和边缘部分的稀疏表达,是一种更适合图像处理特点的多尺度变换.为降低曲波的数据冗余性,采用有限脊波变换对曲波进行改进,并在此基础上提出利用Mallat模极大值原理进行角点检测的算法,实验结果表明该方法即使在有噪声的情况下仍然具有较高的稳定性和鲁棒性.     

激光雷达点云数据的滤波算法述评

机载激光雷达是一种快速获取高精度三维地理数据的新技术,对它所获取的点云数据的滤波过程就是将LIDAR点云数据中的地面点和非地面点分离的过程。主要对数学形态学的滤波算法、基于坡度的滤波法、基于TIN的LIDAR点云过滤算法、基于伪扫描线的滤波算法、基于多分辨率方向预测的LIDAR点云滤波方法等几种较为重要且实用的激光雷达点云数据滤波算法进行介绍和讨论,评价对比了各自算法的优势和不足,初步探讨了每种算法缺陷及其改进方向。     

基于三维点云的卷积运算综述

随着深度相机、激光雷达等3D扫描设备的普及，用点云表示3D数据的方法越来越流行，对点云数据的分析与处理也引起了视觉研究领域的极大兴趣.一般来说，由于分布在3D几何空间中的点云是无序的，可以形成特定的结构，因此学习到的特征表示应该具备排列不变性、旋转和平移不变性、形状区分性.近年来，越来越多的研究人员基于点云的这些特性采用深度学习这一人工智能领域中的主流技术来处理分析点云数据.其中，卷积神经网络使用的卷积运算具备权重共享、局部聚合和变换不变等优点，减少了训练参数的个数，并具有较强的鲁棒性，可以有效地降低网络复杂度并提升网络性能，因此在各种2D视觉问题（如图像、视频）上的研究及应用已经相对成熟，这也引起了研究人员的高度关注并尝试将其引入到点云处理任务中.但传统的标准卷积运算往往无法直接作用于点云这种不规则数据上，一些研究人员进而对卷积运算及其卷积算子展开了深入的探索，并提出了多种卷积策略和网络以提高计算效率和算法性能.为了促进之后的研究，首先对现有点云研究中所使用的卷积方法进行了概述，包括基于投影的方法、基于体素的方法、基于晶格的方法、基于图的方法和基于点的方法.之后着重针对直接处理3D点...     

一种自动、快速的Kinect标定方法

针对目前Kinect传感器人工标定方法误差大、速度慢等问题,提出一种自动、快速的Kinect传感器外参标定方法。首先,根据彩色图像提取的角点,生成彩色图像的角点集合;其次,为了实现角点点云的自动提取,对点云图像进行深度分割,提取棋盘格点云,采用三维哈夫(Hough)变换检测方法将棋盘格点云投影到深度图像的模板平面上,在深度图像模板中提取深度图像中的角点;然后,将深度图像中的角点映射到棋盘格点云中,形成角点点云;最后,将角点点云与彩色图像的角点集合进行配准,得到角点的3D空间坐标,进而计算出深度相机到彩色相机的姿态变换矩阵。实验结果表明,本文提出的算法在保证相机标定精度的前提下,将相机参数的计算时间从平均218ms降低到166ms,实现了自动、快速的Kinect相机标定。     

基于双目立体视觉的复杂背景下的牛体点云获取

提出一种基于双目立体视觉的复杂背景下的牛体点云获取方法。在点云获取过程中,针对牛不是保持不动的实际情况,采用基于被动视觉技术的双目立体视觉方法;在相机标定过程中,进行单目标定获取相机内部参数,统一标定获取相机外部参数,针对牛体毛色及所处环境复杂的情况,采用基于贝叶斯的皮肤检测算法提取牛体图像,采用基于SIFT的特征点提取和匹配方法实现特征点的匹配,利用计算机视觉中的极线几何原理,剔除误匹配点,通过相机的成像模型求取牛体的三维点云。实验验证了该方法能够在复杂背景下获取牛体点云,并得到较好的点云数据,较好解决了双目立体视觉中相机标定和立体匹配两个较关键和困难的问题。     

基于单双目融合的遮挡区域点云获取技术研究

在基于相位轮廓术进行双目三维重建时,传统的双目测量系统在遮挡条件下无法获取双目相机公共视野以外的区域的点云数据,导致扫描结果出现测量空洞或者点云数量减少,从而不能通过立体视觉进行三维重建。对此,提出了一种基于双目点云重建单目点云的方法,系统无需增加其他操作过程,单次扫描就能同时获得双目点云和精度较高的左右单目点云。在对飞机模型的测量中,利用该方法填补了双目测量在机翼附近出现的数据丢失,提高了测量结果的完整性。     

基于结构光相机的钢筋骨架整体点云获取算法

为了获取钢筋骨架质量自动检查所需的高精度钢筋骨架整体点云,建立了基于结构光相机的钢筋骨架整体点云获取算法。首先,对结构光相机采集得到的多幅钢筋骨架图像进行三维重建,得到结构光相机的无量纲位姿。其次,根据无量纲位姿获取有量纲位姿。然后,计算这些有量纲位姿间精确的转换矩阵。接着,基于这些有量纲位姿及其两两之间的精确转换矩阵,使用图优化对这些有量纲位姿进行优化,以得到高精度的有量纲位姿。最后,基于高精度的有量纲位姿对齐结构光相机采集的所有点云,获取钢筋骨架整体点云。实验结果表明,该算法获取实际预制钢筋混凝土构件钢筋骨架整体点云的耗时约10 min,且点云的误差约为5 mm。钢筋骨架整体点云获取算法可以快速获取钢筋骨架整体点云,而且所得点云的精度较高,可以满足钢筋骨架质量自动检查的要求。     

阵列推扫式机载激光雷达三维点云解算方法研究

激光雷达（LiDAR）系统能够快速获取高精度数字地表模型,广泛应用于国土资源调查、地形测量、林业、灾害评估等方面。LiDAR系统采集的原始数据必须经过点云解算才能生成满足应用需求的三维点云,为此,在分析阵列推扫式机载激光雷达系统成像原理的基础上,详细推导了基于同平台POS数据的三维坐标解算模型,提出了面向该系统的激光雷达三维点云解算方法以实现三维点云的生成,利用飞行试验数据解算结果验证了此方法的有效性。该方法适用于同类型阵列推扫式机载激光雷达的点云解算。     

基于有向面积的角点分类算法

在3维场景重构、运动估计、机器视觉等领域,不仅希望能检测出图像中的角点,而且还希望获得角点附近更多的信息,即能对角点进行进一步分类。为了能对图像中检测出的角点进行分类,提出了一种基于有向面积的角点分类方法,该方法首先采用基于协方差矩阵特征向量的小波变换角点检测原理检测出图像边缘上的角点;然后根据角点两侧的边缘信息定义了6种类型的角点;最后通过计算角点附近边缘上顺序排列的3个有向面积,实现对角点的分类。实验表明,基于有向面积的角点分类,具有较高的准确性。     

结合全局与局部信息的点云目标识别模型库构建

目的 点云目标识别流程分为离线与在线阶段。离线阶段基于待识别目标的CAD模型构建一个模型库,在线基于近邻查找完成识别。本文针对离线阶段,提出一种新的模型库构建方法。方法 首先将CAD模型置于一个二十面体中心,使用多个虚拟相机获取CAD模型在不同视角下的点云;然后将每个不同视角下的点云进行主成分分析并基于主成分分析的结果从多个选定的方向将点云切分为多个子部分,这些子部分包含点云的全局及局部信息;接着对每个子部分使用聚类算法获取其最大聚类,去除离群点;最后结合多种方式删减一些冗余聚类,减小模型库规模。结果 在多个公开数据集上使用多种点云描述子进行对比实验,识别结果表明,相对于传统的模型库构建方法,基于本文方法进行识别正确率更高,在某些点云描述子上的识别正确率提升达到10%以上。结论 通过将CAD模型在不同视角下点云的全局与局部信息都加入模型库中,本文提出的模型库构建方法可有效提高点云目标识别正确率,改善了场景目标发生遮挡时,近邻查找识别精度不高的问题。     

平行点云: 虚实互动的点云生成与三维模型进化方法

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.