三维激光扫描点云数据的空间压缩

三维激光扫描获得的点云数据,其数据量比较大。采用点云数据建立物体模型,存在模型分辨率的问题。模型的多分辨率表示是指对于同一模型,存在着由简到繁、由粗到精的集中表示。本文分析激光扫描数据的特点,基于其线扫描的特点,提出了扫描线斜率变化为准则实施数据压缩,其次对于密集数据又给出格网数据压缩方法。最后通过实例给出了压缩结果,并对压缩率和压缩效果作了比较分析。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

一种基于球面调和分析的三维模型检索算法

提取关于坐标旋转不变的特征描述符以及提高特征描述符对噪声的鲁棒性是基于内容三维模型检索技术中有待进一步研究解决的问题之一。将三维模型表面离散成三维点数据,然后使用球面调和方法对得到的点数据进行调和分析得到三维模型旋转不变的特征向量,并且能够增加算法对模型表面噪声的鲁棒性提高检索准确度。实验证明该算法在检索准确度和对噪声的鲁棒性上都有所提高。     

基于相对角分布聚类和支持向量机的3维人脸特征点匹配技术的研究

人脸特征点自动定位及对应点匹配是计算机视觉和模式识别领域一个非常热门的研究方向,应用领域包括图像配准、对象识别与跟踪、3维重建、立体匹配等。通过相对角直方图分布和K均值聚类确定脸部特征点的聚类点集,再利用几何信息提取聚类点集的特征,进而采用支持向量机分类最终从点集中分离出39个脸部特征点。实验结果表明,此混合提取方法比单纯使用RAC得到了更好的匹配准确率,在给定的距离阈值范围内,50%的特征点定位准确率达到了100%。     

一种适用于室内服务机器人的实时物体识别系统

针对室内服务机器人在实际应用中的需求,提出一种结合三维点云分割和局部特征匹配的实时物体识别系统．该系统首先基于三维点云实现快速有效的物体检测,然后利用物体检测的结果定位物体在彩色图像中的区域,并采用基于SURF特征匹配的方法识别出物体的标识．实验结果表明,该系统可较好地满足室内服务机器人物体检测与识别的实时性和可靠性要求．     

基于点云数据的复杂建筑体真三维建模与应用

传统建筑物三维建模方法费时费力、精度低、采用接触式测量,且仅能获得建筑物少量特征点及线状数据。与传统测量方法相比,地面三维激光扫描技术(Terrestrial Laser Scanner,TLS)方法可快速、高效、非接触式地获取建筑物表面高精度三维信息,因此其较传统建筑物三维建模方法优势显著。以古田会议旧址为研究对象,首先介绍了研究目标的主要特征以及点云数据采集方案;其次以高复杂度建筑物建模为需求出发,详细阐述了点云数据预处理及建筑物三维模型重建相关核心技术及方法;并重点讨论了与其相关的点云数据配准拼接、去噪简化、二维轮廓线提取、三维实体重建;最后实现古田会议旧址高复杂度三维几何模型重现,并采用先进的3D打印技术按1∶40比例尺制作3D打印点云数据的微缩模型。通过与实地测量数据对比分析得知,采用地面三维激光测量方法采集点云数据的建筑物建模精度优于传统测量方法。此研究成果可应用于古田会议旧址等文化遗产的文物修复、变形监测、虚拟重现等方面。     

基于图像线特征和点云面特征的水下人造目标定位

目的 针对水下人造目标的位姿参数估计问题,提出一种基于图像线特征与点云面特征的目标定位算法。方法 基于对人造物体成像后的边缘特征及其本身曲面特征的认知,将目标描述成为一种线特征与面特征的组合。首先依据指定线型对目标图像边缘进行线特征检测,初步定位目标在图像中的位置;然后采用RANSAC(random sample consensus)算法对投影到目标区域内的点云进行曲面特征检测,得到目标参数的近似值并从视场点云中提取目标点云;最后以超二次曲面作为目标的部件化模型,以检测到的目标参数为初值,建立3维目标尺寸和位姿估计的非线性目标函数,将该目标函数的优化结果作为3维目标的定位结果。结果 通过水下实验对算法的有效性进行验证,定位后的目标旋转轴角度偏差不超过2°,相对位置偏差不超过1%,单目标定位耗时不超过5 s。结论 实验结果表明,该算法的定位精度和耗时均能满足应用需要,可有效定位未知尺寸的人造目标,且对水下复杂环境有较强的适应性。     

学习点云邻域信息的三维物体形状补全

在现实世界中,点云数据的采集方式有激光雷达、双目相机和深度相机,但是在机器人采集过程中由于设备分辨率、周围环境等因素的影响,收集到的点云数据通常是非完整的。为了解决物体形状缺失的问题,提出了一种使用局部邻域信息的三维物体形状自动补全的网络架构。该架构包括点云特征提取网络模块和点云生成网络模块,输入为缺失的点云形状,输出为缺失部分的点云形状,将输入与输出点云形状进行合并完成物体的形状补全。采用倒角距离和测地距离进行评估,实验结果表明,在ShapeNet数据集上,平均倒角距离和平均测地距离均小于多层感知机特征提取网络与PCN网络的值,两值分别为0.000 84和0.028。对于现实中扫描的点云数据进行补全处理也达到了预期效果,说明该网络有较强的泛化性,可以修复不同类别的物体。     

大规模点云选择及精简

点云选择与精简是三维扫描系统中应对背景数据、冗余采样、分布不均匀 等问题的必要后处理步骤。针对定制低成本三维扫描系统的需求,传统方法仍有很多局限性。 这是由于研究领域未提供支持套索UI 接口的点云选择算法;传统点云精简方法侧重曲率自 适应分布,无法保证平坦区域的均衡分布。论文提出一种支持套索UI 接口的点云选择算法, 通过构建套索形状矩形覆盖与点云八叉树剔除大部分点在多边形内的判断;提出一种基于 Poisson-disk 采样的均衡分布的点云精简算法,并以采样点邻域球布尔交运算来定义曲面上 的圆盘半径度量,具有保持尖锐边特征及边界的性质。实验结果表明,论文方法能够较好满 足低成本三维扫描系统中点云删减处理的需求。     

3D Object Detection with Attention: Shell-Based Modeling

LIDAR point cloud-based 3D object detection aims to sense the surrounding environment by anchoring objects with the Bounding Box (BBox). However, under the three-dimensional space of autonomous driving scenes, the previous object detection methods, due to the pre-processing of the original LIDAR point cloud into voxels or pillars, lose the coordinate information of the original point cloud, slow detection speed, and gain inaccurate bounding box positioning. To address the issues above, this study proposes a new two-stage network structure to extract point cloud features directly by PointNet++, which effectively preserves the original point cloud coordinate information. To improve the detection accuracy, a shell-based modeling method is proposed. It roughly determines which spherical shell the coordinates belong to. Then, the results are refined to ground truth, thereby narrowing the localization range and improving the detection accuracy. To improve the recall of 3D object detection with bounding boxes, this paper designs a self-attention module for 3D object detection with a skip connection structure. Some of these features are highlighted by weighting them on the feature dimensions. After training, it makes the feature weights that are favorable for object detection get larger. Thus, the extracted features are more adapted to the object detection task. Extensive comparison experiments and ablation experiments conducted on the KITTI dataset verify the effectiveness of our proposed method in improving recall and precision.     

Ground object recognition and segmentation from aerial image‐based 3D point cloud

Several attempts have been made to grasp three‐dimensional (3D) ground shape from a 3D point cloud generated by aerial vehicles, which help fast situation recognition. However, identifying such objects on the ground from a 3D point cloud, which consists of 3D coordinates and color information, is not straightforward due to the gap between the low‐level point information (coordinates and colors) and high‐level context information (objects). In this paper, we propose a ground object recognition and segmentation method from a geo‐referenced point cloud. Basically, we rely on some existing tools to generate such a point cloud from aerial images, and our method tries to give semantics to each set of clustered points. In our method, firstly, such points that correspond to the ground surface are removed using the elevation data from the Geographical Survey Institute. Next, we apply an interpoint distance‐based clustering and color‐based clustering. Then, such clusters that share some regions are merged to correctly identify a cluster that corresponds to a single object. We have evaluated our method in several experiments in real fields. We have confirmed that our method can remove the ground surface within 20 cm error and can recognize most of the objects.     

几何特征保持的文物点云去噪算法

三维激光扫描是一种快速获取高精度点云的新技术,但由于受物体本身的构造、粗糙程度、纹理以及测量环境等因素的影响,获取的点云数据大多存在孤立的噪声点。针对文物点云数据模型中复杂噪声难以去除的问题,提出一种几何特征保持的点云去噪算法。首先通过栅格划分删除点云中的大尺度噪声;然后定义点云中数据点的曲率因子和密度因子,并通过对其加权构造模糊C均值聚类（Fuzzy C-means clustering, FCM）的目标函数;最后采用该特征加权FCM算法删除小尺度噪声,从而实现点云的去噪处理。实验结果表明,该几何特征保持的去噪算法对文物点云数据具有良好的去噪效果,是一种有效的点云去噪算法。     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

Multi-class US traffic signs 3D recognition and localization via image-based point cloud model using color candidate extraction and texture-based recognition

Continuous condition monitoring and inspection of traffic signs are essential to ensure that safety and performance criteria are met. The use of 3D point cloud modeling by the construction industry has been significantly increased in recent years especially for recording the as-is conditions of facilities. The high-precision and dense 3D point clouds generated by photogrammetry can facilitate the process of asset condition assessment. This paper presents an automated computer-vision based method that detects, classifies, and localizes traffic signs via street-level image-based 3D point cloud models. The proposed pipeline integrates 3D object detection algorithm. An improved Structure-from-Motion (SfM) procedure is developed to create a 3D point cloud of roadway assets from the street level imagery. In order to assist with accurate 3D recognition and localization by color and texture features extraction, an automated process of point cloud cleaning and noise removal is proposed. Using camera pose information from SfM, the points within the bounding box of detected traffic signs are then projected into the cleaned point cloud by using the triangulation method (linear and non-linear) and the 3D points corresponding to the traffic sign in question are labeled and visualized in 3D. The proposed framework is validated using real-life data, which represent the most common types of traffic signs. The robustness of the proposed pipeline is evaluated by analyzing the accuracy in detection of traffic signs as well as the accuracy in localization in 3D point cloud model. The results promise to better and more accurate visualize the location of the traffic signs with respect to other roadway assets in 3D environment.     

基于双判定因子的道路绿化带分割

以高速公路的无人机影像点云数据为研究对象, 提出一种基于双判定因子的道路绿化带分割算法. 首先对点云数据进行串行下采样, 在降低点云数目的同时尽可能多地保留点云特征点; 其次, 对降采样后的点云数据进行正射影校正; 最后, 提出一种结合法向量夹角与 RANSAC 平面分割双判定的点云分割算法, 实现了对高速公路中绿化带的准确分割, 采用绿化带边界提取算法最终实现高速公路环境信息的分割. 以G85高速凤翔段的无人机影像点云作为实验数据, 分别采用本文算法、基于法向量夹角的分割算法、基于RANSAC平面拟合分割算法进行验证. 实验结果表明基于双判定因子的道路绿化带分割算法对环境噪点及离群点有较好的抗干扰性, 可以有效过滤路面高曲率点, 提取结果较好.     

点云算法在医学领域的研究进展

点云作为一种重要的3维数据,能够直观地模拟生物器官、组织等的3维结构,基于医学点云数据的分类、分割、配准、目标检测等任务可以辅助医生进行更为准确的诊断和治疗,在临床医学以及个性化医疗器械辅助设计与3D打印有着重要的应用价值。随着深度学习的发展,越来越多的点云算法逐步由传统算法扩展到深度学习算法中。本文对点云算法在医学领域的研究及其应用进行综述,旨在总结目前用于医学领域的点云方法,包括医学点云的特点、获取途径以及数据转换方法;医学点云分割中的传统算法和深度学习算法;以及医学点云的配准任务定义、意义,以及基于有/无特征的配准方法。总结了医学点云在临床应用中仍存在的限制和挑战：1）医学图像重建的人体器官点云分布稀疏且包含噪音、误差;2）医学点云数据集标注困难、制作成本高,可用于训练深度学习模型的公开数据集非常稀少;3）前沿的点云处理算法大都基于自然场景点云数据集训练,这些算法在医学点云处理中的鲁棒性和泛化能力还有待验证。随着医学点云数据集质量和数量的提升,医学点云处理算法的研究将会吸引更多的研究者。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在 ModelNet40 和 ShapeNet Part 数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

面向RGBD深度数据的快速点云配准方法

目的 真实物体的3维重建一直是计算机图形学、机器视觉等领域的研究热点。针对基于RGBD数据的非匀速非固定角度旋转物体的3维重建问题,提出一种利用旋转平台重建物体3维模型的配准方法。方法 首先通过Kinect采集位于旋转平台上目标物的深度数据和颜色数据,对齐融合并使用包围盒算法去除背景噪声和不需要的外部点云,获得带有颜色信息的点云数据。并使用基于标定物不同角度上的点云数据标定出旋转平台中心轴的位置,从而获得Kinect与旋转平台之间的相对关系;然后通过曲率特征对目标点云进行特征点提取并寻找与相邻点云的对应点;其中对于特征点的选取,首先针对点云中的任意一点利用kd-tree搜寻其k个邻近点,对这些点进行曲面拟合,进而计算其高斯曲率,将高斯曲率绝对值较大的n个点作为点云的特征点。n的取值由点云的点个数、点密度和复杂度决定,具体表现为能反映物体的大致轮廓或表面特征信息即可。对于对应点的选取,考虑到欧氏距离并不能较好反映点云中的点对在旋转过程中的对应关系,在实际配准中,往往会因为点云重叠或距离过远等原因找到大量错误的对应点。由于目标物在扫描过程中仅绕旋转轴进行旋转,因此采用圆弧最小距离寻找对应点可有效减少错误点对。随后,使用二分迭代寻找绕中心轴的最优旋转角度以满足点云间的匹配误差最小;最后,将任意角度获取的点云数据配准到统一的坐标系下并重建模型。结果 使用斯坦福大学点云数据库和自采集数据库分别对该方法和已有方法在算法效率和配准结果上进行对比实验,实验结果显示在拥有平均75 000个采样点的斯坦福大学点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少86.5%、57.5%,算法运行时间分别平均减少87%、60.75%,欧氏距离误差平方和分别平均减少70%、22%;在具有平均57000个采样点的自采集点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少94%、75%,算法运行时间分别平均减少92%、69%,欧氏距离误差平方和分别平均减少61.5%、30.6%;实验结果显示使用该方法进行点云配准效率较高且配准误差更小;和KinectFusion算法相比在纹理细节保留上也表现出较好的效果。结论 本文提出的基于旋转平台标定的点云配准算法,利用二分迭代算法能够有效降低算法复杂度。与典型ICP和改进的ICP算法的对比实验也表明了本文算法的有效性。另外,与其他方法在具有纹理的点云配准对比实验中也验证了本文配准方法的优越性。该方法仅采用单个Kinect即可实现对非匀速非固定角度旋转物体的3维建模,方便实用,适用于简单快速的3维重建应用场合。     

基于双目的三维点云数据的获取与预处理

在计算机辅助几何设计、医学诊断、物体识别与定位等领域的应用需求下,三维点云数据的获取与处理技术受到越来越多的关注。现在有多种不同的方式可以获取现实世界中物体的三维点云数据,并对数据进行相应处理。为了能够很好地对三维数据点云进行前期的预处理,首先通过双目摄像机获取物体的三维点云,并采用八叉树法对点云数据进行相应的预处理,然后在逆向工程软件中描述出来,从逆向工程软件中可以看出得到的物体与实际物体比较接近,从而可以证明所获取的点云数据可以用来描述物体,并且点云数据的处理技术是可行的。