基于自适应聚合循环递归的稠密点云重建网络

为了解决弱纹理重建难、资源消耗大和重建时间长等问题,提出了一种基于自适应聚合循环递归卷积的多阶段稠密点云重建网络,即A2R2-MVSNet(adaptive aggregation recurrent recursive multi view stereo net).该方法首先引入一种基于多尺度循环递归残差的特征提取模块,聚合上下文语义信息,以解决弱纹理或无纹理区域特征提取难的问题.在代价体正则化部分,提出一种残差正则化模块,该模块在略微增加内存消耗的前提下,提高了 3D CNN提取和聚合上下文语意的能力.实验结果表明,提出的方法在 DTU数据集上的综合指标排名靠前,在重建细节上有着更好的体现,且在BlendedMVS数据集上生成了不错的深度图和点云结果,此外网络还在自采集的大规模高分辨率数据集上进行了泛化测试.归功于由粗到细的多阶段思想和我们提出的模块,网络在生成高准确性和完整性深度图的同时,还能进行高分辨率重建以适用于实际问题.     

基于三维点云的植物叶片重建及其面积估算

为提高植物叶片面积测量的准确度,本文提出了一种植物叶片三维重建补偿方法。该方法首先使用多角度拍摄植物叶片的方法来获取图像;其次,通过运动恢复结构算法(SFM)、聚类多视角立体算法(CMVS)和基于面片的多视角立体算法(PMVS)处理图像并生成三维点云;然后,对点云进行去噪、分割、填补、三角网格化处理;最后,对叶片面积进行估测。实验结果表明,本文方法测量叶片面积的准确度与扫描法接近,并且能解决由于叶片重叠产生的叶面积测量不准确的问题。     

基于摆动单线激光雷达的大场景稠密点云地图创建系统

在创建大场景稠密点云地图时,由于当前的各类环境3维测量系统难以兼顾大范围和高密度的点云测量要求,为此设计了一种基于摆动单线激光雷达的大场景稠密点云地图创建系统.首先,实现了大型激光雷达稳定精确的全向摆动.然后,给出了单点采集点云的拼接方法和多点采集点云的配准方法.最后,提出了一种3维点云投影密度的分析方法,并对仿真测量结果进行了对比与评价.实验结果表明,本系统的有效测量距离超过75 m、测量范围覆盖俯仰±45?、点云间距小于20 cm、点云分布均匀,装置的视野范围和点云分布可进行调节,并能通过多点配准对更大场景进行建图.     

基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer fe...     

点云的形状与曲线重建算法

针对平面无序带噪点云的曲线重建问题,给出了点云形状的定义并提出了构造点云形状的算法.该算法基于Delaunay三角剖分,在构造好点云的Delaunay三角剖分后对三角剖分进行细化,使得在点云中的点周围形成空间上的局部均匀采样;基于集合论中的基本概念定义点云中内点、外点和边界点,并且明确地定义了点云的形状,根据Delaunay三角剖分细化时,选择不同的参数得到不同层次的点云的形状;选择合适的参数得到相应形状后,通过薄化过程得到具有流形结构的曲线.实验结果表明,采用文中算法得到的重建曲线很好地反映了点云的形状,验证了该算法的有效性.     

基于点云面的区域性三维重建及点云拼接*

目前基于点云面的三维重建方法中,重建的区域性选择存在着两个问题：重建区域过大会导致目标物体不明确,效果不佳,运行时间长;重建区域过小会导致目标物体不完整,信息丢失。针对重建窗口过大时,本文采用改进的snake的区域性重建算法,即通过轮廓提取只对窗口内的目标物进行重建;针对重建窗口过小时,本文采用基于投影面的点云拼接算法,即通过重建后的点云进行拼接的方法使目标物体恢复完整。以上两点改进弥补了点云三维重建及拼接时出现的应用局限性和不稳定性,减少重建时间,提高重建有效性,鲁棒性。     

基于形状特征的点云简化技术研究

为了提高实体反求的效率,提出一种点云简化方法。该方法通过建立点云的栅格化拓扑关系,有效地收集每个测量点的邻域点,并在邻域内建立局部坐标系。同时,拟合局部抛物面估算各个测量点的曲率值,并根据曲率变化收集形状特征点。最后,依据邻域内形状特征点的分布状况,对点云实施简化。该简化方法充分地保留了原始点云的形状特征,同时删除了大量的冗余点,具有一定的先进性,为反求工程的曲面重构提供了良好的基础。     

基于智能手机立体影像的稠密三维重建

针对传统立体影像三维重建过程中面临的重建点云数目稀疏、视觉效果不稳定等问题,提出一种基于智能手机立体影像的稠密三维重建方法.该方法在传统影像三维重建的基础上引入密集匹配步骤,通过对手机设备进行相机标定、影像校正,对立体影像进行初始同名点的获取,并使用RANSAC方法剔除错误匹配点,得到高精度同名点作为匹配基元,进而密集...     

三维重建中散乱点云的聚类筛选与网格重建

三维重建过程中获得的初始海量数据存在大量的噪声和孤立点,使得直接使用这些数据进行网格重建时,将会产生尖锐的凸出,导致重建效果不好,甚至是网格重建失败.针对以上问题,提出首先采用基于密度聚类的方法筛选三维点云,然后进行网格重建.实验表明本文算法获得了较好的网格重建效果.     

基于点云几何与形状特征的曲面重构算法

提出一种新的利用点云进行曲面重构的算法,该算法基于点云的几何与形状特征,根据点云的几何分布进行分类和按照点的局部形状特征进行分类,对每类点进行局部网格重构,并进行后续处理以修补拓扑和几何错误。实验结果表明,该算法强健有效,能生成高质量的网格,并能较好地保持模型的几何与形状特征。     

Multi-View Stereo Reconstruction of Dense Shape and Complex Appearance

We address the problem of estimating the three-dimensional shape and complex appearance of a scene from a calibrated set of views under fixed illumination. Our approach relies on a rank condition that must be satisfied when the scene exhibits specular + diffuse reflectance characteristics. This constraint is used to define a cost functional for the discrepancy between the measured images and those generated by the estimate of the scene, rather than attempting to match image-to-image directly. Minimizing such a functional yields the optimal estimate of the shape of the scene, represented by a dense surface, as well as its radiance, represented by four functions defined on such a surface. These can be used to generate novel views that capture the non-Lambertian appearance of the scene.This research was performed while Hailin Jin was with Computer Science Department, University of California at Los Angeles.     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题.点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全.该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预...     

多特征三维稠密重建方法

基于图像的立体重建技术直接通过多幅二维图像获取物体的三维数据模型,建模自动化程度高,且不需要任何先验信息和特殊硬件支持。但对于具有精致雕刻的中国古式建筑以及非平行拍摄的大型室外场景,现有的基于图像的三维重建技术重建模型往往存在细节信息丢失、数据散乱现象,使得重建结果不够精确。针对这一问题,综合考虑模型的光照信息、纹理阴影、凹凸感等多种特征,通过给出特征候选点匹配策略及对初始点云的可靠性排序,提出了一种多特征三维稠密重建算法MFPMVS（patch with multiple features based multi-view stereopsis）。实验表明,MFPMVS算法与经典的PMVS（patch based multi-view stereopsis）算法相比,重建得到的三维点云更加密集;凹凸感较强的模型重建细节更为细腻;仰拍得到的模型重建结果中漏洞明显减少,边缘细节信息更加完整。算法能够更稳定、鲁棒地重建出物体的三维模型,具有很高的实用价值。     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

Improving Point Cloud Accuracy Obtained from a Moving Platform for Consistent Pile Attack Pose Estimation

We present a perception system for enabling automated loading with waist-articulated wheel loaders. To enable autonomous loading of piled materials, using either above-ground wheel loaders or underground load-haul-dump vehicles, 3D data of the pile shape is needed. However, using common 3D scanners, the scan data is distorted while the wheel loader is moving towards the pile. Existing methods that make use of 3D scan data (for autonomous loading as well as tasks such as mapping, localisation, and object detection) typically assume that each 3D scan is accurate. For autonomous robots moving over rough terrain, it is often the case that the vehicle moves a substantial amount during the acquisition of one 3D scan, in which case the scan data will be distorted. We present a study of auto-loading methods, and how to locate piles in real-world scenarios with nontrivial ground geometry. We have compared how consistently each method performs for live scans acquired in motion, and also how the methods perform with different view points and scan configurations. The system described in this paper uses a novel method for improving the quality of distorted 3D scans made from a vehicle moving over uneven terrain. The proposed method for improving scan quality is capable of increasing the accuracy of point clouds without assuming any specific features of the environment (such as planar walls), without resorting to a “stop-scan-go” approach, and without relying on specialised and expensive hardware. Each new 3D scan is registered to the preceding using the normal-distributions transform (NDT). After each registration, a mini-loop closure is performed with a local, per-scan, graph-based SLAM method. To verify the impact of the quality improvement, we present data that shows how auto-loading methods benefit from the corrected scans. The presented methods are validated on data from an autonomous wheel loader, as well as with simulated data. The proposed scan-correction method increases the accuracy of both the vehicle trajectory and the point cloud. We also show that it increases the reliability of pile-shape measures used to plan an efficient attack pose when performing autonomous loading.     

Zero-Shot Learning on 3D Point Cloud Objects and Beyond

International Journal of Computer Vision - Zero-shot learning, the task of learning to recognize new classes not seen during training, has received considerable attention in the case of 2D image...     

基于深度学习的点云分割方法综述

点云分割是点云数据理解中的一个关键技术,但传统算法无法进行实时语义分割。近年来深度学习被应用在点云分割上并取得了重要进展。综述了近四年来基于深度学习的点云分割的最新工作,按基本思想分为基于视图和投影的方法、基于体素的方法、无序点云的方法、有序点云的方法以及无监督学习的方法,并简要评述;最后分析各类方法优劣并展望未来研究趋势。     

Noise‐Adaptive Shape Reconstruction from Raw Point Sets

We propose a noise‐adaptive shape reconstruction method specialized to smooth, closed shapes. Our algorithm takes as input a defect‐laden point set with variable noise and outliers, and comprises three main steps. First, we compute a novel noise‐adaptive distance function to the inferred shape, which relies on the assumption that the inferred shape is a smooth submanifold of known dimension. Second, we estimate the sign and confidence of the function at a set of seed points, through minimizing a quadratic energy expressed on the edges of a uniform random graph. Third, we compute a signed implicit function through a random walker approach with soft constraints chosen as the most confident seed points computed in previous step.