面向点云三维重建的空间感知对抗神经网络

为了解决由原始点云数据局部密度稀疏、不均匀或者法向量错误等制约因素引起的重建网格质量问题,利用对抗神经网络中权重共享的特性和对抗的训练过程,提出一种基于对抗网络的点云三维重建方法。首先,利用预测器对网格模型边的偏移量进行预测,从而得到每一个顶点的位移,并进行拓扑保持的顶点重定向,得到新的网格模型。然后,利用判别器中的点云分类器,提取原始点云数据和网格模型表面采样点集的高维特征,并基于高维特征进行空间感知的判别,用于区分原始点云与采样点集数据。最后,使用对抗的训练方式将预测器与判别器的输出数据关联起来,通过多次迭代优化网络模型,从而得到满足点云空间特征的三维网格模型。在不同的点云数据集上进行实验,并使用MeshLab软件进行效果展示,结果表明,该方法能够重建出满足点云空间信息的三维网格模型,同时能够解决粗劣的点云数据引起的网格质量问题。     

结合稀疏八叉树卷积神经网络的牙齿预备体颈缘线提取方法

针对传统手工提取牙齿预备体颈缘线需要交互标记特征点,操作复杂,效率低的问题,提出了一种基于稀疏八叉树的卷积神经网络自动提取牙齿预备体颈缘线的方法.首先利用稀疏八叉树的空间划分,牙齿预备体模型被预处理为带有标签信息的稀疏点云,构建牙齿预备体数据集;其次利用已训练的卷积神经网络模型将牙齿预备体点云分割为2部分;然后采用密集条件随机场优化分割点云的边界,再将边界点拟合及插值获取新的边界点集;最后连接边界点在预备体模型上对应的投影点形成牙齿预备体颈缘线.在牙齿预备体数据集上的实验结果表明,卷积神经网络模型的预测准确率达到97.23%,通过对该方法提取的预备体颈缘线与专业医生提取的颈缘线之间的曲线偏差进行对比分析,验证了该方法的有效性.     

基于三维激光雷达的道路边界提取和障碍物检测算法

为了快速有效地提取智能车辆在不同环境下的道路环境信息,提出基于三维激光雷达的道路边界提取和障碍物检测算法.首先,对三维激光雷达点云数据进行栅格化滤波处理,利用单束激光点云空间邻域联合分割的方法进行空间分析,得到点云平滑度特征图像.然后,采用自适应方向搜索算法获取道路边界候选点,并进行聚类分析和曲线拟合.最后,对道路边界约束下可通行区域内点云进行聚类分割,获得道路内障碍物方位和距离信息.实验表明,文中算法能够实时准确地提取道路边界和障碍物位置信息,满足智能车环境建模和路径规划的需求.     

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学、数字几何处理、3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据"类别-实例"分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.     

基于八叉树空间分割的NURBS曲面重构方法

对三维模型和点云曲面重构方法进行深入研究,根据应用特点提出八叉树空间分割和N U RBS曲面重构方法。利用八叉树的快速收敛特性对三维实体的点云数据进行分割、精简,采用N U RBS方法对局部网格曲面进行重构;采用八叉树和四叉树相混合的数据结构,渐进地进行网格曲面的重构。存储结构采用扩展式八叉树结构,编码采用8进制前缀编码方法。利用O penG L设计一个实验模型系统验证了该算法的可行性和有效性。     

可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。     

基于八叉树空间分割的三维点云模型密写

针对三维点云模型的信息隐藏,提出一种基于八叉树空间分割的空域密写算法。对经过主成分分析后的三维点云模型建立包围盒,利用八叉树空间分割得到小体元并记录分割过程,通过顶点位移将信息嵌入到小体元内的不同空间位置。实验结果表明,该算法在提取信息时不需要原始模型数据,具有嵌入量高、失真度低的特点,能够抵抗旋转、平移、均匀缩放和顶点重排序攻击,适合于任意网格的三维模型信息隐藏。     

基于多特征融合的三维形状分割方法

三维形状分割是三维形状分析中的一个重要问题.针对单一特征对同一类模型分割结果存在较大差异的问题,提出一种基于学习的多特征融合的三维形状分割方法.首先利用过分割方法将三维模型分割成多个子面片,分别对每个子面片提取多种几何特征;然后将几何特征作为低层特征输入深度神经网络模型,通过学习生成高层特征;最后基于该高层特征用高斯混合模型的方法得到聚类中心,利用图割得到最后分割结果.在普林斯顿标准数据集和COSEG数据集上的实验结果表明,与传统分割方法相比,该方法具有较好的一致性分割结果.     

基于点云数据的三维目标识别和模型分割方法

三维模型的深度特征表示是三维目标识别和三维模型语义分割的关键和前提,在 机器人、自动驾驶、虚拟现实、遥感测绘等领域有着广泛的应用前景。然而传统的卷积神经网 络需要以规则化的数据作为输入,对于点云数据需要转换为视图或体素网格来处理,过程复杂 且损失了三维模型的几何结构信息。借助已有的可以直接处理点云数据的深度网络,针对产生 的特征缺少局部拓扑信息问题进行改进,提出一种利用双对称函数和空间转换网络获得更鲁棒、 鉴别力更强的特征。实验表明,通过端到端的方式很好地解决缺少局部信息问题,在三维目标 识别、三维场景语义分割任务上取得了更好的实验效果,并且相比于 PointNet++在相同精度的 情况下训练时间减少了 20%。     

点云数据重构三维网格形状的新算法

在分析现有重构方法局限性的基础上,提出了一种基于神经网络的点云数据重构三维网格形状的新算法。首先对点云数据平滑处理;然后进行特征线提取,并以特征线为基础对曲面进行分割。该方法能直接从神经网络的权值矩阵得到曲线的控制顶点/曲面的控制网格,通过神经网络的权值约束实现曲线段/曲面片之间的光滑拼接。能显著提高逼近网格的品质,从而实现了点云数据的精确曲面重构,实际的算例结果表明该方法实用可靠。     

利用隐式解码器的三维模型簇协同分割

目的 为建立3维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器（implicit decoder,IM-decoder）的无监督3维模型簇协同分割网络。方法 首先对3维点云模型进行体素化操作,进而由CNN-encoder （convolutional neural network encoder）提取体素化点云模型的特征,并将模型信息映射至特征空间。然后使用注意力模块聚合3维模型相邻点特征,将聚合特征与3维点坐标作为IM-decoder的输入来增强模型的空间感知能力,并输出采样点相对于模型部件的内外状态。最后使用max pooling聚合解码器生成的隐式场,以得到模型的协同分割结果。结果 实验结果表明,本文算法在ShapeNet Part数据集上的mIoU （mean intersection-over-union）为62.1%,与目前已知的两类无监督3维点云模型分割方法相比,分别提高了22.5%和18.9%,分割性能得到了极大提升。与两种有监督方法相比,分别降低了19.3%和20.2%,但其在部件数较少的模型上可获得更优的分割效果。相比于使用交叉熵函数作为重构损失函数,本文使用均方差函数可获得更高的分割准确率,mIoU提高了26.3%。结论 与当前主流的无监督分割算法相比,本文利用隐式解码器进行3维模型簇协同分割的无监督方法分割准确率更高。     

自监督深度残差函数映射网络的3维模型对应关系计算

目的 针对传统非刚性3维模型的对应关系计算方法需要模型间真实对应关系监督的缺点,提出一种自监督深度残差函数映射网络（self-supervised deep residual functional maps network,SSDRFMN）。方法 首先将局部坐标系与直方图结合以计算3维模型的特征描述符,即方向直方图签名（signature of histograms of orientations,SHOT）描述符;其次将源模型与目标模型的SHOT描述符输入SSDRFMN,利用深度函数映射（deep functional maps,DFM）层计算两个模型间的函数映射矩阵,并通过模糊对应层将函数映射关系转换为点到点的对应关系;最后利用自监督损失函数计算模型间的测地距离误差,对计算出的对应关系进行评估。结果 实验结果表明,在MPI-FAUST数据集上,本文算法相比于有监督的深度函数映射（supervised deep functional maps,SDFM）算法,人体模型对应关系的测地误差减小了1.45;相比于频谱上采样（spectral upsampling,SU）算法减小了1.67。在TOSCA数据集上,本文算法相比于SDFM算法,狗、猫和狼等模型的对应关系的测地误差分别减小了3.13、0.98和1.89;相比于SU算法分别减小了2.81、2.22和1.11,并有效克服了已有深度函数映射方法需要模型间的真实对应关系来监督的缺点,使得该方法可以适用于不同的数据集,可扩展性大幅增强。结论 本文通过自监督深度残差函数映射网络训练模型的方向直方图签名描述符,提升了模型对应关系的准确率。本文方法可以适应于不同的数据集,相比传统方法,普适性较好。     

基于权重能量自适应分布的三维形状分割算法

针对三维形状分割问题,提出一种引入权重能量自适应分布参与深度神经网络训练的全监督分割算法.首先对三维形状表面进行过分割得到若干小块,提取每一个小块的特征描述符向量作为神经网络的输入,计算权重能量自适应分布,将经过加权后的分割标签作为神经网络的输出,训练深度神经网络.对于新的未分割的三维模型,提取模型表面三角面片的特征向量后输入到神经网络中进行预测分割后,对预测分割的边缘进行修整得到分割结果,实现三维模型的自动分割.在普林斯顿三维模型分割数据集上的实验结果表明,算法通过在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差,提高神经网络预测结果的准确率;与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点.     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

PointSkelCNN: Deep Learning-Based 3D Human Skeleton Extraction from Point Clouds

A 3D human skeleton plays important roles in human shape reconstruction and human animation. Remarkable advances have been achieved recently in 3D human skeleton estimation from color and depth images via a powerful deep convolutional neural network. However, applying deep learning frameworks to 3D human skeleton extraction from point clouds remains challenging because of the sparsity of point clouds and the high nonlinearity of human skeleton regression. In this study, we develop a deep learning-based approach for 3D human skeleton extraction from point clouds. We convert 3D human skeleton extraction into offset vector regression and human body segmentation via deep learning-based point cloud contraction. Furthermore, a disambiguation strategy is adopted to improve the robustness of joint points regression. Experiments on the public human pose dataset UBC3V and the human point cloud skeleton dataset 3DHumanSkeleton compiled by the authors show that the proposed approach outperforms the state-of-the-art methods.     

CrackEmbed: Point feature embedding for crack segmentation from disaster site point clouds with anomaly detection

Laser-scanned point clouds can be used to represent the 3D as-damaged condition of building structures in a post-disaster scenario. Performing crack detection from the acquired point clouds is a critical component of disaster relief tasks such as structural damage assessment and risk assessment. Crack detection methods based on intensity or normals commonly result in noisy detections. On the other hand, deep learning methods can achieve higher accuracy but require a large dataset of annotated cracks. This research proposes an unsupervised learning framework based on anomaly detection to segment out cracked regions from disaster site point clouds. First, building components of interest are extracted from the point cloud scene using region growing segmentation. Next, a point-based deep neural network is used to extract discriminative point features using the geometry of the local point neighborhood. The neural network embedding, CrackEmbed, is trained using the triplet loss function on the S3DIS dataset. Then, an anomaly detection algorithm is used to separate out the points belonging to cracked regions based on the distribution of these point features. The proposed method was evaluated on laser-scanned point clouds from the 2015 Nepal earthquake as well as a disaster response training facility in the U.S. Evaluation results based on the point-level precision and recall metrics showed that CrackEmbed in conjunction with the isolation forest algorithm resulted in the best performance overall.     

Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering

Superior human pose and shape reconstruction from monocular images depends on removing the ambiguities caused by occlusions and shape variance. Recent works succeed in regression-based methods which estimate parametric models directly through a deep neural network supervised by 3D ground truth. However, 3D ground truth is neither in abundance nor can efficiently be obtained. In this paper, we introduce body part segmentation as critical supervision. Part segmentation not only indicates the shape of each body part but helps to infer the occlusions among parts as well. To improve the reconstruction with part segmentation, we propose a part-level differentiable renderer that enables part-based models to be supervised by part segmentation in neural networks or optimization loops. We also introduce a general parametric model engaged in the rendering pipeline as an intermediate representation between skeletons and detailed shapes, which consists of primitive geometries for better interpretability. The proposed approach combines parameter regression, body model optimization, and detailed model registration altogether. Experimental results demonstrate that the proposed method achieves balanced evaluation on pose and shape, and outperforms the state-of-the-art approaches on Human3.6M, UP-3D and LSP datasets.     

基于卦限卷积神经网络的3D点云分析

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.     

CLOI-NET: Class segmentation of industrial facilities’ point cloud datasets

Shape segmentation from point cloud data is a core step of the digital twinning process for industrial facilities. However, it is also a very labor intensive step, which counteracts the perceived value of the resulting model. The state-of-the-art method for automating cylinder detection can detect cylinders with 62% precision and 70% recall, while other shapes must then be segmented manually and shape segmentation is not achieved. This performance is promising, but it is far from drastically eliminating the manual labor cost. We argue that the use of class segmentation deep learning algorithms has the theoretical potential to perform better in terms of per point accuracy and less manual segmentation time needed. However, such algorithms could not be used so far due to the lack of a pre-trained dataset of laser scanned industrial shapes as well as the lack of appropriate geometric features in order to learn these shapes. In this paper, we tackle both problems in three steps. First, we parse the industrial point cloud through a novel class segmentation solution (CLOI-NET) that consists of an optimized PointNET++ based deep learning network and post-processing algorithms that enforce stronger contextual relationships per point. We then allow the user to choose the optimal manual annotation of a test facility by means of active learning to further improve the results. We achieve the first step by clustering points in meaningful spatial 3D windows based on their location. Then, we apply a class segmentation deep network, and output a probability distribution of all label categories per point and improve the predicted labels by enforcing post-processing rules. We finally optimize the results by finding the optimal amount of data to be used for training experiments. We validate our method on the largest richly annotated dataset of the most important to model industrial shapes (CLOI) and yield 82% average accuracy per point, 95.6% average AUC among all classes and estimated 70% labor hour savings in class segmentation. This proves that it is the first to automatically segment industrial point cloud shapes with no prior knowledge at commercially viable performance and is the foundation for efficient industrial shape modeling in cluttered point clouds.     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的 点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络（multi-feature fusion and geometric convolutional neural network,MFFGCNN）的机载LiDAR （light detection and ranging）点云地物分类方法。方法 提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块（airporne laser scanning point cloud design module）,在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载LiDAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC （multi-feature fusion and geometric convolution）算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载LiDAR点云的语义分割。结果 在ISPRS （International Society for Photogrammetry and Remote Sensing）提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分。本文算法在全局准确率上取得了81.42%的较高精度,消融实验结果证明FGC模块可以提高8%的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15%的整体分类精度。结论 提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类。