基于自适应聚合循环递归的稠密点云重建网络

为了解决弱纹理重建难、资源消耗大和重建时间长等问题,提出了一种基于自适应聚合循环递归卷积的多阶段稠密点云重建网络,即A²R²-MVSNet(adaptive aggregation recurrent recursive multi view stereo net)。该方法首先引入一种基于多尺度循环递归残差的特征提取模块,聚合上下文语义信息,以解决弱纹理或无纹理区域特征提取难的问题。在代价体正则化部分,提出一种残差正则化模块,该模块在略微增加内存消耗的前提下,提高了3D CNN提取和聚合上下文语意的能力。实验结果表明,提出的方法在DTU数据集上的综合指标排名靠前,在重建细节上有着更好的体现,且在BlendedMVS数据集上生成了不错的深度图和点云结果,此外网络还在自采集的大规模高分辨率数据集上进行了泛化测试。归功于由粗到细的多阶段思想和我们提出的模块,网络在生成高准确性和完整性深度图的同时,还能进行高分辨率重建以适用于实际问题。     

基于三维点云的植物叶片重建及其面积估算

为提高植物叶片面积测量的准确度,本文提出了一种植物叶片三维重建补偿方法。该方法首先使用多角度拍摄植物叶片的方法来获取图像;其次,通过运动恢复结构算法(SFM)、聚类多视角立体算法(CMVS)和基于面片的多视角立体算法(PMVS)处理图像并生成三维点云;然后,对点云进行去噪、分割、填补、三角网格化处理;最后,对叶片面积进行估测。实验结果表明,本文方法测量叶片面积的准确度与扫描法接近,并且能解决由于叶片重叠产生的叶面积测量不准确的问题。     

基于摆动单线激光雷达的大场景稠密点云地图创建系统

在创建大场景稠密点云地图时,由于当前的各类环境3维测量系统难以兼顾大范围和高密度的点云测量要求,为此设计了一种基于摆动单线激光雷达的大场景稠密点云地图创建系统.首先,实现了大型激光雷达稳定精确的全向摆动.然后,给出了单点采集点云的拼接方法和多点采集点云的配准方法.最后,提出了一种3维点云投影密度的分析方法,并对仿真测量结果进行了对比与评价.实验结果表明,本系统的有效测量距离超过75 m、测量范围覆盖俯仰±45?、点云间距小于20 cm、点云分布均匀,装置的视野范围和点云分布可进行调节,并能通过多点配准对更大场景进行建图.     

基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

面向形状特征的多维度多层级点云分析

目的 3维点云是编码几何信息的主要数据结构,与2维视觉数据不同的是,点云中隐藏了3维物体中重要的形状特征。为更好地从无序的点云中挖掘形状特征,本文提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络(multi-dimensional multi-layer neural network,MM-Net)。方法多维度特征修正与融合(multidimensional feature correction and fusion module,MDCF)模块从多个维度自适应地修正局部特征和逐点特征,并将其整合至高维空间以获得丰富的区域形状。另一方面,多层级特征衔接(multi-layer feature articulation module,MLFA)模块利用多个层级间的远程依赖关系,推理得到网络所需的全局形状。此外设计了两种分别应用于点云分类与分割任务的网络结构MM-Net-C(multi-dimensional multi-layer feature classification network)和MM-Net-S(multi-dimensional multi-layer fe...     

点云的形状与曲线重建算法

针对平面无序带噪点云的曲线重建问题,给出了点云形状的定义并提出了构造点云形状的算法.该算法基于Delaunay三角剖分,在构造好点云的Delaunay三角剖分后对三角剖分进行细化,使得在点云中的点周围形成空间上的局部均匀采样;基于集合论中的基本概念定义点云中内点、外点和边界点,并且明确地定义了点云的形状,根据Delaunay三角剖分细化时,选择不同的参数得到不同层次的点云的形状;选择合适的参数得到相应形状后,通过薄化过程得到具有流形结构的曲线.实验结果表明,采用文中算法得到的重建曲线很好地反映了点云的形状,验证了该算法的有效性.     

基于点云面的区域性三维重建及点云拼接*

目前基于点云面的三维重建方法中,重建的区域性选择存在着两个问题：重建区域过大会导致目标物体不明确,效果不佳,运行时间长;重建区域过小会导致目标物体不完整,信息丢失。针对重建窗口过大时,本文采用改进的snake的区域性重建算法,即通过轮廓提取只对窗口内的目标物进行重建;针对重建窗口过小时,本文采用基于投影面的点云拼接算法,即通过重建后的点云进行拼接的方法使目标物体恢复完整。以上两点改进弥补了点云三维重建及拼接时出现的应用局限性和不稳定性,减少重建时间,提高重建有效性,鲁棒性。     

基于形状特征的点云简化技术研究

为了提高实体反求的效率,提出一种点云简化方法。该方法通过建立点云的栅格化拓扑关系,有效地收集每个测量点的邻域点,并在邻域内建立局部坐标系。同时,拟合局部抛物面估算各个测量点的曲率值,并根据曲率变化收集形状特征点。最后,依据邻域内形状特征点的分布状况,对点云实施简化。该简化方法充分地保留了原始点云的形状特征,同时删除了大量的冗余点,具有一定的先进性,为反求工程的曲面重构提供了良好的基础。     

三维重建中散乱点云的聚类筛选与网格重建

三维重建过程中获得的初始海量数据存在大量的噪声和孤立点,使得直接使用这些数据进行网格重建时,将会产生尖锐的凸出,导致重建效果不好,甚至是网格重建失败.针对以上问题,提出首先采用基于密度聚类的方法筛选三维点云,然后进行网格重建.实验表明本文算法获得了较好的网格重建效果.     

牙冠的三维点云数据重建技术研究

利用三维激光扫描仪扫描全牙列模型,对获得的数据进行处理,重构牙冠的三维图形;将获得的三维点云数据进行处理,包括数据平滑、数据精简、特征提取、数据分割、自由曲面建模等实现牙冠的三维重构;得到牙冠的三维重建数字模型,可用于全冠的计算机辅助制作,并结合中国人的标准牙冠数据,对其调整变形,得到标准的牙冠模型;该技术将会为口腔医生带来便利和高效。     

针对密集点云的快速曲面重建算法

为了能够快速地从高密度散乱点云生成三角形网格曲面,提出一种针对散乱点云的曲面重建算法.首先通过逐层外扩建立原始点云的近似网格曲面,然后对近似网格曲面进行二次剖分生成最终的精确曲面;为了能够处理噪声点云,在剖分过程中所有网格曲面顶点都通过层次B样条进行了优化.相比于其他曲面重建方法,该算法剖分速度快,且能够保证点云到所生成的三角网格曲面的距离小于预先设定容限.实验结果表明,文中算法能够有效地实现高密度散乱点云的三角剖分,且其剖分速度较已有算法有大幅提高.     

基于点云几何与形状特征的曲面重构算法

提出一种新的利用点云进行曲面重构的算法,该算法基于点云的几何与形状特征,根据点云的几何分布进行分类和按照点的局部形状特征进行分类,对每类点进行局部网格重构,并进行后续处理以修补拓扑和几何错误。实验结果表明,该算法强健有效,能生成高质量的网格,并能较好地保持模型的几何与形状特征。     

Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering

Superior human pose and shape reconstruction from monocular images depends on removing the ambiguities caused by occlusions and shape variance. Recent works succeed in regression-based methods which estimate parametric models directly through a deep neural network supervised by 3D ground truth. However, 3D ground truth is neither in abundance nor can efficiently be obtained. In this paper, we introduce body part segmentation as critical supervision. Part segmentation not only indicates the shape of each body part but helps to infer the occlusions among parts as well. To improve the reconstruction with part segmentation, we propose a part-level differentiable renderer that enables part-based models to be supervised by part segmentation in neural networks or optimization loops. We also introduce a general parametric model engaged in the rendering pipeline as an intermediate representation between skeletons and detailed shapes, which consists of primitive geometries for better interpretability. The proposed approach combines parameter regression, body model optimization, and detailed model registration altogether. Experimental results demonstrate that the proposed method achieves balanced evaluation on pose and shape, and outperforms the state-of-the-art approaches on Human3.6M, UP-3D and LSP datasets.     

Multi-View Stereo Reconstruction of Dense Shape and Complex Appearance

We address the problem of estimating the three-dimensional shape and complex appearance of a scene from a calibrated set of views under fixed illumination. Our approach relies on a rank condition that must be satisfied when the scene exhibits specular + diffuse reflectance characteristics. This constraint is used to define a cost functional for the discrepancy between the measured images and those generated by the estimate of the scene, rather than attempting to match image-to-image directly. Minimizing such a functional yields the optimal estimate of the shape of the scene, represented by a dense surface, as well as its radiance, represented by four functions defined on such a surface. These can be used to generate novel views that capture the non-Lambertian appearance of the scene.This research was performed while Hailin Jin was with Computer Science Department, University of California at Los Angeles.     

点云重建的并行算法

在三维重建问题中,为了提高重建模型的精确度和完整性,需要增大三维重建的数据量,由此会增加重建的计算量和运行时间。针对该问题,对点云重建过程进行并行设计,降低耗时、提高三维重建的效率,提出在多核CPU、GPU架构和CPU/GPU异构环境下点云重建的并行算法,并在不同实验平台上对Kermit和hallFeng数据集进行了点云重建的并行实验。实验结果表明,相比于串行的点云重建算法,点云重建并行算法在保证重建精度的条件下,取得了较好的加速比,并且并行算法具有实验平台和数据规模的可扩展性。     

3D点云形状补全GAN

在真实的扫描环境中,由于视线遮挡或技术人员操作不当,实际采集到的点云模型会存在形状不完整的问题.点云模型的不完整性会对后续应用产生严重的影响,因此提出3D点云形状补全GAN用于完成点云模型的形状补全.该网络的点云重建部分由PointNet中用于数据对齐的T-Net结构与3D点云AutoEncoder网络相结合,来完成预...     

多特征三维稠密重建方法

基于图像的立体重建技术直接通过多幅二维图像获取物体的三维数据模型,建模自动化程度高,且不需要任何先验信息和特殊硬件支持。但对于具有精致雕刻的中国古式建筑以及非平行拍摄的大型室外场景,现有的基于图像的三维重建技术重建模型往往存在细节信息丢失、数据散乱现象,使得重建结果不够精确。针对这一问题,综合考虑模型的光照信息、纹理阴影、凹凸感等多种特征,通过给出特征候选点匹配策略及对初始点云的可靠性排序,提出了一种多特征三维稠密重建算法MFPMVS（patch with multiple features based multi-view stereopsis）。实验表明,MFPMVS算法与经典的PMVS（patch based multi-view stereopsis）算法相比,重建得到的三维点云更加密集;凹凸感较强的模型重建细节更为细腻;仰拍得到的模型重建结果中漏洞明显减少,边缘细节信息更加完整。算法能够更稳定、鲁棒地重建出物体的三维模型,具有很高的实用价值。     

加工面点云数据深度学习的加工特征自动识别

加工特征识别是实现CAD/CAPP/CAM系统集成的关键技术.针对传统基于符号推理加工特征识别模式存在鲁棒性问题,提出一种基于加工面点云数据深度学习的加工特征自动识别方法;基于PointNet点云识别框架,构建了一个面向加工面点云数据的加工特征自动识别卷积神经网络;通过收集CAD模型中的加工特征面集和采样点云,构建了适...