点云数据在深度学习中表示方法的研究

为了实现在深度学习中能够端到端表示点云模型,提出基于八叉树和K-D树（OctKD）的点云数据表示方法。该方法将无组织的点云转换为体素空间,在体素空间对三维模型进行八叉树剖分,改进了八叉树编码方式;构建节点间的邻接关系,在GPU端并行构建八叉树;为了克服八叉树编码检索效率低的问题,采用三维K-D树索引单个三维空间点。实验结果表明该方法能够真实反映模型本身的细节特征,提高了点云模型的构造时间和检索效率。这种新的数据结构实现将点云转换为卷积神经网络可以接收的数据形式。     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

Multiscale Representation and Compression of 3-D Point Data

A compact representation scheme is presented for 3-D point data. To describe underlying surface from raw point samples, we dyadically divide a 3-D domain enclosing whole points. Then, local points in each cube are approximated by a plane patch, yielding a multiscale representation of 3-D surface. To reduce the redundancy between different scale models, the geometry innovation is evaluated between different scale planes, which reveals the Euclidian distance between planes. Finally, the geometry innovation coefficients are compressed by a zerotree-based encoder. Based on the multiscale plane representation of 3-D geometry and the efficient plane decomposition method, the proposed scheme provides a desirable framework for 3-D point geometry processing.     

基于八叉树空间分割的三维点云模型密写

针对三维点云模型的信息隐藏,提出一种基于八叉树空间分割的空域密写算法。对经过主成分分析后的三维点云模型建立包围盒,利用八叉树空间分割得到小体元并记录分割过程,通过顶点位移将信息嵌入到小体元内的不同空间位置。实验结果表明,该算法在提取信息时不需要原始模型数据,具有嵌入量高、失真度低的特点,能够抵抗旋转、平移、均匀缩放和顶点重排序攻击,适合于任意网格的三维模型信息隐藏。     

海量3D点云数据压缩与空间索引技术

针对3D模型中海量点云数据压缩与空间索引低效问题和漫游过程中相邻两次查询窗口重叠是大概率事件问题,提出邻点差值渐进压缩和基于裁剪重叠区域进行冗余处理的R树空间索引方法。首先,利用八叉树对3D模型进行空间剖分,借助Morton码对每个叶节点管理的点云数据排序,按照R树叶节点的外接立方体大小对数据进行分块,计算块内相邻点数据差值,以块为单位渐进压缩差值,批量读取这些数据块创建R树;其次,借助上次查询窗口范围计算本次查询有效范围;最后,给出基于R树索引的点云数据查询方法。该方法使点云数据压缩率提高了26.61个百分点,并能实现流式传输,同时减少了I/O开销,使其查询性能提高了35.44%,数据冗余减少了16.49个百分点。实验结果表明,所提方法在3D虚拟旅游、数字城市等系统具中有明显优势。     

基于树型结构网格矢量量化的点云渲染算法

针对3D模型海量点云数据存在的空间冗余问题,提出一种基于TSLVQ(tree structure lattice vector quantization)的静态点云有损渲染算法。算法旨在利用层级嵌套网格的集合,解决渲染低效的问题。首先对整个点云进行包围盒封装,多层量化,把数个较小尺度的截断包围盒嵌入到一个较高尺度的截断包围盒单元中,每一步量化过程采用8叉树方法将包围盒分割为八个最佳尺寸的空或非空小包围盒;最后在最高深度的层级里,用包围盒来代替整个小包围盒中全部的点。同时,算法可自行设定8叉树的深度,从而任意控制编码的复杂度和精度,满足渲染的实时性要求。实验结果表明,与现有的网格有损压缩算法相比,提出的算法能在保证模型重建精度的基础上具有较好的空间分解优势,实现实时渲染效果。     

基于块段模型的三维GIS混合数据结构模型研究*

为了有效地表示三维GIS空间实体,在地质块段模型的基础上,提出了基于八叉树和四面体格网的混合数据结构模型(block octree tetrahedron,BOT模型).采用BOT模型生成算法对块段模型进行重新分割,八叉树作整体描述,四面体格网作局部精确描述,并以不同的灰度值表示不同的单元块属性.同时,为节省存储空间,提出了线性BOT编码技术.实验结果表明,BOT模型充分发挥了八叉树和四面体格网的优点,可以在不增加存储空间的前提下实现对三维目标更高效、更精确的表达.     

大规模点云选择及精简

点云选择与精简是三维扫描系统中应对背景数据、冗余采样、分布不均匀 等问题的必要后处理步骤。针对定制低成本三维扫描系统的需求,传统方法仍有很多局限性。 这是由于研究领域未提供支持套索UI 接口的点云选择算法;传统点云精简方法侧重曲率自 适应分布,无法保证平坦区域的均衡分布。论文提出一种支持套索UI 接口的点云选择算法, 通过构建套索形状矩形覆盖与点云八叉树剔除大部分点在多边形内的判断;提出一种基于 Poisson-disk 采样的均衡分布的点云精简算法,并以采样点邻域球布尔交运算来定义曲面上 的圆盘半径度量,具有保持尖锐边特征及边界的性质。实验结果表明,论文方法能够较好满 足低成本三维扫描系统中点云删减处理的需求。     

基于八叉树邻域分析光线跟踪的云三维模拟

针对目前三维云模拟绘制效率低、计算资源消耗大、绘制效果差等问题,提出基于八叉树邻域分析的光线跟踪算法,并用于WRF模式云数据的三维模拟。使用八叉树结构优化传统光线跟踪算法的数据存储结构,通过存储节点编码和划分层次改进邻域分析算法,通过简化光线的折射公式优化Whitted光照模型,借助OpenGL和Vapor工具实现云数据的三维可视化。实验结果表明,该方法降低了绘制时间,提高了渲染效率,更好体现了云的真实物理特征。     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

Volumetric stereo and silhouette fusion for image-based modeling

This paper presents a volumetric stereo and silhouette fusion algorithm for acquiring high quality models from multiple calibrated photographs. Our method is based on computing and merging depth maps. Different from previous methods of this category, the silhouette information is also applied in our algorithm to recover the shape information on the textureless and occluded areas. The proposed algorithm starts by computing visual hull using a volumetric method in which a novel projection test method is proposed for visual hull octree construction. Then, the depth map of each image is estimated by an expansion-based approach that returns a 3D point cloud with outliers and redundant information. After generating an oriented point cloud from stereo by rejecting outlier, reducing scale, and estimating surface normal for the depth maps, another oriented point cloud from silhouette is added by carving the visual hull octree structure using the point cloud from stereo to restore the textureless and occluded surfaces. Finally, Poisson Surface Reconstruction approach is applied to convert the oriented point cloud both from stereo and silhouette into a complete and accurate triangulated mesh model. The proposed approach has been implemented and the performance of the approach is demonstrated on several real data sets, along with qualitative comparisons with the state-of-the-art image-based modeling techniques according to the Middlebury benchmark.     

Block size selection in rate-constrained geometry based point cloud compression

Multimedia Tools and Applications - In geometry-based point cloud compression, the geometry information is typically compressed using octree coding. In octree coding, the size of the blocks in the...     

一种基于GPU实现的自适应八叉树纹理绘画算法

当前,虽然基于二维图像映射定义的传统二维纹理已得到广泛应用。但是它有很多局限性。这是因为很多三维模型在纹理空间中进行参数化是非常困难的,例如隐式表面、细分表面和高密度或高细节的多边形网格。基于八叉树纹理定义,提出了一种新型的自适应八叉树纹理绘画算法。和传统的八叉树纹理映射算法相比,不但占用更少的存储空间,而且实现了基于GPU的纹理查询,有更快的查找速度。     

基于光学图像的多粒度随动环境感知算法

针对快速三维建模中的室内外随动环境感知问题,提出一种基于光学图像的多粒度随动环境感知算法.该算法根据多种光学图像生成拟合真实三维环境的多粒度点云模型,然后通过概率八叉树压缩并统一表示已生成的多粒度三维模型.进而伴随相机轨迹每个时间节点,通过卡尔曼滤波动态融合多粒度点云模型的概率八叉树表示.最终生成唯一的时态融合概率八叉树三维模型,简称TFPOM,使TFPOM能够在较少的噪声影响下以任意粒度动态拟合真实环境.该算法配合剪枝和归并策略能够适应多粒度融合和多粒度表示的环境建模要求,有效压缩环境模型存储空间,实现鲁棒的随动环境感知,便于基于环境模型的视觉导航,增强现实等应用.实验结果表明,该算法能够在以可穿戴设备为代表的内含多种异构光学图像传感器,低计算效能的平台上实时得到充分拟合真实动态环境的多粒度TFPOM,基于该模型的视觉导航具有较小的轨迹误差.     

基于Octomap的仿人机器人局部环境与能力图模型算法

基于3D点云数据的机器人三维空间能力图模型算法存在体素网格搜索计算量大的问题，由于OcTree在三维空间细分时的层次化优势，提出一种基于Octomap的局部环境与能力图模型算法。首先，根据NAO机器人的关节组成、正向运动学、逆向运动学和刚体坐标变换，对NAO仿人机器人构建全身二叉树状运动学模型；其次在此基础上使用前向运动学在笛卡儿空间计算离散的三维可达点云，并将其作为机器人终端效应器的基础工作空间；然后重点描述将点云空间表示转化为Octomap空间节点表示的方法，尤其是空间节点的概率更新方法；最后提出根据节点几何关系进行空间节点更新顺序选择的优化方法，从而高效地实现了仿人机器人能力图的空间优化表示。实验结果表明，相对于之前的原始Octomap更新方法，优化后的算法能降低近30%空间节点数，提高计算效率。     

一种改进的三维人脸重构方法

提出一种改进的三维人脸重构方法。该方法采用基于单个相机的双目立体视觉系统对人脸进行采样,根据人脸对称性假设,运用补洞与纠错技术进行自动点云优化。继而采用简化的Candide-3模型作为细分初始控制网格,局部加细地进行细分曲面分层次拟合操作,采用测地线映射技术对不同表情进行归一化,并分别建立人脸数据库。实验结果表明,采用单相机立体视觉系统在提高重建精度的同时,很大程度上避免由于双相机拍摄不同步引起的重建鲁棒性降低问题。而采用细分曲面作为存储结构,在节约空间的前提下,为分层次比对筛选提供理论支持。该系统成本较低,适合在许多领域推广应用。     

RMAP: a rectangular cuboid approximation framework for 3D environment mapping

This paper presents a rectangular cuboid approximation framework (RMAP) for 3D mapping. The goal of RMAP is to provide computational and memory efficient environment representations for 3D robotic mapping using axis aligned rectangular cuboids (RC). This paper focuses on two aspects of the RMAP framework: (i) An occupancy grid approach and (ii) A RC approximation of 3D environments based on point cloud density. The RMAP occupancy grid is based on the Rtree data structure which is composed of a hierarchy of RC. The proposed approach is capable of generating probabilistic 3D representations with multiresolution capabilities. It reduces the memory complexity in large scale 3D occupancy grids by avoiding explicit modelling of free space. In contrast to point cloud and fixed resolution cell representations based on beam end point observations, an approximation approach using point cloud density is presented. The proposed approach generates variable sized RC approximations that are memory efficient for axis aligned surfaces. Evaluation of the RMAP occupancy grid and approximation approach based on computational and memory complexity on different datasets shows the effectiveness of this framework for 3D mapping.     

Adaptive coding of generic 3D triangular meshes based on octree decomposition

In this paper, we present an adaptive-coding method for generic triangular meshes including both regular and irregular meshes. Though it is also based on iterative octree decomposition of the object space for the original mesh, as some prior arts, it has novelties in the following two aspects. First, it mathematically models the occupancy codes containing only a single–“1” bit for accurate initialization of the arithmetic coder at each octree level. Second, it adaptively prioritizes the bits in an occupancy code using a local surface smoothness measure that is based on triangle areas and therefore mitigates the effect of non-uniform vertex sampling over the surface. As a result, the proposed 3D mesh coder yields outstanding coding performance for both regular and irregular meshes and especially for the latter, as demonstrated by the experiments.     

一种改进的自适应三角剖分算法*

现有的大多数散乱点云三角剖分算法存在细节特征表现不足和适应性不强的问题,为此改进了一种自适应的三角网格剖分算法。此方法将Shepard曲面插值与多尺度分析方法相结合;引入改进的八叉树搜索思想,加细搜索进而估算出点云中每个测量点的曲率;生成带自适应分辨率的分层空间栅格,最终实现自适应的三角网格重构。实验结果表明,经改进的算法,形成的三角网格质量较高,能够较好地再现原三维物体的细节特征,且效率较高,适用广泛。