R-VPCG: RGB image feature fusion-based virtual point cloud generation for 3D car detection

Although 3D object detection methods based on feature fusion have made great progress, the methods still have the problem of low precision due to sparse point clouds. In this paper, we propose a new feature fusion-based method, which can generate virtual point cloud and improve the precision of car detection. Considering that RGB images have rich semantic information, this method firstly segments the cars from the image, and then projected the raw point clouds onto the segmented car image to segment point clouds of the cars. Furthermore, the segmented point clouds are input to the virtual point cloud generation module. The module regresses the direction of car, then combines the foreground points to generate virtual point clouds and superimposed with the raw point cloud. Eventually, the processed point cloud is converted to voxel representation, which is then fed into 3D sparse convolutional network to extract features, and finally a region proposal network is used to detect cars in a bird’s-eye view. Experimental results on KITTI dataset show that our method is effective, and the precision have significant advantages compared to other similar feature fusion-based methods.     

结构化环境下基于结构单元软编码的3维激光雷达点云描述子

在同时定位与地图构建（SLAM）系统中,基于3维激光雷达点云数据的闭环检测由于描述子计算困难而极具挑战．为此,本文提出一种结构化环境下可用于闭环检测的基于结构单元软编码的新型3维激光雷达点云描述子．针对3维激光雷达点云的稀疏性和独立性导致的3维空间线段提取困难的问题,首先通过几何滤波的方法提取3维空间中垂直于地面的线段,用于保留3维空间的结构信息;然后,基于线段的空间几何关系构建结构单元集合,并通过软编码技术计算特征向量,作为3维激光雷达点云的描述子;最后,通过两帧点云描述子的匹配实现闭环检测．在KITTI公开数据集和自采数据集上的对比实验,验证了本文方法在时效性和鲁棒性等方面均优于主流的3维激光闭环检测方法．     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

3D点云形状特征的二维主流形描述

首先,对空间分布不均匀且无序的三维点云构造其二维主流形,并以与球面同胚的封闭曲面网格形式给出其二维主流形的二次优化逼近,以主流形网格有序均匀的结点分布表示三维点云空间分布无序且不均匀的形状特征,降低了三维形状描述的难度;然后,以基本几何变换作为快速粗对齐、以迭代最近法向点(ICNP)方法作为精准对齐,确定两个主曲面网格之间最佳刚性变换,ICNP方法在寻找最近点时考虑法向夹角,利用了更多的几何信息,实现快速精准的刚性对齐,兼顾计算精度和速度;最后,以对齐误差作为两个3D点云之间形状差异测度.实验结果表明:所提出的基于主流形二次曲面网格优化逼近的三维点云模型形状描述方法对三维点云的分辨率和噪声等干扰因素具有较高的健壮性,可以用于三维检索的形状描述.     

DSACNN: Dynamically local self-attention CNN for 3D point cloud analysis

The point cloud is a common 3D representation widely applied in CAX engineering due to its simple data representation and rich semantic information. However, discrete and unordered 3D data structures make it difficult for point clouds to understand semantic information and make them unsuitable for applying standard operators. In this paper, to enhance machine perception of 3D semantic information, we propose a novel approach that can not only directly process point cloud data by a novel convolution-like operator but also dynamically pay attention to local semantic information. First, we design a novel dynamic local self-attention mechanism that can dynamically and flexibly focus on top-level information of the receptive field to learn and understand subtle features. Second, we propose a dynamic self-attention learning block, which adopts the proposed dynamic local self-attention learning convolution operation to directly deal with disordered and irregular point clouds to learn global and local point features while dynamically learning the important local semantic information. Third, the proposed operation can be compatibly applied as an independent component in popular architectures to improve the perception of local semantic information. Numerous experiments demonstrate the advantage of our method for point cloud tasks on datasets from both CAD data and scan data of complex real-world scenes.     

自监督深度残差函数映射网络的3维模型对应关系计算

目的 针对传统非刚性3维模型的对应关系计算方法需要模型间真实对应关系监督的缺点,提出一种自监督深度残差函数映射网络（self-supervised deep residual functional maps network,SSDRFMN）。方法 首先将局部坐标系与直方图结合以计算3维模型的特征描述符,即方向直方图签名（signature of histograms of orientations,SHOT）描述符;其次将源模型与目标模型的SHOT描述符输入SSDRFMN,利用深度函数映射（deep functional maps,DFM）层计算两个模型间的函数映射矩阵,并通过模糊对应层将函数映射关系转换为点到点的对应关系;最后利用自监督损失函数计算模型间的测地距离误差,对计算出的对应关系进行评估。结果 实验结果表明,在MPI-FAUST数据集上,本文算法相比于有监督的深度函数映射（supervised deep functional maps,SDFM）算法,人体模型对应关系的测地误差减小了1.45;相比于频谱上采样（spectral upsampling,SU）算法减小了1.67。在TOSCA数据集上,本文算法相比于SDFM算法,狗、猫和狼等模型的对应关系的测地误差分别减小了3.13、0.98和1.89;相比于SU算法分别减小了2.81、2.22和1.11,并有效克服了已有深度函数映射方法需要模型间的真实对应关系来监督的缺点,使得该方法可以适用于不同的数据集,可扩展性大幅增强。结论 本文通过自监督深度残差函数映射网络训练模型的方向直方图签名描述符,提升了模型对应关系的准确率。本文方法可以适应于不同的数据集,相比传统方法,普适性较好。     

基于残差边卷积的3D点云分类算法

3D点云的不规则性与无序性使点云的分类仍具有挑战性.针对上述问题,文中设计基于残差边卷积的3D点云分类算法,可直接从点云学习到具有区分度的形状描述子,用于目标分类.首先,设计具有残差学习的边卷积模块,用于点云的特征提取.通过K近邻算法,该边卷积模块在输入点云上构建局部图,使用卷积及最大池化进行局部特征的提取与聚合.然后,通过多层感知器从原始点特征中提取全局特征,并以残差学习的方式与局部特征结合.最后,以该卷积块为基本单元,构建深度神经卷积网络,实现3D点云的分类.文中方法较全面地考虑点云局部特征与全局特征的有机结合,网络具有更深层次的结构,最终得到的形状描述子更抽象,具有更高的区分度.在具有挑战性的ModelNet40、ScanObjectNN数据集上的实验证实文中方法的分类性能较优.     

基于局部曲面特征直方图的点云识别

针对三维点云的快速识别问题,文中提出基于局部曲面特征直方图的点云识别算法.首先,采用循环体素滤波算法,将不同分辨率的点云滤波至指定分辨率.再基于邻域曲率均值最大的关键点查找算法选取点云局部特征较明显的点作为关键点,根据关键点邻域内点云重心与邻域曲面内各点的法线和距离的关系计算关键点的特征描述符.然后,根据临近关键点间的空间关系和特征描述符欧氏距离进行特征匹配.最后,采用多线程识别框架,加快在线识别速度.实验表明文中算法识别速度较快.     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

LoVPE 3维局部特征描述子

目的 局部特征描述子在3维目标识别等任务中能够有效地克服噪声、不同点云分辨率、局部遮挡、点云散乱分布等因素的干扰,但是已有3维描述子难以在性能和效率之间取得平衡,为此提出LoVPE（局部多视点投影视图相关编码）特征描述子用于复杂场景中的3维目标识别。方法 首先构建局部参考坐标系,将世界坐标系下的局部表面变换至关键点局部参考坐标系下的局部表面;然后绕局部参考坐标系各坐标轴旋转K个角度获得多视点局部表面,将局部表面内的点投影至局部参考系各坐标平面内,投影平面分成N×N块,统计每块内投影点的散布信息生成特征描述向量;最后将各视点特征描述向量进行两两视图对相关编码得到低维度特征描述向量,采用ZCA（零项分量分析）白化降低特征描述向量各维间相关性得到LoVPE描述子。结果 在公用数据集上进行不同描述子对噪声、不同分辨率、遮挡及杂波等干扰鲁棒性的特征匹配实验,实验结果表明,提出的描述子特征匹配率与现有最佳描述子处于同等水平,但保持了较低的特征维度和较高的计算效率,维度降低约1半、特征构建及特征匹配时间缩短为现有最佳描述子的1/4。结论 提出一种新的3维局部特征描述子,具有强描述能力,对噪声、不同网格分辨率、遮挡及杂波等具有强鲁棒性,存储消耗较少且计算效率较高,该方法适用于模型点云及真实点云数据,可用于复杂场景中的3维目标识别。     

三维曲面的特征描述和特征匹配

本文提出了一种新的三维曲面特征描述算法,将二维图像上的特征描述思想推广到三维网格。算法将三维网格表示成从顶点到高斯曲率的映射函数,从而获得可类比于二维图像的相似性。借助于法线和梯度建立局部球坐标系,通过二维统计直方图对特征点邻域的几何信息进行描述,使得特征描述具有平移、旋转和缩放不变性,最终生成128维的特征向量(特征描述符)。基于特征向量,我们实现了多分辨率和异拓扑网格下的特征匹配,展示并分析了实验结果。本文的研究动机来源于三维扫描建模以及多视点三维重建技术中对特征描述和特征匹配的需求,主要的应用方向包括:扫描配准、模型注册、动画跟踪、对称检测和模型检索。