基于特征通道和空间位置注意力的三维点云特征学习网络

点云模型的分类与部件分割是三维点云数据处理的基本任务,其核心在于获取可以有效表示三维模型的点云特征。提出一个引入注意力机制的三维点云特征学习网络。该网络采用多层次点云特征提取方法,首先使用特征通道注意力模块获取各通道间的关联,增强关键通道信息; 接着引入空间位置注意力机制,基于点的空间位置信息获取各点的注意力权重;然后结合以上2种注意力机制获取增强的点云特征;最后基于该特征继续进行多层次特征提取,获得面向下游任务的点云特征。分别在ModelNet40和ShapeNet数据集上进行形状分类与部件分割实验,结果表明,使用所提方法可以实现高精度、具有鲁棒性的三维点云形状分类与分割。     

相对角度直方图聚类在3维模型检索中的应用

提出一种基于相对角度分布和聚类的3维模型检索算法RAC（relative-rangle clustering）。定义模型表面点的相对角度分布函数,作为模型新的特征量,并对模型进行相对角度特征提取。经过实验证明相对角度特征对模型的几何形状分类效果较好。针对提取模型表面点的相对角度使得模型的特征量维数较大,检索时间较长,又使用聚类的方法对特征量进行近一步降维处理。实验结果表明与其他几种算法相比,RAC检索效果更好。     

基于最大分类器差异域适应方法的3维点云分类

实现快速且高精度的点云分类算法对自动驾驶、 3维场景识别、地图重建、工业机器人等应用领域起着重要的作用。针对目前传统3维点云分类算法存在着深度学习需要海量带标签训练数据以及在网络中没有考虑到3维点云数据的局部信息的不足,基于最大分类器差异域适应方法,设计了一种3维点云分类框架。首先使用PointNet点云分类网络作为网络的基本框架,其次在特征网络中添加自适应节点模块以处理3维点云的局部特征,最后利用领域自适应方法中的最大分类器差异域适应方法对网络的全局特征进行训练,有效缓解对海量训练数据的依赖性。在3维点云数据集PointDA-10的6种迁移组合对所提方法进行实验验证,在其中5种组合的分类准确率优于传统的点云分类算法,并且在减少20%训练数据量的情况下仍能较传统方法有效提升分类准确率。     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint。ResPoint网络使用了分组、采样和局部特征提取（ResConv）等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果。首先通过人脸几何特征点定位鼻尖点,并以该点为中心切割出面部区域,切割出的区域有噪点并且有孔洞,因此对其进行高斯滤波和三维立方插值;其次,使用ResPoint网络对预处理后的点云数据提取特征;最后,在全连接层组合特征以实现三维人脸的分类。在CASIA三维人脸数据库上的实验中,与关系型卷积神经网络（RS-CNN）相比,ResPoint网络的识别正确率提高了5.06%。实验结果表明,ResPoint网络增加了网络深度的同时使用不同的卷积核提取特征,因此ResPoint网络有更好的特征提取能力。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

激光点云深度学习的树种识别研究北大核心CSCD

针对激光雷达林业树种分类难以直接使用点云数据的问题,使用基于点云深度学习方法进行树种识别并提出PointNet-GS模型,无需将点云转为三维体素或二维图像,避免数据类型转换造成的特征丢失。以河北省塞罕坝机械林场的落叶松和白桦两个树种为研究对象。首先,将获取的点云数据进行数据预处理、单木分割,提取分割效果较好的单木作为样本;其次,将单木提取的样本进行几何下采样处理,保留更多局部特征便于网络模型学习;最后,将下采样处理的样本输入深度学习模型的网络,自动提取其高维特征进行学习,实现树种分类。实验结果表明,PointNet-GS树种分类精度达89.3%,Kappa系数为0.785,效果优于原始PointNet模型。     

基于节点结构的点云分类网络

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征,现有方法多采用复杂的局部特征提取结构组建分层网络,导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征,提出采样点卷积密度自适应加权的节点结构网络(NsNet)。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异,从而更好地刻画物体的整体结构;其次,通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较,实验结果表明：基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率(OA)分别提高了9.1和1.3个百分点;与PointMLP相比减少了4.6×10⁶的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题,提高分类精度,降低模型复杂度。     

基于Gabor小波与深度信念网络的人脸识别方法

特征提取与模式分类是人脸识别的两个关键问题。针对人脸识别中的高维和小样本问题,从人脸特征的提取与降维算法入手,提出基于受限玻尔兹曼机(RBM)的二次特征提取及降维算法模型。首先把图像均匀分成若干局部图像块并进行量化,再对图像进行Gabor小波变换,通过RBM对得到的Gabor人脸特征进行编码,学习数据更本质的特征,从而达到对高维人脸特征降维的目的;并以此为基础提出基于深度信念网络(DBN)的多通道人脸识别算法。在ORL、UMIST和FERET人脸库上对不同样本规模和不同分辨率的图像进行实验,识别结果表明,与采用线性降维和浅层网络的方法相比,所提方法取得了较好的学习效率和很好的识别效果。     

融合图卷积和差异性池化函数的点云数据分类分割模型

目的 深度网络用于3维点云数据的分类分割任务时,精度与模型在全局和局部特征上的描述能力密切相关。现有的特征提取网络,往往将全局特征和不同尺度下的局部特征相结合,忽略了点与点之间的结构信息和位置关系。为此,通过在分类分割模型中引入图卷积神经网络（graph convolution neural network,GCN）和改进池化层函数,增强局部特征表征能力和获取更丰富的全局特征,改善模型对点云数据的分类分割性能。方法 GCN模块通过K近邻算法构造图结构,利用相邻点对的边缘卷积获取局部特征,在深度网络模型中动态扩展GCN使模型获得完备的局部特征。在池化层,通过选择差异性的池化函数,联合提取多个全局特征并进行综合,保证模型在数据抖动时的鲁棒性。结果 在ModelNet40、ShapeNet和S3DIS（stanford large-scale 3D indoor semantics）数据集上进行分类、部分分割以及语义场景分割实验,验证模型的分类分割性能。与PointNet相比,在ModelNet40分类实验中,整体精度和平均分类精度分别提升4%和3.7%;在ShapeNet部分分割数据集和S3DIS室内场景数据集中,平均交并比（mean intersection-over-union, mIoU）分别高1.4%和9.8%。采用不同的池化函数测试结果表明,本文提出的差异性池化函数与PointNet提出的池化函数相比,平均分类精度提升了0.9%,有效改善了模型性能。结论 本文改进的网络模型可以有效获取点云数据中的全局和局部特征,实现更优的分类和分割效果。     

基于MANet的三维点云特征提取方法研究

在三维点云数据特征提取过程中,点云数据本身的稀疏性和不规则性会影响输入数据的全局特征表示,且现有方法未考虑不同特征通道的重要性差异,不利于点云特征的全局优化。提出一种基于多分组表征和注意力机制的MANet网络进行三维点云特征描述。为获得完整的点云特征信息,将点云数据输入多分组表征模块获得初始点云特征。为学习点云不同通道的重要性,引入新的通道注意力机制强调对特征表示重要的通道,抑制不重要的通道,进一步优化特征表示。将优化后的特征输入点云分类网络,实验结果表明,多分组表征可以感知局部信息,注意力机制能够优化全局特征表示,所提方法能够对点云数据进行有效学习,有助于提高点云分类的鲁棒性和准确率。在ModelNet10/40分类数据集上总体准确率（overall accuracy）分别达到95.1%和92.5%,在ScanNet和SHREC15数据集上总体准确率分别为78.6%和97.2%,上述结果均优于PointNet++网络。     

一种高程相关的机载LiDAR点云配准方法

针对现有配准方法难以提取大范围机载LiDAR点云特征信息的问题,提出了一种基于2片待配准机载LiDAR点云高程数据相关的点云自动配准方法。首先,将待配准点一定范围内的点云拟合局部曲面;然后,在另一点云片中确定搜索区域,利用拟合结果求解搜索区域内的点云在拟合曲面上的高程;最后,通过计算拟合高程与实际高程的相关系数,选择搜索区域内相关系数最大位置作为配准的关键点参与点云配准,反复迭代直到完成配准。文章用实际采集的机载LiDAR数据进行了实验分析,并与传统的ICP算法进行了对比。实验结果表明,该方法在配准精度上能达到较高的水准,能够满足机载LiDAR点云配准的要求。     

茂密植被区域LiDAR点云数据滤波方法研究

点云数据的滤波和分类是激光雷达数据应用处理重要环节,是当前研究的热点问题。本文针对茂密植被区域点云数据的特点,提出了以移动窗口和坡度算法为基础的改进的点云数据滤波算法。试验结果表明,改进的滤波算法对地形变化复杂、植被郁闭度较高覆盖、地面激光脚点比少的点云数据有良好的效果。     

多特征融合与几何卷积的机载LiDAR点云地物分类

目的点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络(multi-feature fusion and geometric convolutional neural network,MFFGCNN)的机载Li DAR(light detection and ranging)点云地物分类方法。方法提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块(airporne laser scanning point cloud design module),在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载Li DAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC(multi-feature fusion and geometric convolution)算子,...     

基于样本加权PointNet++的输电通道点云分类研究

输电通道内地物要素复杂，机载LiDAR获取的电力线、杆塔、植被等地物点云密度差异大、空间分布不规则，实际应用中“所见即所得”的应用需求对点云的高效自动化分类带来挑战。将深度学习中的PointNet++算法用于输电通道机载点云自动分类研究，分析样本加权对不同密度点云数据分类精度的影响，利用两组实验数据验证算法的精度和效率，并与随机森林分类算法进行比较。结果表明：基于样本加权PointNet++的方法在输电通道点云自动化分类方面适用性更强，平均F1值87.14%，且分类精度和效率均优于随机森林方法。     

激光点云的稀疏体素金字塔邻域构建与分类

目的 在点云分类处理的各环节中,关键是准确描述点云的局部邻域结构并提取表达能力强的点云特征集合。为了改进传统邻域结构单尺度特征表达能力的有限性和多尺度特征的计算复杂性,本文提出了用于激光点云分类的稀疏体素金字塔邻域结构及对应的分类方法。方法 通过对原始数据进行不同尺度下采样构建稀疏体素金字塔,并根据稀疏体素金字塔提取多尺度特征,利用随机森林分类器进行初始分类;构建无向图,利用直方图交集核计算邻域点之间连接边的权重,通过多标签图割算法优化分类结果。当体素金字塔的接收域增大时,邻域点密度随其距离中心点距离的增加而减小,有效减少了计算量。结果 在地基Semantic3D数据集、车载点云数据和机载点云数据上进行实验,结果表明,在降低计算复杂性的前提下,本文方法的分类精度、准确性和鲁棒性达到了同类算法前列,验证了该框架作为点云分类基础框架的有效性。结论 与类似方法相比,本文方法提取的多尺度特征既保持了点的局部结构信息,也更好地兼顾了较大尺度的点云结构特征,因而提升了点云分类的精度。     

利用神经网络的城区机载激光雷达点云分类算法

为了将神经网络应用于城区激光雷达点云数据分类,并针对大规模点云数据训练过程中计算量大、耗时长的问题,改进原有PointNet神经网络,加入了点云邻域特征的提取和分析,提出了一种新的点云分类算法。通过网格化聚类和重采样压缩原始点云数据量,提取多尺度邻域点云数据,利用改进PointNet完成对城区点云数据的分类,并用不同地区数据验证该分类算法。结果表明该算法分类效果良好,分类精度较高;数据训练过程中的计算量减少;能够对城区机载激光雷达数据实现有效分类。     

Automated residential building detection from airborne LiDAR data with deep neural networks

Detection of building objects in airborne LiDAR data is an essential task in many types of geospatial data applications such as urban reconstruction and damage assessment. Traditional approaches used in building detection often rely on shape primitives that can be detected by 2D/3D computer vision techniques. These approaches require carefully engineered features which tend to be specific to building types. Furthermore, these approaches are often computationally expensive with the increase of data size. In this paper, we propose a novel approach that employs a deep neural network to recognize and extract residential building objects in airborne LiDAR data. This proposed approach does not require any pre-defined geometric or texture features, and it is applicable to airborne LiDAR data sets with varied point densities and with damaged building objects. The latter makes our approach particularly useful in damage assessment applications. The research results show that the proposed approach is capable of achieving the state-of-the-art accuracy in building detection in these different types of point cloud data sets.     

基于机载LiDAR 技术的典型水库水量变化估算

针对传统外业测量水库库容估算方法易受地形、气象条件影响,存在危险性高、效率低等问题,以仑山水库为研究对象,采用机载 LiDAR 技术估算水库面积及水量变化。通过实地数据采集,利用 KD- 树算法剔除点云中的粗差点,并采用渐进加密不规则三角网(PTIND)滤波分离出地面点,完成 LiDAR 点云数据的预处理;根据点云数据建立精细化数字高程模型(DEM),提取不同水位的水库水面面积;最终利用积分和传统棱台体积估算方法对比分析不同水位水量差值变化。结果表明：与高程实测值相比,DEM 高程反演值满足高程精度要求,基于机载 LiDAR 的水量估算受库底坡度变化的影响,估算值低于传统估算方法的估算值,估算结果更为精确,可为监测水库水量变化提供科学依据。     

基于机载LiDAR点云数据森林郁闭度估测

郁闭度是反映森林数量和质量的重要参数,是森林调查的重要因子之一。以广西壮族自治区高峰林场试验区获取的机载LiDAR点云数据为基础,基于二维冠层高度模型（Canopy Height Model,CHM）和三维点云开展了森林郁闭度估测研究。使用实地调查的105块样地作为验证参考数据对郁闭度估测结果进行了精度评价,结果表明：基于二维CHM估测郁闭度与实测值之间的R²=0.388,RMSE=0.17;而基于三维点云估测郁闭度采用了2种方法：第一种方法采用归一化后2 m以上高度植被点云密度与归一化后所有点云密度比值估测郁闭度,估测结果与实测值之间的R²=0.467,RMSE=0.13。第二种方法采用归一化后2 m以上高度第一次回波植被点云密度与归一化后第一次回波所有点云密度比值估测郁闭度,估测结果与实测值之间的R²=0.478,RMSE=0.12;基于三维点云的2种方法估测林分郁闭度的精度皆优于基于二维CHM的方法,基于三维点云估测林分郁闭度方法中,第二种方法的精度优于第一种方法。     

基于Feature-pointNet大场景点云分类

大场景下的激光(Lidar)点云数据分类是一个复杂的问题任务,有时需要多种技术的结合,以获得所需的结果.我们提出了一种基于多维特征矩阵和PointNet的深度神经网络模型.实现了大场景点云下的激光Lidar点云分类工作.文章先将提取点云的三维和二维邻域特征,再将特征进行融合转换为特征矩阵,将局部特征矩阵输入到Point...