三维模型普适性特征提取与分类

为了解决单一算法特征描述子难以兼顾表达刚性和非刚性三维模型的问题,提出一种三维模型普适性特征提取方法.首先提出一种基于三维点云模型的局部面积加权密集化采样算法;然后针对非刚性铰链结构的变换影响,利用热核特征的等距等容不变性提出时间尺度序列热核编码方法;最后提出边缘投影图卷积神经网络,对编码点云的空间形状及时间尺度序列热核进行特征融合学习,并应用于三维模型分类任务.在刚性三维模型数据集ModelNet40和非刚性三维模型数据集SHREC15上的实验结果表明,与单一刚性或非刚性三维模型特征提取方法相比,所提方法能够提取具有普适性且具有显著辨别力的特征描述符,分类准确率分别达到92.63%和97.71%.     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于投影图像 SURF 特征提取的三维模型配准

针对传统三维模型配准方法存在对点云初始位置有一定要求、模型配准的精度有 时不高等问题,提出了一种基于三维模型投影图像 SURF 特征提取的三维模型配准方法。首先 通过扫描三维模型数据确定投影图像的范围,判断每个投影图像像素所隶属的模型网格,并求 解从投影图像到纹理图像的映射关系,从而获取二维投影图像;然后对这两幅投影图像分别进 行 SURF 特征点的选取与特征值的计算,并按 SURF 特征值进行特征匹配,再根据投影图像像 素点与三维网格端点的映射关系计算三维特征点对;最后通过匹配的特征点对求取模型变换矩 阵完成三维模型的配准。实验结果表明,该方法在配准时间变化不大的前提下,有效提高了配 准精度,并具有较好的鲁棒性。     

面向三维点云的端到端细粒度分类网络

针对基于深度学习的三维点云分类方法在元类识别中对子类解译不足的问题,提出一种面向点云的三维模型细分类框架,构建具备层间语义相关和层内上下文感知的端到端细粒度点云网络——FGP-Net.首先以相互连接的卷积算子构建密集连接块,层内利用球邻域查询构造局部区域以完成局部到整体的特征映射,并通过偏置注意力机制关注上下文差异,从而更好地捕捉细粒度属性;然后在层间利用多层特征融合策略探索各层特征间的相关性,通过反向传播学习相关语义信息以提升模型分类性能.在FG3D的3个子数据集Airplane, Chair和Car上的实验结果表明,FGP-Net的总体准确率分别达到95.77%,80.88%和77.94%;与先进的三维点云分类模型PointNet++,PointCNN,Point2Sequence, DGCNN等相比, FGP-Net的分类性能均具有一定的优越性.     

一种运用PCA的深度学习激光点云分类方法

为了提高机载激光雷达数据的分类精度和避免耗时的点云多特征提取,本文在点云去噪的基础上,对点云数据进行相对高程的特征提取,提出一种基于PCA数据降维与Point-Net相结合而形成的网络模型,并将获取的相对高程特征和原始特征经过降维处理后输入到网络中。运用Point-Net网络模型提取的全局特征进行点云分类,返回每个点分类后的标签,并根据点云的坐标信息和标签进行分类结果可视化,实现机载激光雷达点云数据的分类,最后再对得到的分类结果进行精度分析。分类实验表明,此方法获得的点云分类结果较好。     

基于3D-SIFT与4PCS融合的大数据量点云快速配准方法

测量点云与模型点云的配准是视觉定位的关键。针对测量点云数据量大且与CAD模型点云重叠率低造成视觉定位精度差、算法效率低的问题,提出一种基于三维尺度不变特征变换（3D-SIFT）与4点快速鲁棒匹配算法（4PCS）融合的测量点云与模型点云配准方法。首先利用深度相机对零件进行点云提取并对提取到的测量点云进行降噪和滤波处理;接着利用3D-SIFT特征点提取算法对测量点云和CAD模型点云进行特征点提取;最后把提取的特征点作为4PCS算法的初始值进行2种点云数据的配准。与常用的4PCS算法、Super-4PCS算法相比,在算法仿真与实际应用实验结果表明,本文算法在保证配准精度的前提下将配准速度提高30%以上。     

激光点云深度学习的树种识别研究北大核心CSCD

针对激光雷达林业树种分类难以直接使用点云数据的问题,使用基于点云深度学习方法进行树种识别并提出PointNet-GS模型,无需将点云转为三维体素或二维图像,避免数据类型转换造成的特征丢失。以河北省塞罕坝机械林场的落叶松和白桦两个树种为研究对象。首先,将获取的点云数据进行数据预处理、单木分割,提取分割效果较好的单木作为样本;其次,将单木提取的样本进行几何下采样处理,保留更多局部特征便于网络模型学习;最后,将下采样处理的样本输入深度学习模型的网络,自动提取其高维特征进行学习,实现树种分类。实验结果表明,PointNet-GS树种分类精度达89.3%,Kappa系数为0.785,效果优于原始PointNet模型。     

基于Feature-pointNet大场景点云分类

大场景下的激光(Lidar)点云数据分类是一个复杂的问题任务,有时需要多种技术的结合,以获得所需的结果。我们提出了一种基于多维特征矩阵和PointNet的深度神经网络模型。实现了大场景点云下的激光Lidar点云分类工作。文章先将提取点云的三维和二维邻域特征,再将特征进行融合转换为特征矩阵,将局部特征矩阵输入到PointNet框架中提取的全局特征。最后返回每个类别的分数并输出点云分类结果。我们使用公开的Oakland 3D数据集,测试了我们的大场景点云分类框架。实验结果表明,我们的总体分类准确率为98.0%,与其他的点云分类框架相比达到了一个更好的分类效果。     

多模态特征融合与词嵌入驱动的三维检索方法

在基于点云和图像的三维模型分类检索中,现有特征融合方法忽略了模态内的特征信息和模态间的互补信息,存在融合特征丢失的问题,且分类标签和预测特征之间缺乏高维相关性,检索准确率较低。针对该问题,提出一种多模态特征和词嵌入联合驱动的网络结构,以对三维模型进行分类检索。在特征提取过程中,利用特征提取器提取来自点云和视图的三维模型特征,通过共享空间来对齐不同模态的特征。在模态融合过程中,计算不同模态之间的余弦相似度以增强模态特征,将增强特征进行拼接得到融合特征。在模型特征分类的过程中,通过建立词嵌入模型与分类标签的高维相关性实现三维模型特征的统一表示和分类检索。在ModelNet10和ModelNet40数据集上进行实验,结果表明,该网络的平均检索精度均值分别达到92.9%和91.5%,可以获取精准的三维模型特征描述符,与VoxNet、SCIF、MVCNN等检索方法相比,其能显著提高三维模型的检索精度和分类准确率。     

基于特征融合的三维人脸点云质量判断

针对使用双目结构光扫描仪获取的三维人脸点云，提出了一种特征融合网络（FFN）来完成人脸点云质量判断任务。首先，对三维点云预处理切割出人脸面部区域，使用点云和对应的二维平面投影得到的图像作为输入；其次，分别训练用于点云学习的动态图卷积神经网络（DGCNN）和ShuffleNet两个模块；然后，提取出两个网络模块的中间层特征进行特征融合，对整个网络进行微调；最后，使用三层全连接层，实现三维人脸点云的5分类（优秀、普通、条纹、毛刺、变形）。所提FFN的分类正确率为83.7%；分类正确率比ShuffleNet提升了5.8%，比DGCNN提升了2.2%。实验结果表明，加权融合二维图像特征和点云特征可以达到不同特征之间的优势互补效果。     

基于融合分层条件随机场的道路分割模型

为了在道路检测中结合图像的多尺度特征以及点云的空间结构特征,使检测算法能有效地排除道路场景中的阴影、光线等干扰,本文提出一种基于融合分层条件随机场的图像和点云融合的道路分割模型．首先,利用Meanshift算法产生多个尺度的超像素分割,建立基于图像的多尺度分层条件随机场．将点云数据投影到图像平面,再建立基于点云的多尺度分层条件随机场．在条件随机场的像素层和点云层之间建立连接,构造多尺度的融合模型．然后,针对多尺度融合模型中图像层的每一层和点云层的每一层,分别提取对应尺度的图像特征或点云特征．每一层用梯度提升树算法根据提取的特征训练1个分类器,利用每一层的分类器得到对应层的数据项代价．最后,使用α扩张算法对融合模型进行联合优化求解．在KITTI Road数据集上的实验结果表明,该方法具有良好的道路检测性能．     

扩展点态卷积网络的点云分类分割模型

目的 点态卷积网络用于点云分类分割任务时,由于点态卷积算子可直接处理点云数据,逐点提取局部特征向量,解决了结构化点云带来的维度剧增和信息丢失等问题。但是为了保持点云数据结构的一致性,点态卷积算子及卷积网络模型本身并不具有描述点云全局特征的结构,因此,对点态卷积网络模型进行扩展,扩展后的模型具有的全局特征是保证分类分割准确性的重要依据。方法 构造中心点放射模型来描述点云逐点相对于全局的几何约束关系,将其引入到点态卷积网络的特征拼接环节扩展特征向量,从而为点态卷积网络构建完善的局部—全局特征描述,用于点云数据的分类分割任务。首先,将点云视为由中心点以一定方向和距离放射到物体表面的点的集合,由中心点指向点云各点的放射矢量,其矢量大小确定了各点所存在的曲面和对于中心点的紧密程度,矢量方向描述了各点对于中心点的包围方向及存在的射线。进而由点云中的坐标信息得到点云的中心点,逐点计算放射矢量构造中心点放射模型,用以描述点云的全局特征。然后,利用点云数据的坐标信息来检索点的属性,确定卷积中参与特定点卷积运算的邻域,点态卷积算子遍历点云各点,输出逐点局部特征,进一步经多层点态卷积操作得到不同深度上的局部特征描述。最后,将中心点放射模型的全局特征和点态卷积的局部特征拼接,完成特征扩展,得到点态卷积网络的扩展模型。拼接后的局部—全局特征输入全连接层用于类标签预测,输入点态卷积层用于逐点标签预测。结果 在ModelNet40和S3DIS（Stanford large-scale 3D indoor spaces dataset）数据集上分别进行实验,验证模型的分类分割性能。在ModelNet40的分类实验中,与点态卷积网络相比,扩展后的网络模型在整体分类精度和类属分类精度上分别提高1.8%和3.5%,在S3DIS数据集的分割实验中,扩展后的点态卷积网络模型整体分割精度和,类属分割精度分别提高0.7%和2.2%。结论 引入的中心点放射模型可以有效获取点云数据的全局特征,扩展后的点态卷积网络模型实现了更优的分类和分割效果。     

基于三维点云深度学习的路面异物检测

针对采机场跑道异物FOD(ForeignObjectDebris)检测问题,本文设计了一套基于智能车载3D相机采集路面信息并进行异物检测的系统.此系统通过深度图像的深度量化值分布差异初步筛除正常路面,再经过点云异常值过滤与不均匀降样算法对参数进行纠正和数据量缩减,精简后的点云通过对路面数据适应性改进的网络进行异物检测.此网络采用PointCNN网络中的X卷积通过4次卷积提取点云数据进行空间特征,尽可能的保留了异物目标的空间信息,提高检测准确度.通过对采集的数据进行测试实验,本文设计的方法能够准确地识别出异物与非平整路面,准确率接近90％.     

基于特征点提取的三维点云模型水印算法

为了有效提高三维水印的透明性、抗噪能力和水印提取准确度,针对三维网格中不固定点云数据,提出一种基于局部特征点提取的三维点云模型水印算法。根据协方差分析提取出三维模型初始特征点,以初始特征点为核心,在它K近邻邻域中,构建不跨越区域最小三角形为嵌入单元的底面,将剩余顶点按照升序排列,寻找合适的嵌入顶点,构建局部嵌入单元,通过改变嵌入顶点信息来嵌入水印。其中通过顶点在平面投影产生的夹角确定水印索引值,实现盲水印。算法通过保留特征点信息,改变非特征点嵌入水印信息能有效提高透明性和抗噪能力,通过限制嵌入单元区域提高水印提取准确率,同时实现了盲水印检测。     

基于QBFM矩和三维结构的图像哈希算法

为了增强图像哈希算法的分类性能并提高拷贝检测的准确率和效率,提出基于QBFM矩和三维结构的图像哈希算法。首先对彩色图像进行规格化处理,并通过多尺度融合得到高斯融合图像和拉普拉斯融合图像,再对两种融合图像分别提取QBFM特征。同时直接在RGB颜色空间提取高斯融合图像的梯度图像并构造三维模型,利用不同视角下梯度峰顶和峰谷曲线的凹凸点信息得到三维局部结构特征;再对三维模型等距切分,统计各切面的像素数和方差作为三维全局结构特征。最后,将图像的QBFM特征和三维特征结合并置乱构成最终的哈希序列。实验结果表明,算法在鲁棒性和区分性之间有更好的平衡;与现有的哈希算法相比具有较好的图像分类性能;在拷贝检测实验中,算法具有最优的查全率和查准率。