基于SIFT特征的多视点云数据配准和拼接算法

针对无特征标志点的大场景多视点云数据,提出了一种新的基于SIFT特征的配准和拼接算法。算法提出了有效纹理图像的概念,并对有效纹理图像进行SIFT特征提取和匹配;然后将提取的SIFT特征点和匹配关系反射到三维点云数据,获取多视点云数据的特征点和匹配关系,完成多视点云数据的拼接。算法在有效纹理图像中提取和匹配特征点,排除了点云数据中孔洞和无效数据的干扰,并且算法只利用较高鲁棒性的特征点对进行拼接,计算简单,匹配精度和效率都得到提高。对室内和室外两个大场景的2个视点数据进行实验,实验结果证明拼接速度和精度都有较大的提高。     

改进高斯混合模型的激光点云数据分类

激光点云数据的无序性会影响激光场景识别和三维重建，导致激光点云数据分类误差大，精度低等问题，为此提出基于改进高斯混合模型的激光点云数据分类方法。首先采集激光点云数据，利用邻域密度算法对数据中的噪声进行分析和去除，然后采用改进高斯混合模型获取数据点间距，将点云数据分类相应类别中，实现激光点云数据分类。实验结果证明，本方法可以有效去除激光点云数据中的孤立点，提高了激光点云数据分类精度，激光点云数据分类结果可满足激光三维重建要求。     

基于图像分割的点云去噪方法

在基于结构光条纹投影的三维形貌测量中，由于环境等各种因素的影响会产生各种噪声。在现有的点云去噪方法中，通过分析三维空间和点云的几何关系进行点云噪声的去除存在计算复杂、效率低等问题。为了提高点云精度和点云去噪的速度，提出了一种基于图像分割的点云去噪方法。首先，根据结构光条纹投影重构的三维点云建立二维点云映射图像；其次，利用图像阈值分割方法和区域生长方法对二维点云映射图像进行图像分割；然后，对分割出的噪声区域进行记录并去除；最后，对新的二维点云映射图像重新进行三维重建得出去除噪声的点云。实验结果表明，经过该方法处理后点云精度可以达到99.974%，去噪时间为0.954 s。所提方法可以有效去除点云噪声，避免在三维空间进行复杂的计算。     

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为859,比其他模型平均高出35,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。     

基于Transformer的体素化激光点云目标检测算法

3D点云目标检测是计算机3D视觉中的一个关键技术,本文针对激光雷达点云数据的稀疏性、无序性和数据量大,导致神经网络运算效率慢、检测精度低等问题,开展了基于激光雷达点云的目标检测算法研究。在激光雷达点云数据处理阶段,我们将原始点云数据体素化,解决了点云稀疏性和无序性问题,然后使用多层特征下采样层构建特征金字塔,实验验证了该方法使网络在训练阶段更快收敛,有效减少点云数据量大导致的网络运算开销,网络运算效率提升～39；同时,我们通过引入Transformer注意力模块,提高网络对点云目标关键特征的学习能力,使目标检测的准确率达到885。总体实验结果表明,本文算法在确保检测精度的前提下,提升了网络运算效率。     

基于雷达传感器和改进深度学习的无人机目标检测方法

针对当前无人机目标检测技术精确度低、受环境影响大的缺点,依托运动相机与激光雷达设备,提出了基于改进深度学习的无人机目标检测方法：在深度图像网络架构的基础上,引入残差网络提升算法精度,利用MobileNet加速深度学习的过程,从而利用改进的RetinaNet算法实现无人机精确目标识别与定位;针对点云数据无法通过二维投影准确计算距离的问题,提出通过直方图网络精确估计检测目标的视觉距离。实验结果表明,在不同的复杂环境条件下,与Faster R-CNN相比,所提方法检测精度更高、使用场景更广、运算速度更快,平均精度比Faster R-CNN算法高出1.5%。     

基于双层孪生神经网络的区块链智能合约分类方法

当前通过深度学习方法进行区块链智能合约分类的方法越来越流行,但基于深度学习的方法往往需要大量的样本标签数据去进行有监督的模型训练,才能达到较高的分类性能。该文针对当前可用智能合约数据集存在数据类别不均衡以及标注数据量过少会导致模型训练困难,分类性能不佳的问题,提出基于双层孪生神经网络的小样本场景下的区块链智能合约分类方法：首先,通过分析智能合约数据特征,构建了可以捕获较长合约数据特征的双层孪生神经网络模型;然后,基于该模型设计了小样本场景下的智能合约训练策略和分类方法。最后,实验结果表明,该文所提方法在小样本场景下的分类性能优于目前最先进的智能合约分类方法,分类准确率达到94.7%,F1值达到94.6%,同时该方法对标签数据的需求更低,仅需同类型其他方法约20%数据量。     

基于空间感知和特征增强的三维点云分类与分割研究

针对直接处理点云数据的深度神经网络PointNet++无法充分学习点云形状信息的问题,提出一种融合空间感知模块和特征增强模块(spatial awareness and feature enhancement,SAFE) 的三维点云分类与分割方法(SAFE-PointNet++) 。首先,设计了空间感知(spatial awareness,SA) 模块,使特征提取网络在特征升维时融合了包含空间结构的权重信息,增强了特征在空间上的表现力。其次,设计了特征增强(feature enhancement,FE) 模块,通过把增强后的几何信息和附加信息拆分并分别进行编码,达到充分利用点云附加信息的目的。实验结果表明,在ModelNet40和S3DIS数据集上,SAFE-PointNet++与其他10种经典网络相比具有更高的分类和分割精度。     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。     

高低维双局部特征融合的点云分类分割网络

点云的分类和分割是三维点云网络的基础步骤,是三维重建、目标识别和自动驾驶等研究的关键环节。针对现有三维点云网络进行分类和分割时无法充分利用点云局部信息而导致精度不高的问题,提出了一种高低维双局部特征融合的点云分类分割网络。本文网络利用图卷积提取点云基于位置信息的低维局部特征,并通过注意力机制提取点云基于语义信息的高维局部特征,同时使用多层感知机提取点云的全局特征,通过多个特征融合的方式来提高点云分类和分割的精度。实验结果表明:本文网络在点云分类任务中,总体精度达到934,平均精度达到903;在点云分割任务中,平均交并比达到862;相较于现有的主流网络具有较好的分类和分割精度。同时对于稀疏点云输入的问题,本文网络具有较强的鲁棒性。     

道路三维点云多特征卷积神经网络语义分割方法

针对道路场景下三维激光点云语义分割精度低的问题,提出了一种基于卷积神经网络并结合几何点云多特征的端到端的语义分割方法。首先,通过球面投影构造出点云距离、相邻夹角及表面曲率等特征图像,以便于应用卷积神经网络;接着,利用卷积神经网络对多特征图像进行语义分割,得到像素级的分割结果。所提方法将传统点云特征融入到卷积神经网络中,提升了语义分割效果。使用KITTI点云数据集进行测试,结果表明:所提三维点云多特征卷积神经网络语义分割方法的效果优于SqueezeSeg V2等没有结合点云特征的语义分割方法;与SqueezeSeg V2网络相比,所提方法对车辆、自行车和行人分割的精确率分别提高了0.3、21.4、14.5个百分点。     

Efficient graph attentional network for 3D object detection from Frustum-based LiDAR point clouds

LiDAR-based 3D object detection is important for autonomous driving scene perception, but point clouds produced by LiDAR are irregular and unstructured in nature, and cannot be adopted by the conventional Convolutional Neural Networks (CNN). Recently, Graph Convolutional Networks (GCN) has been proved as an ideal way to handle non-Euclidean structure data, as well as for point cloud processing. However, GCN involves massive computation for searching adjacent nodes, and the heavy computational cost limits its applications in processing large-scale LiDAR point cloud in autonomous driving. In this work, we adopt a frustum-based point cloud-image fusion scheme to reduce the amount of LiDAR point clouds, thus making the GCN-based large-scale LiDAR point clouds feature learning feasible. On this basis, we propose an efficient graph attentional network to accomplish the goal of 3D object detection in autonomous driving, which can learn features from raw LiDAR point cloud directly without any conversions. We evaluate the model on the public KITTI benchmark dataset, the 3D detection mAP is 63.72% on KITTI Cars, Pedestrian and Cyclists, and the inference speed achieves 7.9 fps on a single GPU, which is faster than other methods of the same type.     

Light bottle transformer based large scale point cloud classification

With the rapid development of computer vision, point clouds technique was widely used in practical applications, such as obstacle detection, roadside detection, smart city construction, etc. However, how to efficiently identify the large scale point clouds is still an open challenge. For relieving the large computation consumption and low accuracy problem in point cloud classification, a large scale point cloud classification framework based on light bottle transformer (light-BotNet) is proposed. Firstly, the two-dimensional (2D) and three-dimensional (3D) feature values of large scale point cloud were extracted for constructing point cloud feature images, which employed the prior knowledge to normalize the point cloud features. Then, the feature images are input to the classification network, and the light-BotNet network is applied for point cloud classification. It is an interesting attempt to combine the traditional image features with the transformer network. For proving the performance of the proposed method, the large scale point cloud benchmark Oakland 3D is utilized. In the experiments, the proposed method achieved 98.1% accuracy on the Oakland 3D dataset. Compared with the other methods, it can both reduce the memory consumption and improve the classification accuracy in large scale point cloud classification.     

基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节。针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNet++对改进后的三维点云语义分割效果进行检验,实验表明:在丰富了网络输入端的数据信息后,模型的总体准确度提高了6.65 %。     

基于体素化图卷积网络的三维点云目标检测方法

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。     

融合深度卷积网络与点云网络的三维车辆检测方法分析

在常规的车辆目标检测中,YOLO,SSD,RCNN等深度模型都获得了较好的检测效果,但是在无人驾驶系统中,车辆的速度、方向、相对距离等因素对于系统来说十分重要,所以采用二维车辆检测对于驾驶场景的理解还远远不够。激光点云数据蕴含着丰富的三维环境信息,融合点云数据和深度网络的三维车辆检测已成为未来的发展方向。文章给出了一种基于点云网络与卷积神经网络的三维车辆检测方法,首先,使用CRC和输入尺寸有关的SDP技术来提高车辆检测的准确性;其次,采用点云网络结构(Pointnet)来处理点云数据,实现三维目标检测,研究表明设计网络结构在检测精度上有着较大的优势。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

Wavelet based deep learning for depth estimation from single fringe pattern of fringe projection profilometry

Depth estimation from single fringe pattern is a fundamental task in the field of fringe projection three-dimensional (3D) measurement. Deep learning based on a convolutional neural network (CNN) has attracted more and more attention in fringe projection profilometry (FPP). However, most of the studies focus on complex network architecture to improve the accuracy of depth estimation with deeper and wider network architecture, which takes greater computational and lower speed. In this letter, we propose a simple method to combine wavelet transform and deep learning method for depth estimation from the single fringe pattern. Specially, the fringe pattern is decomposed into low-frequency and high-frequency details by the two-dimensional (2D) wavelet transform, which are used in the CNN network. Experiment results demonstrate that the wavelet-based deep learning method can reduce the computational complexity of the model by 4 times and improve the accuracy of depth estimation. The proposed wavelet-based deep learning models (UNet-Wavelet and hNet-Wavelet) are efficient for depth estimation of single fringe pattern, achieving better performance than the original UNet and hNet models in both qualitative and quantitative evaluation.