基于体素化图卷积网络的三维点云目标检测方法

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。     

引入全局约束的精简人脸关键点检测网络

人脸关键点检测是计算机视觉中的典型问题之一，对于人脸三维重建、表情识别、头部姿态估计、人脸跟踪等有重要影响。目前基于深度神经网络的模型在人脸关键点检测性能表现最为突出，已被广泛采用。但是现有关键点检测深度神经网络结构设计越来越复杂，对于训练和测试需要的计算和存储资源要求越来越高。本文提出一种新的精简的关键点检测网络结构以代替现有的网络结构。相对其他网络结构，精简网络只包含一个特征提取模块，以及由几层反卷积层组成的上采样模块。此外我们在网络结构中加入对人脸所有关键点的全局约束，以减少预测离群点的产生。实验表明引入全局约束的精简网络结构在300-W数据集上取得的检测性能超出了目前典型深度神经网络检测模型。      

远距离监视激光雷达动目标快速检测

激光雷达具有全天候工作、探测精度高、有效探测距离远、易获得三维信息等特点,但工作在远距离模式时,目标点云比较稀疏。当前便携条件下,基于深度学习的算法在激光雷达点云数据直接目标识别时,实时性和成功率尚不能达到远程监视实际工程的要求。针对实际工程中利用激光雷达检测运动目标进而实时引导高分辨率相机的需求,采用基于变化的检测方法,对远距离条件下激光雷达的运动目标检测方法进行了研究,利用点云数据的距离信息,给出三维单高斯模型和三维高斯混合模型检测动目标的过程和方法,提出了利用杂波图恒虚警率检测法处理点云数据的方法。实验表明,与二维图像动目标检测方法相比,三维单高斯模型法会很大程度提高检测准确性,降低虚警率,但仍然存在较高虚警率。为适应复杂三维场景,采用基于三维高斯混合模型的方法进一步降低了虚警率,但也降低了检测速度;而杂波图CFAR的方法具有很高的实时性,同时也具有较好的检测性能。     

高低维双局部特征融合的点云分类分割网络

点云的分类和分割是三维点云网络的基础步骤,是三维重建、目标识别和自动驾驶等研究的关键环节。针对现有三维点云网络进行分类和分割时无法充分利用点云局部信息而导致精度不高的问题,提出了一种高低维双局部特征融合的点云分类分割网络。本文网络利用图卷积提取点云基于位置信息的低维局部特征,并通过注意力机制提取点云基于语义信息的高维局部特征,同时使用多层感知机提取点云的全局特征,通过多个特征融合的方式来提高点云分类和分割的精度。实验结果表明:本文网络在点云分类任务中,总体精度达到934,平均精度达到903;在点云分割任务中,平均交并比达到862;相较于现有的主流网络具有较好的分类和分割精度。同时对于稀疏点云输入的问题,本文网络具有较强的鲁棒性。     

基于雷达点云与图像数据的三维目标检测方法

在智能交通领域中,道路场景的三维目标实时检测对于保障汽车行驶安全具有重要意义.使用雷达点云和图像数据进行融合能够达到优势互补的效果,然而使用这两种数据融合的三维目标检测算法为得到较高的检测精度,通常都采用两阶段网络,相比于单阶段网络运算速度较慢,而在实际应用中检测系统的速度是非常重要的.针对以上问题,在单阶段网络RetinaNet上进行改进,设计了一种三维目标实时检测方法,将三维锚框映射到点云和图像的特征图上,利用ROI池化,将锚框在特征图上裁剪出的区域转换成相同大小并融合,最终输出目标边界框的回归参数和类别,并且对锚框进行调整得到目标预测边界框.在KITTI数据集上进行的实验表明,所研究的网络在行人、车辆等多目标检测的精确度和时间消耗方面均优于对比算法.     

消毒机器人目标识别定位与包围盒优化

为实现公共场所定点消毒目标的识别与定位,确定消毒范围,首先采用深度相机获取公共场所的彩色图像和三维点云;其次训练Mask R-CNN深度网络,进行消毒目标的分类、检测与实例分割,进而获取目标点云;然后通过采样一致性初始配准(SAC-IA)和迭代最近邻点(ICP)精配准方法实现不同视角点云的拼接,获取完整的消毒目标点云;...     

融合深度扩张网络和轻量化网络的目标检测模型

目标检测作为计算机视觉的一个重要研究方向,近年来在算法性能上有了突破性进展.为了更好的提升两阶段目标检测的精度与速度性能,提出了一种基于迁移学习方法的融合深度扩张卷积网络和轻量化网络的检测模型.首先用扩张卷积网络替换主干网络中部分的卷积残差模块——深度扩张卷积网络D_dNet-65;然后对预训练后的特征图进行压缩操作,并增加一个81类的全连接层以确保正常进行分类和回归操作——轻量化网络结构;最后,引入迁移学习方法并融合D_dNet和轻量化网络结构,通过迁移实现模型的进一步优化.实验在典型的数据集MSCOCO以及VOC07上进行.实验评估表明,本文提出的方法具有良好的有效性和可扩展性.     

基于面阵三维成像激光雷达的目标点云分割技术

针对偏振三维成像系统的高效目标三维点云分割问题,提出一种多维信息融合的高效分割理念。系统采用高分辨率EMCCD相机作为面阵探测器,在一次成像过程中,可同时获得视场中的灰度图像以及三维点云数据。根据该成像特点,建立灰度图的像素坐标与点云数据像素坐标之间的点对点映射关系,结合粒子群优化算法的边缘分割方法,将灰度图中目标分割后的坐标信息映射到三维点云数据中,得到其三维点云数据。该方法将三维点云数据降维处理为二维图像处理,显著降低了计算复杂度,避免了点云数据误差对分割精度造成的影响。实验验证了多维数据融合目标三维点云分割方法的有效性。     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高，语义分割技术受到图形、图像领域内学者的广泛关注，其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此，提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征，并使用残差网增强特征的传递，对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题，同时，点云深度学习网络中，残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验，实验结果表明，PCGCN在ShapeNet数据集的准确率达到85.1%，在S3DIS数据集的准确率达到81.3%。     

基于激光雷达与视觉融合的水面漂浮物检测

针对水面清污机器人对漂浮目标的检测问题,提出了一种将三维激光雷达点云数据与视觉信息融合检测的方法.首先,视觉识别部分采用CornerNet-Lite目标检测网络,通过对大量样本的训练实现水面漂浮物的检测,得到候选目标的种类和置信度.然后,通过相机和激光雷达的标定将激光雷达三维点云数据投影到二维像素平面,并根据相对像素面...     

基于二值神经网络的大场景点云分类

近年随着3维数据采集技术不断发展,大场景 点云数据的获取越来越方便。目前深 度学习网络框架在2维图像处理领 域越来越成熟,而大场景点云是一种3维无规则化的数据,3维卷积神经网络直接处理大场 景3维数据会存在分类精度低和计 算复杂等问题。因此为了有效解决基于深度学习的点云分类任务中存在的计算时间长和分类 精度低的问题,本文提出基于二值 神经网络的大场景点云分类方法,针对不规则的3维点云数据设计特征值计算方法,基于IR -Net二值神经网络处理输入的点云 特征图像,进一步采用Dynamic ReLU激活函数,提高神经网络的计算效率,最后得出点云分 类结果。实验结果表明,所提出 的方法在Oakland数据集上分类精度达到97.6%,在GML数据集中取得 了92.3%和97.2%的分类精度,实验结果证明Dy -ResNet 能够有效提升了点云分类的精度,减少计算的复杂度,并提高了训练效率。     

A regional distance regression network for monocular object distance estimation

Monocular pipelines are convenient and cost-effective solutions for object distance estimation in 3D vision. Current methods for monocular object distance estimation either perform inaccurately or require heavy work on data collection. In this paper, we propose a network with R-CNN based structure to implement object detection and distance estimation simultaneously. We append an efficient branch to integrate the information of camera extrinsic parameters with RGB data in our network. Further, optimized multi-scale feature is utilized to enrich the representation power of deep feature, hence to enhance the estimation accuracy. Finally, several regression methods are explored to improve distance estimation results. We train and validate our network on KITTI object dataset, and compare with other methods to show that our method is accurate and easy to train. To prove the generality of our method under other scenarios, we construct a dataset of surveillance scenes, and conduct similar experiments on this dataset.     

基于改进欧式聚类算法的双目主动视觉点云目标检测研究

双目视觉立体匹配时,在同色调表面因为缺乏纹理信息,不仅计算量大且匹配度低, 而且生成的 场景中的点云又具有非结构化、近密远疏的性质, 因此,提高双目视觉匹配的精度与速度, 以及准确分割点 云目标, 一直是点云获取及目标检测中的难点问题。 针对以上问题, 本文首先提出了一种融合主动激光 的 3D 点云目标采集方法, 快速准确地获得原始点云数据; 其次提出了一种基于欧式聚类的改进算法, 使用距离阈值和角度阈值作为阈值分割判断条件进行分段聚类, 得到边界明确的 3D 点云目标检测框。 实验结果表明:所设计的 3D 点云成像系统能够有效获取前方物体的 3D 点云信息,且具有比激光雷达成 本低、易实现、信息丰富等优势;改进后的欧式聚类算法能有效改善传统算法对阈值较为敏感导致的物 体易出现欠分割或过分割的问题, 提高了目标检测的准确率, 在室内场景下具有良好的检测效果。     

基于视觉的道路场景建模

步入21世纪,随着人工智能的发展,智能车的研究成为一大热点,而智能汽车研究的基础就是定位问题。目前有2种定位方法,一种是实时定位与建图(SLAM),另一种则是基于道路场景表征建模的定位方法,两者各有所长。本文针对基于视觉的道路场景表征建模定位方法进行了优化与改进。首先,本文提出了一种对点云处理的方法,对当前Z坐标一定距离内的点云取不同权值,进行加权投影,以此来构建道路的二维场景。采用ORB特征提取算子提取二维特征,并采用视觉里程计算法获取车辆运动轨迹信息。构建了轻量级神经网络,用来检测道路标志特征,例如车道线、斑马线、道路标志牌等。对二维场景精度差的问题进行补充。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

基于深度时空卷积神经网络的点目标检测

由于点目标可用信息少,点目标检测技术是红外搜索与跟踪系统(IRST)中的挑战性难点.基于人工提取特征的传统目标检测,智能化水平低,对点目标检测的难度大.针对此问题,提出一种新的基于深度时空卷积神经网络的点目标检测方法.该方法采用全卷积架构,输入输出尺度相同,可用于处理任意尺度图像.为了提高实时性,卷积分解技术被引入3D...     

Light bottle transformer based large scale point cloud classification

With the rapid development of computer vision, point clouds technique was widely used in practical applications, such as obstacle detection, roadside detection, smart city construction, etc. However, how to efficiently identify the large scale point clouds is still an open challenge. For relieving the large computation consumption and low accuracy problem in point cloud classification, a large scale point cloud classification framework based on light bottle transformer (light-BotNet) is proposed. Firstly, the two-dimensional (2D) and three-dimensional (3D) feature values of large scale point cloud were extracted for constructing point cloud feature images, which employed the prior knowledge to normalize the point cloud features. Then, the feature images are input to the classification network, and the light-BotNet network is applied for point cloud classification. It is an interesting attempt to combine the traditional image features with the transformer network. For proving the performance of the proposed method, the large scale point cloud benchmark Oakland 3D is utilized. In the experiments, the proposed method achieved 98.1% accuracy on the Oakland 3D dataset. Compared with the other methods, it can both reduce the memory consumption and improve the classification accuracy in large scale point cloud classification.     

一种基于网络的实时限速牌识别算法

针对现有关于车载限速牌识别算法所存在的检测速度慢、准确率低、无法应用于嵌入式系统等问题,提出了一种基于网络的实时限速牌识别算法。该算法基于SSD_MobileNet_v1网络框架进行改进,对原来的网络进行架构裁剪以去除冗余结构;同时引入了特征金字塔网络结构,并使用focal loss作为网络训练的分类损失。实验表明,提出的识别算法准确率可达88.11%,虽然略低于目前主流目标检测算法的检测精度,但是网络的每秒帧率(Frame per Second,FPS)可以达到35.13,拥有较快的检测速度,而权重文件只有24 MB 。因此,与其他算法相比,该算法不仅适合小型的嵌入式人工智能（Artifical Intelligence,AI）设备,而且更贴近真实车载场景下的识别。