学习全局引导渐进特征聚合轻量级网络的显著性目标检测

针对目前显著性目标检测算法中存在的特征融合不充分、模型较为冗余等问题,提出了一种基于全局引导渐进特征融合的轻量级显著性目标检测算法.首先,使用轻量特征提取网络MobileNetV3对图像提取不同层次的多尺度特征;然后对MobileNetV3提取的高层语义特征使用轻量级多尺度感受野增强模块以进一步增强其全局特征的表征力;最后设计渐进特征融合模块对多层多尺度特征自顶而下逐步融合,并采用常用的交叉熵损失函数在多个阶段对这些融合特征进行优化,得到由粗到细的显著图.整个网络模型是无需预处理和后处理的端到端结构.在6个基准数据集上进行了大量实验,并采用PR_Curve,F-measure,S-measure和MAE指标来衡量性能.结果表明,所提方法明显优于10种先进的对比方法,并且算法模型大小仅约为10 MB,在GTX2080Ti显卡上处理大小为400×300像素的图像的速度可以达到46帧/秒.     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

基于视图融合和注意力机制的三维小目标识别

三维小目标识别是点云处理中的一个重要问题。针对小目标探测中点云稀疏导致网络提取特征少的问题，提出一种基于视图融合和注意力机制的点云识别网络。传统网络直接作用于单视角点云，其特征只包含目标的一部分，因此提出采用视图融合聚合不同视角下的局部点，以此增强全局特征。接着，针对聚合后的全局点特征提取困难的问题，提出采用注意力机制突出关键局部特征。实验结果表明，提出的方法在公开数据集ModelNet和真实环境中采集的Aircraft数据集上的效果都优于其它流行算法。     

多尺度注意力融合和抗噪声的轻量点云人脸识别模型

在低质量点云人脸数据集上,判别性特征的提取和模型对噪声的鲁棒性是解决点云人脸识别问题 的关键。针对现有轻量点云人脸识别算法不能充分提取判别性特征和数据集中存在大量噪声而影响模型训练的问 题,设计轻量高效的网络模型,提出了基于多尺度注意力融合和抗噪声的自适应损失函数的点云人脸识别算法。 首先通过不同卷积模块获得不同感受野大小的特征图。然后进行多尺度的注意力特征提取,并使用高层的注意力 权重来引导低层注意力权重的生成,最后进行通道融合得到多尺度融合的特征,提升了模型捕获人脸细节特征的 能力。其次,根据低质量点云人脸图像的噪声信息特点,设计了一种新颖的抗噪声的自适应损失函数(anti-noise adaptive loss),以应对数据集大量噪声对模型训练过程中可能造成的负面影响,提升模型的鲁棒性和泛化能力。 在开源数据集 Lock3DFace 和本文提出的 KinectFaces 数据集上的实验结果表明,与当前的主流算法相比该算法模 型在低质量点云人脸识别任务中具有更好的识别效果。     

基于注意力与特征融合的改进SSD目标检测算法

针对目标检测中检测精度低且小目标检测较难的问题,提出了一种基于注意力机制与特征融合的改进SSD目标检测算法。在标准SSD目标检测模型基础上,使用深层特征提取网络ResNet50作为主干网络,在特征提取网络中引入通道-空间注意力机制增强特征图语义信息,计算特征图中像素点之间的影响。最后,将低层特征与高层语义信息进行Concat特征融合,充分利用不同特征图之间的关联信息。此外,使用GIOU代替传统IOU来计算框间的交并比,同时考虑正负样本不均衡的情况,选择Focal损失函数,重新定义了损失函数。实验采用PASCALVOC开源数据集进行仿真验证,并与传统SSD目标检测算法进行对比,准确率得到了一定的提高,验证了该算法对目标检测的有效性。     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

基于原始点云的三维目标检测算法

针对当前三维目标检测中存在的数据降采样难、特征提取不充分、感受野有限、候选包围盒回归质量不高等问题,基于3DSSD三维目标检测算法,提出了一种基于原始点云、单阶段、无锚框的三维目标检测算法RPV-SSD(random point voxel single stage object detector),该算法由随机体素采样层、3D稀疏卷积层、特征聚合层、候选点生成层、区域建议网络层共五个部分组成,主要通过聚合随机体素采样的关键点逐点特征、体素稀疏卷积特征、鸟瞰图特征,进而实现对物体类别、3D包围盒以及物体朝向的预测。在KITTI数据集上的实验表明,该算法整体表现良好,不仅能够命中真值标签中的目标并且回归较好的包围盒,还能够从物体的不完整点云推测出物体的类别及其完整形状,提高目标检测性能。     

基于毛发点云深度剥离的神经渲染与时域稳定性改进方法EI北大核心CSCD

针对现有基于点云的神经渲染网络无法渲染具有时域稳定性的高质量毛发的问题,提出基于毛发点云深度剥离的神经渲染与时域稳定性改进方法.该方法通过对输入点云模型的分层投影,获取不同分层的特征信息;将结果进行融合,以适应毛发半透明特性;将训练好的结果输入到时域稳定性增强网络中,该模块利用相邻帧间点云的重投影得到当前帧和前几帧的依赖关系,生成当前帧的最终结果,从而保证了训练结果的时域稳定性.使用光线追踪生成的高质量毛发数据集进行实验,结果表明,与现有方法相比,该方法可以获得更好的时域稳定性和渲染结果.     

基于改进YOLOX-s的安全帽检测

在施工现场中, 发生过许多高空坠落事故, 因此在施工现场佩戴安全帽是十分有必要的. 针对安全帽佩戴状况检测中遇到的小目标样本缺检、漏检的情况, 提出一种基于YOLOX-s的改进算法. 首先, 在Neck层引入主干特征提取网络中的160×160特征层进行特征融合, 并且增加了一个针对小目标的检测头; 其次, 采用SIoU损失函数计算损失值, 使得网络在训练过程中考虑的损失项更加全面; 并且采用varifocal loss函数来计算置信度损失值, 进一步改善训练过程中存在的正样本与困难样本不均衡的问题, 最后, 采用CA (coordinate attention)注意力机制来增强模型的特征表达能力. 实验结果表明, 通过对Neck层与检测层、损失函数的优化以及引入CA注意力机制, 使得网络在训练过程中收敛与回归性能更佳. 改进后的算法的mAP值为95.57%, 相较于YOLOv3及原YOLOX-s算法在mAP值上分别提高了17.11%、3.59%. 改进后的算法检测速度为54.73帧/s, 符合实时检测速度要求.     

基于最大分类器差异域适应方法的3维点云分类

实现快速且高精度的点云分类算法对自动驾驶、 3维场景识别、地图重建、工业机器人等应用领域起着重要的作用。针对目前传统3维点云分类算法存在着深度学习需要海量带标签训练数据以及在网络中没有考虑到3维点云数据的局部信息的不足,基于最大分类器差异域适应方法,设计了一种3维点云分类框架。首先使用PointNet点云分类网络作为网络的基本框架,其次在特征网络中添加自适应节点模块以处理3维点云的局部特征,最后利用领域自适应方法中的最大分类器差异域适应方法对网络的全局特征进行训练,有效缓解对海量训练数据的依赖性。在3维点云数据集PointDA-10的6种迁移组合对所提方法进行实验验证,在其中5种组合的分类准确率优于传统的点云分类算法,并且在减少20%训练数据量的情况下仍能较传统方法有效提升分类准确率。     

3D object recognition method with multiple feature extraction from LiDAR point clouds

During autonomous driving, fast and accurate object recognition supports environment perception for local path planning of unmanned ground vehicles. Feature extraction and object recognition from large-scale 3D point clouds incur massive computational and time costs. To implement fast environment perception, this paper proposes a 3D recognition system with multiple feature extraction from light detection and ranging point clouds modified by parallel computing. Effective object feature extraction is a necessary step prior to executing an object recognition procedure. In the proposed system, multiple geometry features of a point cloud that resides in corresponding voxels are computed concurrently. In addition, a scale filter is employed to convert feature vectors from uncertain count voxels to a normalized object feature matrix, which is convenient for object-recognizing classifiers. After generating the object feature matrices of all voxels, an initialized multilayer neural network (NN) model is trained offline through a large number of iterations. Using the trained NN model, real-time object recognition is realized using parallel computing technology to accelerate computation.

     

基于深度学习的视觉目标检测技术综述

视觉目标检测旨在定位和识别图像中存在的物体,属于计算机视觉领域的经典任务之一,也是许多计算机视觉任务的前提与基础,在自动驾驶、视频监控等领域具有重要的应用价值,受到研究人员的广泛关注。随着深度学习技术的飞速发展,目标检测取得了巨大的进展。首先,本文总结了深度目标检测在训练和测试过程中的基本流程。训练阶段包括数据预处理、检测网络、标签分配与损失函数计算等过程,测试阶段使用经过训练的检测器生成检测结果并对检测结果进行后处理。然后,回顾基于单目相机的视觉目标检测方法,主要包括基于锚点框的方法、无锚点框的方法和端到端预测的方法等。同时,总结了目标检测中一些常见的子模块设计方法。在基于单目相机的视觉目标检测方法之后,介绍了基于双目相机的视觉目标检测方法。在此基础上,分别对比了单目目标检测和双目目标检测的国内外研究进展情况,并展望了视觉目标检测技术发展趋势。通过总结和分析,希望能够为相关研究人员进行视觉目标检测相关研究提供参考。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。     

自动驾驶3D目标检测研究综述

精确实时地进行目标检测是自动驾驶车辆能够准确感知周围复杂环境的重要功能之一,如何对周围物体的尺寸、距离、位置、姿态等3D信息进行精准判断是自动驾驶3D目标检测的经典难题.服务于自动驾驶的3D目标检测已成为近年来炙手可热的研究领域,鉴于此,对该领域主要研究进展进行综述.首先,介绍自动驾驶感知周围环境各相关传感器的特点;其次,介绍3D目标检测算法并按照传感器获取数据类型将其分为:基于单目/立体图像的算法、基于点云的算法以及图像与点云融合的算法;然后,对每类3D目标检测的经典算法以及改进算法进行详细综述、分析、比较,梳理了当前主流自动驾驶数据集及其3D目标检测算法的评估标准,并对现有文献广泛采用的KITTI和NuScenes数据集实验结果进行对比及分析,归纳了现有算法存在的难点和问题;最后,提出自动驾驶3D目标检测在数据处理、特征提取策略、多传感器融合和数据集分布问题方面可能遇到的机遇及挑战,并对全文进行总结及展望.     

An object detection algorithm combining semantic and geometric information of the 3D point cloud

Accurately detect vehicles or pedestrians from 3D point clouds (3D object detection) is a fast developing research topic in autonomous driving and other domains. The fundamental component for feature extraction in 3D object detection is Set Abstraction (SA), which can downsample points while aggregating points to extract features. However, the current SA ignores the geometric and semantic properties of point clouds and may miss to detect remote small objects. In this paper, FocusSA is proposed, which consists two modules for enhancing useful feature extraction in the SA layer to improve 3D object detection accuracy. At first, Focused FPS (FocFPS) is proposed to evaluate the foreground and boundary scores of the points and reweighs the Furthest Point Sampling (FPS) using the evaluated scores to retain more contextual points in downsampling. Then a Geometry-aware Feature Extraction (GeoFE) module is proposed to add geometric information to enrich the awareness of geometric structure in feature aggregation. To evaluate the performances of the proposed methods, we conduct extensive experiments on three difficulty levels of Car class in KITTI dataset. The experimental results show that on “moderate” instances, our results outperform the state-of-the-art method by 1.08%. Moreover, FocusSA is easy to be plugged in popular architectures.     

一种基于RANSAC的点云特征线提取算法

点云中提取的特征线在点云处理中具有重要的应用价值,已被应用于对称性检测、表面重建及点云与图像之间的注册等。然而,已有的点云特征线提取算法无法有效地处理点云中不可避免的噪声、外点和数据缺失,而随机采样一致性RANSAC由于具有较高的鲁棒性,在图像和三维模型处理中具有广泛的应用。为此,针对由建筑物或机械部件等具有平面特征的物体扫描得到的点云,提出了一种基于RANSAC的特征线提取算法。本算法首先基于RANSAC在点云中检测出多个平面,然后将每个平面参数化域的边界点作为候选,在这些候选点上再应用基于全局约束的RANSAC得到最终的特征线。实验结果表明,该算法对点云中的噪声、外点和数据缺失具有很强的鲁棒性。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

基于环查询和通道注意力的点云分类与分割

点云数据的特征处理是机器人、自动驾驶等领域中三维物体识别技术的关键组成部分,针对点云局部特征信息重复提取、点云物体整体几何结构缺乏识别等问题,提出一种基于环查询和通道注意力的点云分类与分割网络。首先将单层环查询和特征通道注意力机制进行结合,减少局部信息冗余并加强局部特征;然后计算法线变化识别出物体边缘、拐角区域的高响应点,并将其法线特征加入全局特征表示中,加强物体整体几何结构的识别。在 ModelNet40 和 ShapeNet Part 数据集上与多种点云网络进行比较,实验结果表明,该网络不仅有较高的点云分类与分割精度,同时在训练时间和内存占用等方面也优于其他方法,此外对于不同输入点云数量具有较强鲁棒性。因此该网络是一种有效、可行的点云分类与分割网络。     

Automated extraction of street-scene objects from mobile lidar point clouds

Mobile laser scanning or lidar is a new and rapid system to capture high-density three-dimensional (3-D) point clouds. Automatic data segmentation and feature extraction are the key steps for accurate identification and 3-D reconstruction of street-scene objects (e.g. buildings and trees). This article presents a novel method for automated extraction of street-scene objects from mobile lidar point clouds. The proposed method first uses planar division to sort points into different grids, then calculates the weights of points in each grid according to the spatial distribution of mobile lidar points and generates the geo-referenced feature image of the point clouds using the inverse-distance-weighted interpolation method. Finally, the proposed method transforms the extraction of street-scene objects from 3-D mobile lidar point clouds into the extraction of geometric features from two-dimensional (2-D) imagery space, thus simplifying the automated object extraction process. Experimental results show that the proposed method provides a promising solution for automatically extracting street-scene objects from mobile lidar point clouds.