增强点云局部显著性特征的细粒度语义分割网

点云细粒度语义分割，即物体部件分割，在机械臂控制、智能化装配、物体检测等工业生产中有着重要的应用价值。然而由于点云数据形式散乱，导致物体部件边界处几何特征不明显且计算困难，从而致使细粒度分割精度较低，难以满足生产需求。针对点云的部件级分割，本文提出了增强点云局部显著性特征的细粒度语义分割网，网络中构建了局部数据上下文信息，提高细粒度分割精度。本网络建立了利用几何曲率改进的的最远点采样算法，增强点云局部数据子集特征计算能力；创建多尺度高维特征提取器，提取不同尺度的高维特征；在点云特征计算过程中使用seq2seq的方式，引入注意力机制，融合不同尺度的高维特征，进而获取细粒度语义分割的上下文信息。最终使得细粒度分割精度得到了有效提高，尤其是对边界处的分割效果提升显著。实验结果表明，本网络在ShapeNet Part数据集上的总体交并比达到了85.2%，准确率达到95.6%，且具有一定泛化能力。该方法对三维物体的细粒度语义分割具有重要的意义。     

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

基于高空激光雷达扫描系统的稀疏点云分割

针对高空激光雷达扫描系统的性能和复杂大尺度路面稀疏点云数据的分布特征,提出一种基于高空激光雷达扫描系统的稀疏点云分割方法。采用基于点云分块的区域生长算法,在坡路等复杂地面情况下点云数据出现曲面时可以快速准确地分割地面;采用基于密度的DBSCAN聚类算法,使得路面点云稀疏情况下也可以准确地将非路面点云聚类并标记。在港口轮胎式集装箱起重机大车上搭建实验平台,测试港口晴天、雨天两种数据皆可以很好地对路面点云实时分割处理,在应用场景中证明了该分割方法的有效性与实用性。     

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。     

面向服务机器人三维地图创建的大规模点云分割

为了使服务机器人能在室内环境中识别物体并且利用点云自动创建三维VRML地图,针对室内场景中大规模且无规则的点云分割,提出了一种结合RANSAC和聚类的分割算法。该算法充分考虑到室内场景的特征,利用RANSAC提取大平面点云,并在点云当中去除地面等平面环境中的点云数据,最后使用聚类分割物体。此算法充分利用了室内环境的大平面特征和空间上分离特征,有效避免了无规则点云的分割和室内复杂环境导致的分割和运算困难的问题。不同室内环境中的对比实验比较清晰地分割出环境中的主要物体,得到了比较满意的效果。     

一种基于深度学习的图像语义分割方法

基于深度学习的语义分割网络在卷积、池化等操作过程中会出现空间位置信息丢失的问题,导致其分割效果下降.对此,文中以SegNet语义分割网络模型为参考,设计了一种全新的语义分割网络模型Faster-SegNet.该网络模型通过融合多尺度特征图强化特征信息来提高网络分割准确率.使用非对称卷积等方式降低了网络参数量,提高网络分...     

数字化车间目标轻量级语义分割

为了满足数字化车间中生产制造实时的需求，提出一种同时满足准确性与实时性的多金字塔池化轻量级语义分割网络(MPPSNet),旨在实现数字化车间目标的语义分割。MPPSNet网络以改进MobileNetv2作为编码器，能有效减少网络的参数量，提高整体网络运行的实时性；以多金字塔池化网络作为解码器，融合多层特征信息，提高网络的准确性。经过测试，MPPSNet在公开数据集VOC2012上的效果优于FCN8与BiSeNet,基于自建的车间目标语义分割数据集，对人、机床、移动机器人3类车间目标检测的平均交并比(MIoU)指标达到71.8%,整个网络的参数量为2.55 M,能够满足数字化车间目标图像实时准确分割的需要。     

融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。     

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https：//github. com/wawcg/dy＿wcg。     

基于点云稀疏语义特征的智能网联汽车协同感知配准算法

针对道路场景下多智能网联汽车协同感知问题,本文提出一种基于点云稀疏语义特征的智能网联汽车协同感知配准算法。所提算法旨在通过点云集成配准扩展智能网联汽车感知范围,进而实现智能网联汽车协同感知。首先,在道路语义特征基础上进行几何特征提取进而得到点云稀疏语义特征。其次,计算道路语义特征点云间的角度偏差以提供配准初值,并将点云语义信息作为配准约束条件实现全局语义集成配准。实验表明所提算法有效扩大了多智能网联汽车协同感知范围,提高了多点云集成配准的精度与鲁棒性。与当前主流算法JRMPC相比,本文所提算法配准精度提高了2.45%。     

融合下补偿结构的眼底血管图像分割网络研究

眼底血管图像在临床中通常被用于眼部疾病的诊断及监测，其中血管的形态结构能够反映疾病的重要特征，因此，眼底血管图像的分割处理对眼部疾病的诊断和预防具有十分重要的医学意义。针对目前人工智能主流算法中卷积和池化操作会导致很多特征丢失，提取特征时会忽视图像中的空间信息，图像中的细小血管很难分割出来等问题，基于U-net模型进行了相关研究，结合空间注意力模块对空间特征进行细化，同时提出了一种下补偿结构LCSAnet。该结构能够减少网络提取特征信息过程中的特征损失，从而提高分割精度。研究实验在DRIVE数据集上完成，LC-SAnet的分割准确率达到96.97%,F1值达到74.36%。结果证明，LC-SAnet表现出更好的分割性能，对细小血管的结构识别更加准确。     

基于法向量区域聚类分割的点云特征线提取

针对逆向工程领域中散乱点云模型过渡线及细节特征线提取不完整问题,提出一种法向量区域聚类的特征线提取方法。采用自适应邻域的主成分分析法估算模型的法向量,利用萤火虫算法优化的模糊C均值聚类算法对法向量的进行聚类实现模型的有效分割。构造点集剔除与合并准则从各分割块边界点集中析取候选特征点,再以局部邻域主轴方向为基准提取特征点。实验结果表明：简单模型的特征线基本可准确完整提取,相对复杂模型的特征线数量提取率可达90%,长度提取率达到了85%。算法具有良好的自适应性和准确性,能有效提取点云模型尖锐特征和细节特征,并尽可能多地保留模型过渡特征。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于X射线图像和激光点云的煤矸识别方法

煤矸高效分选是实现煤炭资源绿色开采的重要手段,其核心技术是煤和矸石的快速精准识别。因此,本文提出了基于X射线图像和激光点云融合的煤矸识别方法。首先,设计了基于局部熵和全局均差加权的改进Otsu分割算法,以此提高X射线图像的分割精度和分割效率;同时,利用直通滤波和体素栅格降采样简化了煤矸激光点云数据,进而提取了X射线图像和激光点云的煤矸组合特征。然后,针对传统麻雀搜索算法(SSA)易陷入局部最优和种群多样性差等问题,提出了多策略改进的SSA算法(ISSA),并用于轻量梯度提升机(LightGBM)参数的寻优,进而设计了基于ISSA-LightGBM的煤矸快速识别模型。最后,搭建了煤矸识别实验平台,开展了相应的实验对比分析,结果表明：ISSA-LightGBM模型的煤矸识别准确达99.00%,综合性能优于其它模型,满足了煤矸高效识别的需求。     

顾及长尾分布的机载LiDAR点 CNN 语义分割

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象，构建顾及数据长尾分布的机载LEDAR点云语义分割网络，主要涉及两方面内容，聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移（Mearshift）聚类组合策略，最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习；空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习，以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明，本文网络模型整体分割精度和平均F，较 PointNet++分别提升6.3%和6.6%，并优于其它6种PointNet++系列网络模型及新公布的10种网络模型，具有良好的泛化性能与应用价值。     

基于特征信息分类的三维点数据去噪

为了有效去除获取三维点云数据时的噪声,同时又不损失模型的特征信息,提出了一种基于三维点云特征信息分类的去噪算法。首先采用主成分分析法和二次曲面拟合法估算三维点云的微分几何信息;然后根据点云平均曲率的局部特征权值,将点云数据划分为特征信息较少的平坦区域和特征信息丰富的区域,针对不同特征区域分别采用邻域距离平均滤波算法和自适应双边滤波算法进行去噪滤波。实验结果表明:滤波后点云数据的最大误差为0.144 7mm,标准偏差为0.021 0mm。在不同噪声强度下,该去噪算法均能够达到较好的去噪效果,并保留点云的高频特征信息。     

基于Deeplabv3+和注意力机制的道路场景语义分割方法

在自动驾驶技术研究中,理解道路场景是提高驾驶安全性的保障.语义分割技术可以在像素级别上,将图片分割成与语义类别相关联的不同图像区域,可以辅助车辆感知、理解周围的道路环境信息,从而提高驾驶安全性.当下流行的语义分割模型Deeplabv3+在分割任务中,存在细小目标被漏分割以及外形相似物体容易被误判等现象,导致分割边界粗糙,精准度降低.针对此问题,在Deeplabv3+网络结构的基础上,结合注意力机制加重分割区域的权重,提出一种改进的Deeplabv3+融合注意力机制的道路场景语义分割方法.首先,在Deeplabv3+编码端引入一组并联的位置注意力模块和空间注意力模块,捕获更多空间上下文信息和高级语义信息.然后,在解码端引入注意力机制恢复空间细节信息,并对数据归一化处理,加快模型收敛速度.将不同方式引入注意力机制的模型分割效果进行对比,在CamVid数据集和Cityscapes数据集上进行了测试.实验结果表明,相比Deeplabv3+,改进后的模型分割准确度平均交并比在两个数据集上分别提升了6.88％和2.58％,效果优于Deeplabv3+.该方法不会明显加大网络计算量和复杂度,具有良好的分割速度和准确性的兼顾.