基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

利用卷积神经网络的自动驾驶场景语义分割

图像语义分割是现代自动驾驶系统的一个必要部分,因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率,且考虑到当下流行的基于卷积神经网络的语义分割模型(DeepLab v3+)无法有效地利用注意力信息,导致分割边界粗糙等问题,提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块,提取出图像语义级别的信息,通过学习图像的位置信息和通道信息得到更加丰富的特征;从卷积神经网络输出的各类别得分值计算出单点势能,且从初步分割图和原图得到成对势能,以便全连接条件随机场对图像的全部像素进行建模,并且优化图像的局部细节;全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试,与DeepLab v3+相比较,改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标,较好地解决分割边界粗糙,有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。     

双边特征聚合与注意力机制点云语义分割

机器视觉是环境感知的重要手段之一,是自动驾驶、机器人、工业检测等领域的研究热点,而点云数据的精细分析是其 中的一项关键技术。 针对大尺度真实场景点云数据分割精度低的问题,提出了一种适用于点云数据语义分割的网络结构。 首 先,构建了一个双边特征聚合结构,通过分别处理点云的几何信息和语义信息,达到充分利用点云特征信息的目的。 其次,使用 近邻特征的高维空间相关性计算点与点之间的相互作用,进行局部邻域的上下文信息增强。 提出了一种混合池化结构代替最 大值池化,减少信息损失,使用横向跨层池化连接来增强特征多样性。 最后,引入注意力机制提取全局特征,滤除尺度噪声,增 强特征在空间上的表现力。 实验结果表明,该方法在大尺度真实场景点云数据集 S3DIS 上的平均交并比为 68. 2% ,平均准确率 为 80. 7% ,比 PointNet 提高了 20. 6% 和 14. 5% ,客观指标优于已有的代表性方法。     

基于优化YOLOv5s的道路场景车辆检测算法研究

为了解决人工识别车辆耗时耗力的问题,开展了面向道路场景的智能车辆检测算法研究,旨在实现智能化的车辆检测。提出了一种基于深度学习的道路车辆检测模型,通过采用轻量化且易于部署和开发的YOLOv5s模型作为基础模型,同时引入CA、SE和CBAM三个经典的注意力模块来替换YOLOv5的主干网络中的C3模块,使网络模型能够更好地聚焦于车辆区域,提升了车辆检测的准确性。这使得模型在保持高效性和易用性的同时,能够更好地适应复杂道路场景下的车辆检测需求。实验结果显示,将CBAM注意力模块引入网络模型后,在UA-DETRAC数据集上进行车辆检测的平均精度均值可达92.3%,相比其他注意力模块,其表现更为出色。这一研究结果对于实现智能化的车辆检测具有重要意义,有望为道路交通监控、驾驶辅助系统等应用提供更可靠的解决方案。     

融合分形几何特征Resnet遥感图像建筑物分割

针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题,提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架,以Resnet网络为主干网络,在编码阶段中引入融合分形先验的空洞空间金字塔池化模块(FD-ASPP),利用分形维数捕获遥感图像的分形特征,增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制(DSCAF),有效融合高层次特征和低层次特征,获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明,精确率达到0.944 8,召回率达到0.946 2,F1分数达到0.945 5,平均交并比mIoU达到0.941 5。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比,具有更好的分割精度,有效克服了道路、树木、阴影等因素的干扰,得到了较清晰的建筑物边界。     

基于多路径网络的权值调整图像语义分割算法

为提高图像语义分割准确程度,针对场景解析中类别边缘分辨清晰度,提出了一种基于多路径网络的权值调整图像语义分割算法。通过引入多路径网络和权值调整并对图像场景中的物体类别具有的特征进行分析,提高图像的语义分割的准确程度;通过采用ADE20K数据集进行训练,提高边缘信息的分割效果,使模型具有更好的泛化能力。此算法加快了网络收敛速度。     

一种结合域自适应的图像语义分割算法

语义分割为图像分配像素级稠密标签,对场景理解具有重要作用,是视觉研究核心任务之一,涉及自动驾驶、医学成像等实际应用.现有基于深度神经网络的图像语义分割方法的训练需要大量标记数据,这些数据的收集和标记成本高昂,这很大程度上限制了此类方法的实际应用.为解决此问题,这里使用成本较低的计算机生成并标记的逼真的合成数据训练深度神经网络.但真实图像与合成图像在分布域上存在的差异会降低模型性能,因此这里使用一种对抗学习方法来实现域的自适应,以解决上述问题.又因为语义分割的结构化输出描述了源域与目标域的空间相似性,所以这里选择在语义分割的输出空间上实现域自适应方法.在此基础上,这里又于不同级别的空间构建多级域自适应网络以提升模型性能.     

基于DeepLabV3+与超像素优化的语义分割

针对基于深度学习的DeepLabV3+语义分割算法在编码特征提取阶段大量细节信息被丢失,导致其在物体边缘部分分割效果不佳的问题,本文提出了基于DeepLabV3+与超像素优化的语义分割算法。首先,使用DeepLabV3+模型提取图像语义特征并得到粗糙的语义分割结果;然后,使用SLIC超像素分割算法将输入图像分割成超像素图像;最后,融合高层抽象的语义特征和超像素的细节信息,得到边缘优化的语义分割结果。在PASCAL VOC 2O12数据集上的实验表明,相比较DeepLabV3+语义分割算法,本文算法在物体边缘等细节部分有着更好的语义分割性能,其mIoU值达到83.8%,性能得到显著提高并达到了目前领先的水平。     

融合注意力机制的金属锅圆柱表面缺陷检测

为实现高亮反射金属圆柱形锅的自动快速检测及分拣,破解目前金属锅表面缺陷检测速度慢、效率低的技术难题,在YOLOX网络基础上引入双向特征融合网络,提出基于注意力机制的轻量化特征融合网络模型,实现计算模型的轻量化设计;同时,通过注意力机制模块对特征信息进行通道与空间的学习,有效缓解多尺度特征的语义鸿沟问题,提高了模型的检测精度;考虑网络对难易分类样本学习权重分配不平衡,设计基于衰减因子的分类损失函数;利用金属锅圆柱表面缺陷数据集完成了特征融合网络对比实验、分类损失函数对比实验和注意力机制模块位置消融实验。实验结果表明,融合注意力机制模型可有效识别6种不同形态的缺陷,测试集的平均检测精度mAP0.5达到90.92%,检测帧率达到30.84 frame/s,实现了金属锅圆柱表面缺陷的高精度快速识别与定位。     

基于改进DeepLabV3+的铁谱图像语义分割

针对传统铁谱图像分割方法需要人工设计特征、存在特征冗余及误差累积等缺点,提出一种改进的DeepLabV3+方法,实现了对铁谱图像中严重滑动、疲劳、切削等6种磨粒的语义分割.该方法在DeepLabV3+基础上,引入密集连接的空洞空间池化金字塔模块,以增大感受野;通过改进密集金字塔模块,采用互质膨胀率的空洞卷积,避免了栅格效应;采用全连接条件随机场以改善分割结果.实验结果表明:该方法在铁谱图像测试集上的平均交占比为87.1％.     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

融合双注意力机制EfficientNet的沥青路面状态分类方法

针对现有EfficientNet模型应用于沥青路面状态分类时，卷积操作易导致高层特征信息丢失问题，在现有EfficientNet模型的深层结构中引入一种双注意力机制，包含通道注意力模块和位置注意力模块，借助Sigmoid线性单元（Sigmoid linear unit，SiLU）激活函数和余弦学习率衰减策略，提出一种融合双注意力机制EfficientNet （Dual attention network based on EfficientNet，DAEfficientNet）的沥青路面状态分类方法。首先，建立不同天气下5种沥青路面共5 938张图像作为数据集，积雪样本来自开源数据集（Canadian adverse driving conditions dataset，CADCD）。然后，对所提出模型进行训练，并得到沥青路面图像分类结果。最后，利用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 score和特异度（Specificity），将所提出模型与其他现有卷积神经网络模型进行分类效果对比分析。试验结果表明：所提出模型优于其他对比模型，能准确、有效地对不同天气下的沥青路面状态进行分类。     

室内场景下实时地三维语义地图构建

移动机器人自主建图是完成智能行为的前提。为提高机器人智能水平和直观的用户交互,地图需要扩展超出几何和外观信息的语义信息。研究了将基于深度残差网络(DRN)的像素级图像语义分割和三维同时定位与建图(SLAM)相融合的三维语义地图构建方法。首先,采用一种联合中值滤波算法进行深度图像的修复,使用改进的迭代最近点(ICP)算法得到相机估计位姿以及基于随机蕨类的闭环检测构建出三维环境地图;其次,采用优化的深度残差网络对输入的图像实现较精准的像素语义级别的预测与分割;最后,采用贝叶斯更新方法,渐进式的将图像分割获取的语义分类标签迁移到重建的室内三维模型中,获得完整的三维语义地图。实验表明,所设计的方法可以在实际的、复杂环境下实时地构建语义地图。     

改进Mask R-CNN的交通场景多目标快速检测与分割

针对智能驾驶中出现的交通场景多目标检测与分割效率低、鲁棒性差等问题,提出一种改进的Mask R-CNN交通场景多目标快速检测与分割方法。首先采用轻量级MobileNet作为骨干网络,有效减少网络参数并压缩模型体积,提升后续嵌入式端的算法移植能力,其次通过优化FPN与骨干网络卷积结构,保证高底层之间特征信息的完整传递,通过调整超参数得到交通场景多目标检测与分割改进网络模型。设计不同交通场景下的对比实验,改进网络能够准确实现多目标的检测与分割,平均检测精度可达85.2%。在ApolloScape和NuScence数据集上进行迁移实验,改进网络展示出良好的泛化能力。本文所提出的改进骨干网络与网络结构优化,能够适应多种复杂交通场景,完成交通场景多目标的快速检测与分割,为智能驾驶提供了理论依据与技术方案。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

基于Vortex与Vega Prime的车辆模拟器动力学与视景仿真

由于Vortex软件在车辆驾驶模拟器动力学与视景仿真中存在虚拟路面离散化程度与建模难度、视景图像渲染速率之间的矛盾,提出了联合Vortex和Vega Prime进行车辆驾驶模拟器动力学与视景仿真方法。建立了同一路面、不同离散程度的三维模型以供Vortex和Vega Prime分别调用,Vortex进行车辆动力学实时解算,Vega Prime进行视景图像特效渲染,利用HLA实现Vortex和Vega Prime仿真例程的同步和数据交互。仿真结果表明,该方法在提高路面离散化程度的同时,不影响场景建模难度和图像的渲染速率,满足实时性和交互性的要求,能较好地完成车辆驾驶模拟器动力学与视景仿真     

基于深度学习的铸件CT图像分割算法

针对现有方法分割弱边缘铸件CT图像难度大、精度低、鲁棒性差的问题,提出一种融合残差模块与混合注意力机制的U型网络分割算法(AttRes-U-Nets)。该算法以U-Net网络为基础,首先构建深度残差网络ResNets作为算法的编码网络,解决传统U-Net网络特征提取能力不足的问题;然后,引入改进后的混合注意力机制,突出分割目标区域与通道的特征响应,提高网络灵敏度;最后,将Focal loss与Dice loss结合为一种新损失函数FD loss缓解样本不平衡带来的负面影响。使用120阀体数据集对算法性能进行验证,实验结果表明,本文算法对铸件分割的像素准确率(PA)和交互比(IoU)分别达到98.72%和97.40%,优于传统U-Net算法与其他主流语义分割算法,为弱边缘分割提供了新思路。     

基于差动驱动的电子差速控制方法研究

针对目前采用转速或转矩控制模式实现电子差速所存在的问题,提出了一种基于差动驱动的电子差速控制方法,从整车动力学层面上设计了基于滑模控制理论的横摆运动控制模块;在充分考虑轮胎摩擦椭圆和执行机构物理限制的基础上,设计了差动驱动控制模块和滑转率控制模块.研究结果表明,该电子差速控制策略简单有效,不但能保证每个驱动轮都有很好的...