一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

基于注意力机制的语义增强损失函数与全景分割北大核心CSCD

全景分割是计算机视觉中重要的研究方向。考虑到不同应用场景对语义分割精度的要求不同,本文提出一种基于注意力机制的语义增强损失函数和全景分割方法。首先将语义类别按照重要程度分组,加入注意力机制来对不同语义信息进行区分,并通过对损失权重的设计有效抑制了分类失衡问题;其次设计一种全景分割网络,利用MaskR CNN网络作为实例分割子分支并加入FPN结构作为语义分割基准,提高了所需物体种类的分割精度;最后通过设计重叠结果剔除规则避免了网络结构中的实例和语义分割分支输出的重叠问题。通过对COCO数据集的对比实验表明,本文提出的语义增强损失函数有效提高了优先级较高语义类别的分割效果,为不同应用场景的全景分割提供了更加高质量的语义信息。     

融合多尺度信息的道路场景实时语义分割

道路场景语义分割是自动驾驶车辆实现环境感知的重要技术。针对道路场景实时语义分割中存在目标区域尺度不一、变化迅速的问题,在DABNet语义分割网络的基础上进行优化改进提出一种融合多尺度信息的道路场景实时语义分割网络。对于网络设计：首先引入带有自适应卷积核的卷积层优化DAB模块,自适应地引导网络学习最合适的特征图感受野,提高网络获取多尺度语义信息的能力;然后在编码阶段后引入了金字塔池化PSP模块来聚合特征图中不同尺度子区域的上下文信息,提高网络获取全局信息的能力。本网络提高了对大目标区域完整分割,避免小目标区域漏分割的能力,保证较高的道路场景实时语义分割精度。     

融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法

针对交通场景语义分割算法中存在的易融入周围背景的纤细条状目标分割不连续、模型参数量大等问题,提出一种融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法。首先,基于深度卷积构建多尺度条形特征提取模块,在不同尺度下增强对纤细条状目标特征的表示能力。其次,在浅层网络中利用卷积归纳偏置特性设计空间细节辅助模块,以弥补深层空间细节信息的丢失来优化目标边缘分割。最后,提出基于Transformer-CNN框架的非对称编解码网络,编码器结合Transformer与CNN减少细节信息丢失并降低模型参数量;而解码器采用轻量级的多级特征融合设计来进一步建模全局上下文。所提算法在Cityscapes和Cam Vid交通场景公开数据集上分别取得的平均交并比为78.63%和81.06%,能够在交通场景语义分割中实现分割精度和模型大小之间的权衡,具备良好的应用前景。     

基于Deeplab V3+的机器人语义SLAM算法研究

针对机器人在同步定位与地图构建(SLAM)系统中受几何场景信息计算力和带宽负载的限制，对ORB-SLAM2框架进行改进，提出语义跟踪和语义建图线程，语义跟踪线程通过Deeplab V3+对图像语义分割，同时提取该图像特征点，进行移动一致性检查来剔除动态噪声点，结合一致性检查后的特征点和分割后的图像信息来二次检查动态点，随后位姿估计，而语义建图线程主要完成语义八叉树地图的构建。在TUM RGB-D数据集上进行了广泛实验，在walking系列数据中的旋转漂移误差达到1.19m、平移漂移误差达到0.046m,满足实时性要求，所提方法有效提高了SLAM的精度和鲁棒性。     

基于深度卷积神经网络的红外场景理解算法

采用深度学习的方法实现红外图像场景语义理解。首先,建立含有4类别前景目标和1个类别背景的用于语义分割研究的红外图像数据集。其次,以深度卷积神经网络为基础,结合条件随机场后处理优化模型,搭建端到端的红外语义分割算法框架并进行训练。最后,在可见光和红外测试集上对算法框架的输出结果进行评估分析。实验结果表明,采用深度学习的方法对红外图像进行语义分割能实现图像的像素级分类,并获得较高的预测精度。从而可以获得红外图像中景物的形状、种类、位置分布等信息,实现红外场景的语义理解。     

基于Transformer的实时语义分割网络及应用北大核心CSCD

为提升机器人对电缆隧道场景的环境感知能力,提出了一种适用于电缆隧道场景的实时语义分割网络。使用Transformer结构提取图像全局语义信息,同时使用卷积神经网络捕获图像局部细节信息,将二者结合增强图像分割精度。同时,针对机器人以及隧道特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明,所提出的网络在公共数据集Cityscapes、CamVid上平均交叉联合度量分别为77.2%、76.8%,相比BiSeNet分别提高了8.8%、8.1%,并能较好地适应于实际电缆隧道环境中,提供有效的场景感知信息,实现自主避障。     

基于双注意力机制图像分割模型的研究

本文研究的图像语义分割是计算机视觉研究的重要部分,为提高场景图像语义分割的准确率,且考虑到基于全卷积神经网络的双重语义分割模型(Dual-Attention)存在边缘分割不均匀、正负样本不平衡的问题。本文采用边缘模块,增强边缘分割能力并且优化图像的边缘细节;采用一种基于样本距离的损失函数,来调节正负样本。在场景cityscapes数据集上进行了实验与验证,结果表明改进之后的模型单尺度平均交并比(MIoU)相比原算法相对提高2.96%。它能够更加精细地分割目标,较好地解决分割边界不精细,有效地抑制边界区域分割的不均匀问题。     

基于空间语义对象混合学习的复杂图像场景自动分类方法研究

场景分类是将多幅图像标记为不同语义类别的过程。该文针对现有方法对复杂图像场景分类性能欠佳的不足,提出一种新的基于空间语义对象混合学习的复杂图像场景分类方法。该方法以多尺度分割得到的图像对象而非整幅图像为主体进行产生式语义建模,统计各类有效特征挖掘对象的类别分布信息,并通过空间金字塔匹配,构建包含层次数据和语义信息的中间向量,弥补语义鸿沟的缺陷,训练中还结合判别式学习提高分类器的可信性。在实验数据集上的结果表明该方法具备较高的学习性能和分类精度,适用于多种类型和复杂内容图像的解译,具有较强的实用价值。     

基于改进ERFNet的无人直升机着舰环境语义分割

为增强无人直升机对着舰环境的感知理解,促进其安全高效地实现自主着舰,将ERFNet网络模型应用于无人直升机着舰场景语义分割任务中。首先,结合非对称残差模块和弱瓶颈模块对ERFNet网络模型进行改进,提高运行速度、减少精度损失;其次,利用MultiGenCreator和VegaPrime等技术开发无人机自主着舰仿真系统,并建立无人机自主着舰场景数据集;最后,采用PyTorch深度学习框架实现网络模型,采取模型再训练方法对网络进行学习和训练。实验结果表明,所提网络综合优势明显,平均交并比(Mean Intersection over Union,MIOU)达到76.35%,前向传播时间为22.37 ms。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

合并分割块的点云语义分割方法

随着激光雷达等三维点云获取工具的快速发展,点云的语义信息在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域更具重要意义。针对基于分割块特征匹配的点云语义分割方法无法处理过分割和欠分割点云块、行道树和杆状物的语义分割精度低等问题,提出了一种基于分割块合并策略的行道树和杆状物点云语义分割方法,该方法可对聚类分割后感兴趣的分割块进行合并,通过计算其多维几何特征实现对合并后的物体分类,并使用插值优化算法对分割结果进行优化,最终实现城市道路环境下行道树和杆状物的语义分割。实验结果表明,所提方法可将城市道路环境下的行道树、杆状物等点云数据的召回率和语义分割精度平均提升至89.9%以上。基于分割块合并的语义分割方法,可以很好地解决城市道路下行道树和杆状物语义分割精度低等问题,该方法对于三维场景感知等问题的研究具有重要意义。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

基于DeepLabv3+网络的电流互感器红外图像分割方法

红外图像智能分析是变电设备故障诊断的一种有效方法,目标设备分割是其关键技术。本文针对复杂背景下电流互感器整体分割难的问题,采用基于ResNet50的DeepLabv3+神经网络,用电流互感器的红外图像训练语义分割模型的方法,对收集到的样本采用限制对比度自适应直方图均衡化方法实现图像轮廓增强,构建样本数据集,并运用图像变换扩充样本数据集,搭建语义分割网络训练语义分割模型,实现电流互感器像素与背景像素的二分类。通过文中方法对420张电流互感器红外图像测试,结果表明,该方法的平均交并比（Mean Intersection over Union, MIoU）为87.5%,能够从测试图像中精确分割出电流互感器设备,为后续电流互感器的故障智能诊断做铺垫。     

可变形有效感受野的人体图像语义分割算法

针对现有人体图像前景目标姿态变化、大小差异过大和边缘细节丢失等因素造成分割效果不佳的问题,提出了一种基于可变形有效感受野的人体前景分割算法.该算法将不同尺度的特征图进行融合,减少下采样过程中丢失的空间语义信息;同时结合可变有效感受野模块和边缘细化模块来捕获空间信息和语义信息,以适应算法对不同目标的有效感受野范围,并使有效感受野随目标姿态、大小等形态变化进行扩张;最后采用Focal loss缓解正负样本不均衡的问题.实验结果表明,在Baidu People Segmentation人体分割数据集上,对比其他主流语义分割算法,该算法交并比高达88.45％,相比于主流语义分割算法DeepLabV3+高1.07％,相比于经典算法U-net高3.71％,且运行速度快,稳定性好,具有较高的时效性和良好的鲁棒性.     

基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.     

基于图像语义分割的视障人规避碍物方法研究

我国有上千万的盲人及低视力者，由于道路环境复杂度提升，盲道占用现象严重，导盲系统需要实时、动态地监测图片环境，因此如何提升监测速度是一个关键的问题。基于此，文中提出将实时图像语义分割应用到导盲系统中，以提高系统检测障碍的速度。同时，通过在Cityscapes数据集、CamVid数据集上和其他语义分割模型的对比，验证了该方法在分割精度和推理速度上的优越性。     

Study on traffic scene semantic segmentation method based on convolutional neural network

In order to improve the semantic segmentation accuracy of traffic scene,a segmentation method was proposed based on RGB-D image and convolutional neural network.Firstly,on the basis of semi-global stereo matching algorithm,the disparity map was obtained,and the sample library was established by fusing the disparity map D and RGB image into the four-channel RGB-D image.Then,with two different structures,the networks were trained by using two different learning rate adjustment strategy respectively.Finally,the traffic scene semantic segmentation test was carried out with RGB-D image as the input,and the results were compared with the segmentation method based on RGB image.The experimental results show that the proposed traffic scene segmentation algorithm based on RGB-D image can achieve higher semantic segmentation accuracy than that based on RGB image.     

基于深度学习的酒标分割研究

红酒图像中的酒标区域含有重要的红酒品类信息,而对酒标区域的定位与分割可以有效去除背景区域对图像匹配算法的干扰。传统图像分割算法大多基于局部图像特征和人工设计规则,对噪声较为敏感,并且难以应对大规模数据的处理。针对传统算法的不足,本文首先构造了一个大规模酒标分割数据集,然后提出了一种基于深度学习的酒标分割方法。我们构造了一个基于残差网络的语义分割模型,并且在模型中加入跨层连接,实现低层特征和高层特征的有效融合,使得分割的边缘细节更加清晰和准确。另外,我们采用了带孔卷积金字塔池化结构整合多尺度信息,在增大模型感受野的同时使得模型适应不同尺度的酒标区域。在我们构造的酒标数据集上的实验结果表明,本文提出的酒标分割网络能够进行实时的酒标图像分割,并且达到了相当高的分割准确率。