动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图（SLAM）鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差（SD）值最高分别提升98%和97%。     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。     

面向自动驾驶的交通场景语义分割

交通场景语义分割在自动驾驶中必不可少.为了解决目前的交通场景语义分割方法中由于池化、卷积等操作而造成的目标边界分割模糊、多类别目标及相似物体分割精度低等问题,提出一种带注意力机制的卷积神经网络分割方法.特征提取时,引入多样化的扩张卷积,以挖掘多尺度的语义信息.在信息解码后,添加通道及空间双注意力模块,可以在通道和空间两个维度层面进行注意力特征提取,让网络在学习过程中更侧重于重要信息.在Cityscapes数据集上的实验结果表明,该语义分割网络的平均交并比(MIoU)可达71.6％,超过了基网络为ResNet50的DeepLabv3+语义分割网络.所提方法能更加精细地分割出近似物体及多类别目标,对复杂交通场景图像的理解力更强.     

改进DeepLabv2的实时图像语义分割算法

图像语义分割是计算机视觉感知系统的重要组成之一,针对现有的语义分割算法存在分割速度慢的问题提出基于DeepLabv2改进的实时图像语义分割算法。与DeepLabv2相比,改进后的算法使用轻量卷积神经网络Xception作为编码器,增加特征金字塔网络（Feature Pyramid Net,FPN）解码特征的过程,减少空洞金字塔池化网络（Atrous convolution Spatial Pyramid Pooling,ASPP）参数的数量,进而大幅度压缩了算法模型,提升了算法分割速度。此外,还对Focal Loss损失函数在多分类任务中难以选择超参数的问题做出改进,并用于提升算法分割精度。在Cityscapes和Pascal VOC2012数据集上的实验结果表明改进后的算法可达到实时分割速度且具有分割精度高的优点,同时还表明提出的超参数选择方法可进一步提升算法分割精度。     

基于DeepLabv3+的轻量级电力线语义分割方法

针对电力巡检中传统视觉电力线识别精度不高，现有基于深度学习的电力线分割速度慢的问题，提出一种基于DeepLabv3+的轻量级电力线语义分割方法。首先使用Mobilenetv2替换原始主干网络Xception，并对ASPP模块进行先降维后升维的操作，在不降低模型感受野和分割精度的情况了减少了模型的参数量。使用Focal Loss和Dice Loss组合的损失函数加强了模型对电力线的分割效果，最后采用多尺度特征融合和注意力机制进一步减少了分割结果中的图像噪点。改进的DeepLabv3+相较于原网络分割速度提升了108.65%,mIoU和mPA分别提升了1.58%和2.09%。     

脊柱MR图像自动分割方法的研究

脊柱磁共振（magnetic resonance,MR）图像精确分割是脊柱配准、三维重建等技术的前提。传统脊柱MR图像分割方法过程繁琐,精度低。为克服传统方法弊端,提出了一种基于深度学习的脊柱MR图像自动分割方法。该方法构建对称通道卷积神经网络提取多尺度图像特征,通过残差连接解决训练中网络退化问题,同时用跳跃连接层连接中间层特征减少信息丢失。在搭建的网络模型中加入卷积块注意力机制关注空间和通道中的有效特征。实验结果表明,该模型在测试集上的平均DSC系数为0.861?9,相比FCN、U-Net、DeeplabV3+和UNet++网络模型分别提高了15.34%、7.08%、5.79%、3.1%。该模型可应用于临床实践中提升脊柱MR图像的分割精度。     

改进DeepLabv3+网络的钢板表面缺陷检测研究

针对钢板表面缺陷检测中存在的边缘分割粗糙、漏检和误检率高等问题，提出了一种引入注意力机制的多尺度特征融合的DeepLabv3+检测方法。在DeepLabv3+网络的解码区中，充分利用多尺度特征信息，对跃层特征融合进行优化，保留浅层特征并对深层特征进行了细化的上采样操作，获得更精细的缺陷边缘；在编码区主干网络ResNet101中引入坐标注意力机制，增强特征提取能力，提高分割准确率。设计了加权Dice损失和二元交叉熵损失（BCEloss）结合的优化损失函数来缓解样本不均衡的问题，提高分割精度。改进DeepLabv3+网络的Dice系数和mIoU值分别提高了6.0%和7.92%，刮痕缺陷边缘分割更准确，对凹坑、边缘裂纹与氧化铁皮缺陷的分割效果提升明显，实验结果验证了该方法处理钢板表面缺陷问题的有效性。     

基于深度学习的无人机地物图像分割方法

针对无人机地物图像的传统分割方法工程量大,效率低下,深度学习的无人机地物图像分割算法在复杂场景下精度不高和数据集的类别不均衡（长尾数据）等问题,提出一种基于深度学习的高分辨率无人机地物图像分割方法,用于提高不同地貌区域的分割精度。在语义分割模型DeepLabv3的基础上进行改进,将原始主干网络ResNet101替换为ResNet152并添加预训练模型,调整扩张卷积空间金字塔池化模块的扩张率,采用类别平衡损失函数来解决长尾数据问题。在采集的无人机地物图像数据集上进行训练并通过测试集的分割效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上平均交并比达到70.8%,相比原始模型提升了27.2%,能够得到效果更好的分割结果。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于改进U-Net的卫星图像分割算法

为解决传统模型与算法对遥感卫星图像小目标的分割精度低、泛化能力差等问题,提出一种基于改进U-Net的图像分割算法。将骨干网络改为ResNet18并加入优化后的空洞卷积池化金字塔与卷积注意力机制模块,充分提取小目标边缘特征。该算法在中国南部某地区的公开卫星图像数据集上的平均交并比与分割总精度分别达到了75.8%与95.6%,均超过U-Net、DeepLabV3+、SegNet、W-Net等主流语义分割网络。实验结果表明,该算法能有效改善网络的预测精度与小目标的分割结果。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。     

结合超像素分割的多尺度特征融合图像语义分割算法

深度学习的发展加快了图像语义分割的研究.目前,最有效的图像语义分割研究方法大部分都是基于全卷积神经网络(FCNN),尽管现有的语义分割方法能有效地对图像进行整体分割,但对于图像中的重叠遮挡物体不能清晰地识别出边缘信息,也不能有效地融合图像高低层的特征信息.针对以上问题,在采用FCNN来解决图像语义分割问题的基础上,利用...     

融合多头注意力机制的新冠肺炎联合诊断与分割

目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割。本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割。方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域。为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练。分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失。结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37%的精度、96.28%的召回率、95.95%的F1指标和93.88%的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception＿v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96%),优异的敏感度(78.89...     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

Semantic segmentation based on fusion of features and classifiers

This paper proposes a feed forward architecture algorithm using fusion of features and classifiers for semantic segmentation. The algorithm consists of three phases: Firstly, the features from hierarchical convolutional neural network (CNN) and the features based on region are extracted and fused on super pixel level; secondly, multiple classifiers of Softmax, XGBoost and Random Forest are ensemble to compute the per-pixel class probabilities; at last, a fully connected conditional random field is employed to enhance the final performance. The hierarchical features contain more global evidence and the region features contain more local evidence. So the fusion of these two features is expected to enhance the feature representation ability. In classification phase, integrating multiple classifiers aims to improve the generalization ability of classification algorithms. Experiments are conducted on Sift-Flow datasets by our proposed methods with competitive labeling accuracy.

     

面向语义分割模型的外接多尺度投票网络

针对语义分割领域中多尺度共享网络训练复杂度高,以及网络在小目标、长条状目标、目标边缘处拟合效果不佳的问题,提出一种新型外接多尺度投票网络。通过投票网络融合各尺度分割结果,降低网络训练复杂度,并将共享网络中的分割网络与各尺度注意力头剥离开,仅训练各尺度注意力头,以便于网络收敛。在投票网络的结构设计中,使用多类别投票方法扩大投票空间,通过融入混合池化模块聚合近程与远程权值,扩大网络感受野,缓解权值图中长条状目标拟合间断与缺失的问题。在此基础上引入类内、类间投票注意力模块获取权值及类间关系,并采用不规则卷积,改善投票权值图的边缘拟合效果。在Cityscapes数据集上的实验结果表明,相比FCN、PSPNet、DeepLabv3+分割网络,该网络的平均交并比分别提升了0.92、0.88、0.80个百分点,与共享网络相比,其训练复杂度更低,精度更高。     

基于自适应角度的三维点云分割方法

点云分割是基于点云数据空间几何信息提取的一项重要工作,它是点云数据特征提取与分析的基础。同时,点云数据通常是离散的和非结构化的,点云数据的分割不是一项简单的数据处理任务,分割效率和分割精度决定了后续数据处理工作的结果。因此,研究点云数据分割具有重要意义。提出一种基于自适应角度的三维点云切割算法,使用PCA算法找到最佳降维投射方向,以降低原始点云数据维度,并利用投射簇的概念实现对原始目标点云的切割获取。