基于语义重定位的语义分割并行网络

语义分割任务是对图像进行像素级别的分类预测,其难点在于对像素级别的准确预测和物体的边缘划分.现有方法大多采用基于编解码结构的网络模型,通过下采样快速扩充网络的感受野,但连续的下采样对特征图的空间信息造成了不可逆转的损失,为此,提出一种基于语义重定位的并行网络.设计了一条全局空间路径,在保持高分辨率的情况下提取丰富的空间...     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题,提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络,使得网络充分提取图像的特征信息,其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息;解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验,获得了6418%的平均交并比,实验结果表明SMANet优于目前主流的语义分割网络。     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的...     

无人驾驶中的场景实时语义分割方法

无人驾驶的一个重要组成部分是汽车行驶环境感知,使人们对可在低功耗移动设备上实时运行的高精度语义分割方法产生了强烈的需求.然而,在分析影响语义分割网络精度和速度的因素时可以发现,空间信息和上下文特征很难兼顾,而使用2路网络分别获取空间信息和上下文信息的方法,又会增加计算量及存储量.因此,提出从残差结构网络中划分出空间信息路径和上下文信息路径的想法,并基于此设计一个双路语义分割网络.该网络还含有用于融合2路多尺度特征的特征融合模块,以及用于优化上下文语义路径输出结果的注意力精炼模块.该网络基于PyTorch框架实现,使用NVIDIA 1080Ti显卡进行实验,在道路场景数据集Cityscapes上,mIoU达到78.8％,运行速度达到27.5帧/s.     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息.目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取,导致分割错误率较高.本文提出一种基于编码与解码结构特征连接的方法,对DeconvNet网络模型进行改进.模型在编码时,通过记录池化索引的位置并应用于上池化中,能够保留空间结构信息;在解码时,利用编码与解码对应特征层连接的方式使模型有效地进行特征提取.在模型训练时,使用设计的预训练模型,可以有效地扩充数据,来解决模型的过拟合问题.实验结果表明,在对优化器、学习率和损失函数适当调整的基础上,使用扩充后的数据集进行训练,对遥感影像验证集的分割精确度达到95%左右,相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于高效的多尺度特征提取的轻量级语义分割

近来移动端视觉应用的发展激发了对轻量级语义分割技术的需求.尽管取得了十分辉煌的成就,当前轻量级语义分割模型仍存在精度不足、参数过多的问题.本文的目的在于开发一个具有少量参数的高精度分割模型.为此,本文基于以下观察提出了一种新的轻量级分割模型MiniNet:(1)语义分割依赖于多尺度特征学习;(2)下采样是加速网络推理和扩大卷积感受野的最有效方法;(3)网络深度和卷积通道数之间的良好平衡对于轻量级模型至关重要.具体来说,MiniNet采用空间金字塔卷积(Spatial Pyramid Convolution,SPC)模块和空间金字塔池化(Spatial Pyramid Pooling,SPP)模块作为多尺度特征学习的基本单元.此外,MiniNet将大多数网络层和操作放在较小的尺度上,即原始图像分辨率的1/16,而不是先前模型中常用的1/8尺度.MiniNet还设法平衡网络深度和卷积通道数.在没有ImageNet预训练的情况下,MiniNet在Cityscapes测试数据集上仅以211K参数和94.3fps的速度即可达到66.3%的mIoU.     

基于多路径特征提取的实时语义分割方法

深度学习在图像语义分割领域的应用极大地提升了分割精确度,但由于深度学习网络在速度、内存等方面的限制,其并不能直接应用于嵌入式设备进行实时分割。针对语义分割模型存在的的网络结构复杂和计算开销巨大的问题,提出了结合边缘检测算法的多路径特征提取的实时语义分割算法。模型通过Sobel算子、Scharr算子和Laplacian算子对图像的轮廓信息进行提取。算法设计了空间路径提取图像的空间位置信息、语义路径提取图像高级语义信息,以及通过边缘检测路径提取图像中具有代表性的纹理特征,并采用Ghost轻量化模块来减少模型参数量,提高算法的分割速度。在480像素×360像素的CamVid数据集上的实验结果表明,在3种边缘检测算子上,模型的分割准确率均能得到有效提升,尤其是在加入3×3大小的Sobel算子下算法的性能提升最为明显,在CamVid测试集图像处理速度为349 frames/s的基础上,分割精度达到了42.9%。所提算法在分割精度和分割速度上均取得了较好的效果,在实时性和准确性之间达到了很好的平衡。     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络.整个网络由边缘检测网络和语义分割网络并行组成.利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果.在CamVid数据集和Cityscapes数...     

一种基于U-Net语义分割网络的多光谱迷彩目标识别方法

提出了一种基于U-Net的多光谱迷彩目标识别方法。设计数据采集方案采集迷彩目标多光谱数据;采用不同尺度卷积核提取联合的光谱空间特征;编码结构中采用残差学习加深网络深度,使网络能学习到更加丰富抽象的特征;对深层的特征图进行上采样与浅层特征图相加增强浅层特征图中的语义信息。与3通道U-Net语义分割网络相比,召回率提高了62.65%,F1-Score提高了50.18%,证明了采用多光谱识别迷彩目标的显著优势;与6通道U-Net语义分割网络相比,精确率保持基本不变的同时召回率提高了3.42%,F1-Score提高了1.62%,在保证检测准确的前提下进一步减少了误检。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

基于图像分割的语义标注方法

为有效解决图像检索中存在的“语义鸿沟”问题,提出了一种新的语义标注方法。该方法以图像分割为基础,在训练阶段构建图像字典,通过对图像单元颜色、纹理、小波轮廓的分析和描述形成一种结合小波轮廓比对和概率统计的二阶段标注模型,模型针对不同类别的图像分阶段采用相应的标注方法。经实验,应用该模型进行图像检索查全率和查准率都有明显提高,其中查准率最高可提升23.6%,证明该方法更接近人对图像内容的理解,具有良好的标注效果和检索性能。     

基于U-Net改进模型的直肠肿瘤分割方法

诊断直肠癌时,如果能够从CT图像中自动准确分割出直肠肿瘤区域,将有助于医生进行更准确和快速的诊断。针对直肠肿瘤分割问题,提出基于U-Net改进模型的直肠肿瘤自动分割方法。首先在U-Net模型的每级编码器中嵌入子编码模块提升模型特征提取能力;其次通过对比不同优化器的优化性能,获得最适合的优化器用于训练模型;最后对训练集进行数据扩充使模型得到更充分的训练,从而提高分割性能。与U-Net、Y-Net和FocusNetAlpha三种网络模型进行的对比实验表明：所提改进模型得到的分割区域与真实肿瘤区域更接近,对小目标的分割性能更突出,该模型的查准率、查全率和Dice系数三个评价指标都优于对比的模型,能有效分割直肠肿瘤区域。     

基于支持向量机的连续超声图像集分割算法

针对传统的支持向量机（SVM）模型对连续超声图像集进行分割时需要为图像集中每张图片提取样本点来建立分割模型的问题,提出了一个对整个连续超声图像集的统一的SVM分割模型。首先,从图像的灰度直方图中提取灰度特征作为表征图像集中图像连续性的特征;其次,从图像集中选取部分图像作为样本,并从中提取像素点的灰度特征;最后,将各像素点的灰度特征与各像素点所在图像中表征图像集连续性的特征相结合,用SVM的方法训练出分割模型对整个图像集进行分割。实验结果表明,与传统SVM分割方法相比,新模型在面对大量的有连续变化的图像集的分割问题上,大幅地减少了人工选取样本点的工作量,并且在分割的准确率上也有保证。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

移动机器人导航中的楼道场景语义分割*

通过深度学习模型对室内楼道环境的视觉信息进行处理,帮助移动机器人在室内楼道环境下自主行走。为达到这个目的,将楼道环境对象分为6类：路、门、窗户、消防栓、门把手和背景,通过图像的语义分割实现对象识别。在对楼道环境的6类对象进行分割的试验中发现,由于“门把手”比起其它对象小很多,影响了对它的识别效果;将6分类模型改为“5+2”分类模型,解决了这个问题。分类模型的基础是全卷积神经网络(FCN),可以初步实现图像的分割。为了提高FCN网络的分割效果,从三个方面进行了试验研究：（1）取出FCN的多个中间特征层,进行多层特征融合;（2）考虑到移动机器人行走过程中视觉信息的时间序列特点,将递归神经网络(RNN)的结构纳入到FCN网络中,构成时间递归的t-LSTM网络;（3）考虑到二维图像相邻像素之间的依赖关系,构成空间递归的s-LSTM网络。这些措施都有效地提高了图像的分割效果,实验结果表明,“多层融合”加“s-LSTM”的结构从分割效果和计算时间方面达到综合指标最佳。     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

互注意力机制驱动的轻量级图像语义分割网络

目的 在图像语义分割中,细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性,自注意力虽然可以实现全局的信息捕获,但不能实现不同特征的融合,其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模,提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图,建立细节特征图上任一点和语义特征图之间的关联模型,并在关联模型的指导下对语义特征图上的特征进行聚合,作为细节特征图上该特征点的补充,从而将语义特征图上的信息融合到细节特征图上,并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上,实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验,实验结果表明,在使用替换方式对BiSeNet V2（bilateral segmentation network）进行修改之后,浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%,但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后,所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度,实现不同网络模型的即插即用,具有较高的普适性。     

基于编码解码结构的移动端电力线语义分割方法

针对传统的视觉算法在复杂场景下检测细长电力线准确率低、受环境因素干扰大,现有基于深度学习的电线检测算法效率不高的问题,提出一种适用于移动端电力线检测的端到端全卷积神经网络模型。首先,采用一种对称的编码-解码结构,其中编码部分使用最大池化层进行下采样,以提取多尺度特征,而解码部分使用最大池化索引的非线性上采样方式逐层融合多尺度特征,以恢复图像细节;其次,针对电线像素与背景像素不平衡的问题,采用了一种加权损失函数来训练模型;最后,构建了一个背景复杂且有像素级标注的电线数据集来训练和评估模型,并重新标注了一个公开电线数据集作为不同源测试集。与现有移动端电线语义分割模型Dilated ConvNet相比,所提模型在移动端设备GPU NVIDIA JetsonTX2上对于512×512分辨率的图片的预测速度提升至Dilated ConvNet的两倍,达到8.2 frame/s所提模型在同源测试集上的平均交并比（mIoU）为0.857 3,F1分数为0.844 7,平均精度（AP）为0.927 9,这三个指标分别提升了0.011、0.014和0.008;所提模型在公开测试集上的mIoU达到0.724 4,F1分数达到0.634 1,AP达到0.664 4,这三个指标分别提升了0.004、0.007和0.032。实验结果表明,该模型具有更好的移动端电力线实时分割性能。