结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络.整个网络由边缘检测网络和语义分割网络并行组成.利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果.在CamVid数据集和Cityscapes数...     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

GCM+-LANet：遥感图像语义分割的全局卷积模块与局部注意力网络模型

遥感图像地物种类丰富、尺寸多变、分布不均衡、背景复杂,导致经典图像语义分割网络难以在遥感图像上取得理想分割效果。局部注意力网络模型（LANet）在遥感图像语义分割上取得了较好的实验效果,但大尺寸、小尺寸和细长的地物目标分割效果不佳。提出了一种改进LANet网络的高分辨率遥感图像语义分割网络模型,首先,针对全局特征提取设计了全局卷积模块（GCM+）,以组合卷积的形式扩大感受野,提升大尺寸地物目标的分割性能;其次,利用针对计算机视觉提出的激活函数Funnel ReLU(FReLU)来解决细小目标漏分的问题。实验结果表明：该网络模型在Potsdam数据集上平均交并比达到了75.83%,像素准确率达到了94.95%,比基础网络LANet有较大提升。     

基于可变向卷积网络的语义分割算法

随着深度学习方法的不断发展,基于深度卷积网络特征的语义分割已经成为自动驾驶、室内导航、遥感制图等领域视觉感知应用的一项重要技术.然而对于多样性变化背景中的目标图像,现有基于局部上下文卷积特征的语义分割方法仍然存在分类精度低的问题.为此,提出了基于可变向卷积网络的语义分割算法.首先,在特征图每一个像素点上预测对象主要观测...     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响.针对该问题设计了一个用于图像语义分割的深度全卷积网络.该网络采用编码器—解码器结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入...     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

改进DeepLabv2的实时图像语义分割算法

图像语义分割是计算机视觉感知系统的重要组成之一,针对现有的语义分割算法存在分割速度慢的问题提出基于DeepLabv2改进的实时图像语义分割算法。与DeepLabv2相比,改进后的算法使用轻量卷积神经网络Xception作为编码器,增加特征金字塔网络（Feature Pyramid Net,FPN）解码特征的过程,减少空洞金字塔池化网络（Atrous convolution Spatial Pyramid Pooling,ASPP）参数的数量,进而大幅度压缩了算法模型,提升了算法分割速度。此外,还对Focal Loss损失函数在多分类任务中难以选择超参数的问题做出改进,并用于提升算法分割精度。在Cityscapes和Pascal VOC2012数据集上的实验结果表明改进后的算法可达到实时分割速度且具有分割精度高的优点,同时还表明提出的超参数选择方法可进一步提升算法分割精度。     

基于注意力融合的语义分割网络

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独...     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的...     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

一种基于区域建议网络的图像语义分割方法

针对图像语义分割中存在分割效果粗糙、细节缺失的问题,提出一种结合区域建议网络并实现卷积层共享的联合网络结构。利用区域建议网络生成包含类别标记信息的区域建议框,并使用这些区域建议框来校正全卷积语义分割网络的分割结果。实验表明,该方法可以有效提高像素点的分类正确率,得到更精细的分割效果。     

LRUNet:轻量级脑肿瘤快速语义分割网络

目的 针对目前基于深度学习的脑肿瘤分割算法参数量大、计算复杂和快速性差的问题,提出了一种超轻量级快速语义分割网络LRUNet （lightweight rapid UNet）,在保证分割精度提升的同时,极大地减少了网络的参数量与计算量,达到快速分割的效果。方法 LRUNet网络结构基于UNet,将3D-UNet的通道数减少为原来的1/4,减少原先3D-UNet过多的参数量;将UNet网络中除最后一层外的所有传统卷积变为深度可分离卷积,深度可分离卷积以牺牲极少精度,大大减少网络参数量,实现网络的轻量级;使用空间—通道压缩和激发模块（spatial and channel squeeze&excitation block,scSE）,该模块能够放大特征图中对模型有利的参数的权重,缩小对模型不利参数的权重,提升网络分割的精度。结果 在BraTS 2018（Brain Tumor Segmentation Challenge 2018）数据集上的在线验证结果显示,该模型在全肿瘤、核心区肿瘤和增强区肿瘤分割的平均Dice系数分别为0.893 6、0.804 6和0.787 2。LRUNet与同为轻量级网络的S3D-UNet相比Dice有所提升,但是,参数量仅为S3D-UNet的1/4,FLOPs （floating point operations per second）仅为1/2。结论 与3D-UNet、S3D-UNet和3D-ESPNet等算法相比,LRUNet算法不仅保证精度得到提升,而且极大地减少网络中计算的参数量与计算成本消耗,同时网络模型的预测速度得到很大提升,使得快速语义分割在3维医学图像领域成为可能。     

GCAT-U-Net嵌入全局坐标注意力机制的遥感地块分割网络

遥感影像的地块背景特征复杂,当前地块分割方法不能较好地处理模糊的边缘信息,导致分割精度不理想;文章利用注意力机制处理地块特征,提出了一种基于全局坐标注意力机制的遥感地块分割网络:GCAT-U-Net;该方法在U-Net网络基础上嵌入了全局坐标注意力机制,加强了深度神经网络对于遥感影像数据中重要特征的关注度;在公开的GID数据集上的实验结果表明,文章提出的模型将准确率从0.9041提升到了0.9227,比传统U-Net网络提高了2百分点;结合特征自身重要性和特征位置信息的全局坐标注意力机制有助于更精确的目标定位,其输出相较于嵌入单一注意力机制,地块边界更为清晰,提升效果更为显著。     

基于深度生成式对抗网络的蓝藻语义分割

针对传统图像分割算法分割蓝藻图像准确率不足的问题,提出了一种基于深度神经网络（DNN）和生成式对抗网络（GAN）思想的网络结构,称为深度生成式对抗网络（DGAN）。首先,在传统全卷积神经网络（FCN）的基础上构建了一个12层的FCN作为生成网络（G）,用于学习分布规律,生成蓝藻图像的分割结果（Fake）;然后,设计了一个5层的卷积神经网络（CNN）作为判别网络（D）,用于区分生成网络生成的分割结果（Fake）和手工标注的真实分割结果（Label）,G试图生成Fake并蒙骗D,D试图找出Fake并惩罚G;最后,通过两个网络的对抗式训练,G生成的Fake可以蒙骗D,从而获得了更好的分割结果。在3075张蓝藻图像集上的训练和测试结果表明,DGAN在精确率、召回率及F₁分数等指标上均大幅领先基于迭代的阈值分割算法;相比FCNNet （SHELHAMER E,LONG J,DARRELL T.Fully convolutional networks for semantic segmentation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39（4）：640-651）、Deeplab （CHEN L C,PAPANDREOU G,KOKKINOS I,et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs.Computer Science,2014（4）：357-361）等其他基于DNN的方法也提升了超过4个百分点,取得了更精准的分割结果。分割速度上,DGAN的0.63 s略慢于FCNNet的0.46 s,但远快于Deeplab的1.31 s。DGAN均衡的分割准确率和分割速度为基于图像的蓝藻语义分割提供了可行的技术方案。     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

基于语义分割的槟榔内核轮廓检测

针对槟榔去核工序中槟榔内核轮廓检测问题,提出一种基于语义分割的槟榔内核轮廓检测方法。分割模型以VGG16为基础网络,将全连接层替换为卷积层,增加了跳跃结构,将浅层特征经过采样后在同一尺度下与深层特征进行融合,并将常规卷积替换成扩张卷积,减少了学习参数,提升了分割模型的实时性,得到最终的FCN-Dilated-VGG-8s分割模型。该模型对槟榔图像分割的准确率达到98.79%,单张图像分割只需0.071 s,模型大小只有FCN-VGG-8s模型的37.5%。算法表现出良好的鲁棒性,实现了槟榔图像准确、快速分割。通过对分割完后的图像的边界提取,即可得到完整平滑的槟榔内核轮廓线。