基于深度学习的图像语义分割方法综述

图像语义分割技术是计算机视觉领域的核心研究内容 之一,在生产生活中有着广泛的应用需求。随着计算机性能的提升和深度学习技术的不断发展,研究者们对图像语义分割的实际效果和性能有着越来越高的研究热情。文章通过对图像语义分割方法的研究整理,梳理出现阶段图像语义分割研究的主要问题,针对这些主要问题整理了研究者们提出的解决方法和思路,介绍了语义分割领域常用的公共数据集以及算法性能评价标准,最后对各个算法进行性能的比较和评价,并对图像语义分割领域下一步的研究热点方向进行了展望。     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

深度卷积神经网络语义分割综述

得益于深度卷积神经网络在特征提取和语义理解的强大能力,基于深度神经网络的语义分割技术逐渐成为计算机视觉研究的热点课题.在无人驾驶、医学图像,甚至是虚拟交互、增强现实等领域都需要精确高效的语义分割技术.语义分割从图像像素级理解出发,为每个像素分配单独的类别标签.针对基于深度神经网络的语义分割技术,根据技术特性的差异,从编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合方面展开,对现有模型的优缺点进行梳理和分析,并当前主流语义分割方法在公共数据集实验结果进行对比,总结了该领域当前面临的挑战以及对未来研究方向的展望.     

图像指代分割研究综述

图像指代分割作为计算机视觉与自然语言处理交叉领域的热点问题,其目的是根据自然语言描述在图像中分割出相应的目标区域。随着相关深度学习技术的成熟和大规模数据集的出现,这项任务引起了研究者的广泛关注。本文对图像指代分割算法的发展进行了梳理和分析。首先根据多模态信息的编码解码方式,将现有图像指代分割算法分成基于多模态信息融合和基于多尺度信息融合两类进行了系统阐述,重点介绍了基于CNN-LSTM框架的方法、结构复杂的模块化方法和基于图的方法;然后,对用于图像指代分割任务的典型数据集和主流评价指标进行了总结与统计;之后,通过实验综合比较了现有的图像指代分割模型之间的性能差异并进一步验证了各种模型的优缺点。最后,对这一领域现有方法中存在的问题进行讨论分析,并对未来的发展方向进行了展望,表明了针对复杂的指代描述,需要通过多步、显式的推理步骤来解决图像指代分割问题。      

基于深度卷积神经网络的气象雷达噪声图像语义分割方法

针对新一代多普勒气象雷达的散射回波图像受非降雨等噪声回波干扰导致精细化短时气象预报准确度降低的问题,该文提出一种基于深度卷积神经网络(DCNN)的气象雷达噪声图像语义分割方法。首先,设计一种深度卷积神经网络模型(DCNNM),利用MJDATA数据集的训练集数据进行训练,通过前向传播过程提取特征,将图像高维全局语义信息与局部特征细节融合;然后,利用训练误差值反向传播迭代更新网络参数,实现模型的收敛效果最优化;最后,通过该模型对气象雷达图像数据进行分割处理。实验结果表明,该文方法对气象雷达图像的去噪效果较好,与光流法、全卷积网络(FCN)等方法相比,该文方法对气象雷达图像中真实回波和噪声回波的识别准确率高,图像的像素精度较高。     

基于深度卷积神经网络的图像语义分割

近年来,以深度卷积神经网络(DEEP Convolutional Neural Network,DCNN)为代表结合条件随机场(Conditional Random Field,CRF)的深度学习算法在图像分割领域中有非常出色的表现。文中首先介绍传统的深度卷积神经网络在图像分割中面临的三个问题以及所借鉴的相关理论;其次介绍对传统深度卷积神经网络三个方面的改进;最后是本次实验的结果和分析。     

基于深度学习的语义分割综述

语义分割是深度学习计算机视觉方面的核心领域,有着很深的研究价值.语义分割技术的发展在近几年趋于成熟,从传统的方法到基于卷积神经网络方法的突破,构建了端到端的语义分割深度学习神经网络算法.这些方法被用于人工智能当中,应用在无人驾驶,遥感影像检测,医疗影像研究等方面.基于对经典语义分割算法进行学习,每个经典算法都有自己的特...     

基于卷积神经网络的图像语义分割技术

本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

基于深度学习的医疗图像分割综述

自2006年深度学习这一概念提出以来,各研究领域对于深度学习技术的研究热度一直高居不下.深度学习的出现,对计算机视觉领域的发展起到了重要推动作用.计算机视觉的主要研究任务是对图像、视频等进行目标的检测、识别以及分割等,目前已经广泛应用于医疗、金融和工业领域中.其中最常见的应用场景是医学图像处理.图像分割是医学图像处理任...     

基于全卷积神经网络的非对称并行语义分割模型

针对RGB图像具有丰富的色彩细节特征,红外图像对目标轮廓、尺寸、边界等外形特征有较高敏感度的特点,提出了一种非对称并行语义分割模型APFCN（Asymmetric Parallelism Fully Convolutional Networks）.APFCN上路设计了一个卷积核尺寸非统一的五层空洞卷积网络来提取红外图像目标高层轮廓特征;下路沿用卷积加池化网络提取RGB图像三个尺度上的细节特征;后端将红外图像高层特征与RGB图像三个尺度的细节特征进行融合,并将4倍上采样后的融合特征作为语义分割输出.结果表明,APFCN在像素精度和交并比等方面均优于FCN（输入为RGB图像或红外图像）,适用于背景一致下地面目标的语义分割任务.     

基于全卷积神经网络和动态自适应区域生长法的红外图像目标分割方法

复杂背景下的红外图像往往由于噪声较多、背景区域重叠、目标与背景对比度较差等因素,在对目标区域分割时会造成过分割或欠分割。针对此现象,提出了一种将全卷积神经网络和动态自适应区域生长法相结合的红外分割算法。首先利用全卷积神经网络对目标区域在像素级别进行特征提取,通过神经网络强大的自学习能力获得目标区域的粗分割结果;然后根据粗分割结果,对其取外接最小面积矩形框,并根据矩形框位置在原始图像上确定目标区域,并以此矩形区域进行动态自适应区域生长,形成第二次分割结果。最后融合全卷积网络(FCN)的粗分割结果和区域生长分割结果,实现目标区域的最终分割和提取。仿真实验表明,该方法能有效利用FCN对红外图像复杂背景的消除能力,而区域生长法对分割细节的敏感也同时弥补了FCN分割精度的不足,取得了较好的分割效果。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

一种基于改进的MobileNetV2网络语义分割算法

基于金字塔卷积神经网络的语义分割算法准确率很高,但是其计算资源消耗巨大、算法执行时间长、无法满足实时性要求.为了解决这个问题,本文做出了以下改进：（1）用MobileNet替换原网络的结构,减少了网络运算时间和内存开销;（2）引入编码器-解码器结构提高输出图像的分辨率,进一步细化分割结果;（3）针对高分辨率图像推断时间过长的问题,本文设计了多级图像输入方法,降低了网络推断高分辨率图像所消耗的时间.本文在VOC 2012数据集和Cityscapes数据集上进行了测试,并与FCN、SegNet、DeepLab、PSPNet以及DFN等语义分割模型对比.实验结果表明,本文设计的语义分割算法在VOC 2012数据集上达到了76.1%的mIoU,在Cityscapes数据集上达到了74.1%的mIoU,略低于传统语义分割算法;处理一张分辨率为1024×512的图片需要18ms,少于传统语义分割算法,满足了实时性要求,达到了准确率与计算资源消耗之间的平衡.     

基于注意力机制和Inf-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎肆虐全球,严重影响了人类社会的生活和健康。CT影像技术是检测新冠肺炎的重要诊断方式,从CT图像中自动准确分割出新冠肺炎病灶区域,对于诊断、治疗和预后都有重要意义。针对新冠肺炎病灶的自动分割,文中提出基于Inf-Net算法改进的自动分割方法,通过引入通道注意力机制加强特征表示,并运用注意力门模块来更好地融合边缘信息。在COVID-19 CT分割数据集上的实验结果表明,文中所提出新冠肺炎图像分割方法的Dice系数、灵敏度、特异率分别为75.1%、75.4%和95.4%,算法性能也优于部分主流方法。     

迷彩伪装目标图像语义分割数据集的构建

数据集是基于深度学习语义分割技术的重要组成部分.为了将语义分割技术应用于野外战场环境,构建一个符合实战场景的数据集至关重要.针对迷彩伪装目标侦察识别的作战保障需求,分析了野外战场环境及战场侦察图像的特点,设计了特定场景数据集的构建流程与方法,构建了具有精细化语义标注的语义分割数据集CSS,并通过实验验证了该数据集在语义...