基于深度学习的图像语义分割方法综述

图像语义分割技术是计算机视觉领域的核心研究内容 之一,在生产生活中有着广泛的应用需求。随着计算机性能的提升和深度学习技术的不断发展,研究者们对图像语义分割的实际效果和性能有着越来越高的研究热情。文章通过对图像语义分割方法的研究整理,梳理出现阶段图像语义分割研究的主要问题,针对这些主要问题整理了研究者们提出的解决方法和思路,介绍了语义分割领域常用的公共数据集以及算法性能评价标准,最后对各个算法进行性能的比较和评价,并对图像语义分割领域下一步的研究热点方向进行了展望。     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

深度卷积神经网络语义分割综述

得益于深度卷积神经网络在特征提取和语义理解的强大能力,基于深度神经网络的语义分割技术逐渐成为计算机视觉研究的热点课题.在无人驾驶、医学图像,甚至是虚拟交互、增强现实等领域都需要精确高效的语义分割技术.语义分割从图像像素级理解出发,为每个像素分配单独的类别标签.针对基于深度神经网络的语义分割技术,根据技术特性的差异,从编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合方面展开,对现有模型的优缺点进行梳理和分析,并当前主流语义分割方法在公共数据集实验结果进行对比,总结了该领域当前面临的挑战以及对未来研究方向的展望.     

图像指代分割研究综述

图像指代分割作为计算机视觉与自然语言处理交叉领域的热点问题,其目的是根据自然语言描述在图像中分割出相应的目标区域。随着相关深度学习技术的成熟和大规模数据集的出现,这项任务引起了研究者的广泛关注。本文对图像指代分割算法的发展进行了梳理和分析。首先根据多模态信息的编码解码方式,将现有图像指代分割算法分成基于多模态信息融合和基于多尺度信息融合两类进行了系统阐述,重点介绍了基于CNN-LSTM框架的方法、结构复杂的模块化方法和基于图的方法;然后,对用于图像指代分割任务的典型数据集和主流评价指标进行了总结与统计;之后,通过实验综合比较了现有的图像指代分割模型之间的性能差异并进一步验证了各种模型的优缺点。最后,对这一领域现有方法中存在的问题进行讨论分析,并对未来的发展方向进行了展望,表明了针对复杂的指代描述,需要通过多步、显式的推理步骤来解决图像指代分割问题。      

基于深度卷积神经网络的气象雷达噪声图像语义分割方法

针对新一代多普勒气象雷达的散射回波图像受非降雨等噪声回波干扰导致精细化短时气象预报准确度降低的问题,该文提出一种基于深度卷积神经网络(DCNN)的气象雷达噪声图像语义分割方法。首先,设计一种深度卷积神经网络模型(DCNNM),利用MJDATA数据集的训练集数据进行训练,通过前向传播过程提取特征,将图像高维全局语义信息与局部特征细节融合;然后,利用训练误差值反向传播迭代更新网络参数,实现模型的收敛效果最优化;最后,通过该模型对气象雷达图像数据进行分割处理。实验结果表明,该文方法对气象雷达图像的去噪效果较好,与光流法、全卷积网络(FCN)等方法相比,该文方法对气象雷达图像中真实回波和噪声回波的识别准确率高,图像的像素精度较高。     

基于深度学习的语义分割综述

语义分割是深度学习计算机视觉方面的核心领域,有着很深的研究价值.语义分割技术的发展在近几年趋于成熟,从传统的方法到基于卷积神经网络方法的突破,构建了端到端的语义分割深度学习神经网络算法.这些方法被用于人工智能当中,应用在无人驾驶,遥感影像检测,医疗影像研究等方面.基于对经典语义分割算法进行学习,每个经典算法都有自己的特...     

基于深度卷积神经网络的图像语义分割

近年来,以深度卷积神经网络(DEEP Convolutional Neural Network,DCNN)为代表结合条件随机场(Conditional Random Field,CRF)的深度学习算法在图像分割领域中有非常出色的表现。文中首先介绍传统的深度卷积神经网络在图像分割中面临的三个问题以及所借鉴的相关理论;其次介绍对传统深度卷积神经网络三个方面的改进;最后是本次实验的结果和分析。     

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来：首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。     

基于语义分割的高分辨率场景解析网络

为了高效地对城市景观等复杂场景进行分割解析,本文结合高分辨率网络（HRNet）,通过金字塔池化模块（Pyramidpoolingmodule,PPM）补充全局上下文信息,提出了一个高分辨率场景解析网络。首先,以HRNet为基干特征提取网络,并利用空洞可分离卷积改进其大量使用的残差模块,在减少参数量的同时提高了对于多尺度目标的分割能力;其次,利用混合空洞卷积框架设计了多级空洞率,在稠密感受野的同时减小了网格问题的影响;然后,设计了多阶段的连续上采样结构以改进HRNetV2简单的后融合机制;最后,使用改进的可适应不同图像分辨率的金字塔池化模块聚合不同区域的上下文信息获得高质量的分割图。在城市景观数据集（CityScapes）上仅以16.4Mbit的参数数量实现了83.3%MIOU的精度,在Camvid数据集也取得了良好的效果,实现了更加可靠、准确、低计算量的基于语义分割的场景解析方法。     

基于全卷积神经网络和动态自适应区域生长法的红外图像目标分割方法

复杂背景下的红外图像往往由于噪声较多、背景区域重叠、目标与背景对比度较差等因素,在对目标区域分割时会造成过分割或欠分割。针对此现象,提出了一种将全卷积神经网络和动态自适应区域生长法相结合的红外分割算法。首先利用全卷积神经网络对目标区域在像素级别进行特征提取,通过神经网络强大的自学习能力获得目标区域的粗分割结果;然后根据粗分割结果,对其取外接最小面积矩形框,并根据矩形框位置在原始图像上确定目标区域,并以此矩形区域进行动态自适应区域生长,形成第二次分割结果。最后融合全卷积网络(FCN)的粗分割结果和区域生长分割结果,实现目标区域的最终分割和提取。仿真实验表明,该方法能有效利用FCN对红外图像复杂背景的消除能力,而区域生长法对分割细节的敏感也同时弥补了FCN分割精度的不足,取得了较好的分割效果。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

基于深度学习的复杂背景图像分类方法研究

复杂背景图像受背景干扰后不易被识别。针对这一问题,文中提出了基于前景分割机制的卷积神经网络图像分类方法。采用全卷积神经网络对图像前景区域进行自动分割,通过图像中前景区域周围的最小边界框对其进行定位。对于定位的前景区域,构建卷积神经网络对其进行处理以区分不同的类别,从而实现复杂背景图像的分类。将提出方法在公开数据集中提取的单一背景和复杂背景图像数据集上进行对比实验,并使用迁移学习与数据增强等方法优化模型。实验结果表明,所提方法使用前景区域分割相比于仅分类CNN具有更高的准确度,且复杂背景图像上的准确度提升幅度要远大于单一背景图像。该结果说明引入前景区域分割对于复杂背景图像分类模型准确度的提升具有一定帮助,能够显著前景区域特征并减少背景因素的干扰。     

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。     

一种融合空洞卷积与池化模型的遥感影像水体提取方法

植被、阴影和云层等同谱异物物体的干扰导致遥感影像水体提取完整性较低、提取效果差。文中提出一种融合多层次空洞卷积和池化模型的遥感影像水体提取模型MAP_UNet(A UNet of Combining Multi Atrous Convolution and Pooling Model)。该模型以UNet为基准编解码网络,提取水体的不同尺寸特征,引入双递归残差模块防止出现深层网络梯度消失现象,并使用多模块来融合空间空洞卷积和最大池化以捕捉更大范围的特征信息,进一步加强相邻尺度的特征语义关系。为验证所提方法的有效性与先进性,利用高分辨率可见光遥感影像数据进行实验,并与公开深度学习语义分割算法进行对比。实验结果表明,MAP_UNet模型在提取精度和防止同谱异物体误检方面都取得了较好效果,其精确率、召回率、F1-Score和MIoU(Mean Intersection over Union)分别达96.20%、92.64%、87.27%和89.10%,相比UNet(U-shaped Network)、UNet++和UNet_ASPP(UNet with Atrous Spatial Pyramid Pooling Network)网络均有较大提升。     

一种新的多尺度深度学习图像语义理解方法研究

如何在深度学习中融合 图像的多尺度信息,是基于深度学习的视觉算法需要解决的一个关键问题。本文提出一种基 于多尺度交替 迭代训练的深度学习方法,并应用于图像的语义理解。算法采用卷积神经网络(CNN)从原始 图像中提取稠密性特征 来编码以每个像素为中心的矩形区域,将多个尺度图像交替迭代训练,能够捕获不同尺度下 的纹理、颜色和 边缘等重要信息。在深度学习提取特征分类结果的基础上,提出了一种结合超像素分割的方 法,统计超像 素块的主导类别,来校正分类错误的像素类别,同时描绘出目标区域边界轮廓,完成最终的 语义理解。在Stanford Background Dataset 8类数据集上验证了本文方法的有效性,准确 率达到77.4%。     

一种基于高效残差分解网络的车道线检测方法

为提升自动驾驶系统车道线检测的速度,提出了一种利用卷积神经网络进行特征提取,结合分类网络实现多车道线虚实线分类的方法。使用高效残差分解网络(efficient residual factorized ConvNet, ERFNet)对图像进行卷积操作和下采样,采用无瓶颈一维卷积残差结构,利用纵、横两个方向一维卷积穿插提升非线性函数的泛化性能,依据可变填充比获得多尺度上下文信息完成图像特征提取。基于反卷积与上采样结果进行特征解码,恢复原图像尺度并输出分割后的图像。相较于传统语义分割算法,本方法可减少大量特征参数,增强模型的学习能力,在提升检测速度的同时保证检测精度。在直行、转弯、上坡、下坡,道路颠簸,光照不均匀等工况下的仿真测试实验表明,本文方法检测精度可达到95.14%,检测速度较主流算法有较好提升。