基于深度学习的弱监督语义分割方法综述

语义分割是计算机视觉领域的基本任务,旨在为每个像素分配语义类别标签,实现对图像的像素级理解。得益于深度学习的发展,基于深度学习的全监督语义分割方法取得了巨大进展。然而,这些方法往往需要大量带有像素级标注的训练数据,标注成本巨大,限制了其在诸如自动驾驶、医学图像分析以及工业控制等实际场景中的应用。为了降低数据的标注成本并进一步拓宽语义分割的应用场景,研究者们越来越关注基于深度学习的弱监督语义分割方法,希望通过诸如图像级标注、最小包围盒标注、线标注和点标注等弱标注信息实现图像的像素级分割预测。首先对语义分割任务进行了简要介绍,并分析了全监督语义分割所面临的困境,从而引出弱监督语义分割。然后,介绍了相关数据集和评估指标。接着,根据弱标注的类型和受关注程度,从图像级标注、其他弱标注以及大模型辅助这3个方面回顾和讨论了弱监督语义分割的研究进展。其中,第2类弱监督语义分割方法包括基于最小包围盒、线和点标注的弱监督语义分割。最后,分析了弱监督语义分割领域存在的问题与挑战,并就其未来可能的研究方向提出建议,旨在进一步推动弱监督语义分割领域研究的发展。     

基于卷积神经网络和语义相关的协同显著性检测

针对目前协同显著性检测方法中存在的语义特征类相差悬殊的物体被误检测为协同对象等问题,提出了一种基于卷积神经网络和语义相关的协同显著性检测算法CSCCD。首先,采用引导超像素滤波方法对SLIC分割出的超像素区域和DSS生成的显著性区域进行处理,清晰地显示了目标边界轮廓;然后使用Mask R-CNN提取语义特征,给出了图像语义特征和语义一致性的定义,并针对提取语义特征过程中出现的同一语义类别的物体在不同形态下被检测为不同语义类别的问题,提出了图像组语义相关类的概念,在此概念的基础上定义了图像组语义关联类,解决了多幅图像的语义关联问题;最后融合显著性检测区域和图像组语义一致性区域得到协同显著性检测结果。在公开基准数据集上的实验结果表明,该算法能够有效凸显目标整体及轮廓,在客观量化方面的综合性能有明显提升。     

语义级深度迁移的2D转3D算法

海量视频数据推动了基于数据驱动的单目图像深度估计研究.针对现有方法存在不同对象深度分配层次感不够的问题,在相似场景具有相似深度的假设前提下,提出一种基于语义级分割和深度迁移的单目图像2D转3D的方法.首先使用分割迁移模型将输入图像的像素进行语义级分类;然后通过语义级分类结果对场景匹配进行约束;再次利用SIFT流建立输入图像和匹配图像间像素级对应关系,并由此将匹配图像的深度迁移到输入图像上;最后通过语义级分割约束的最优化深度融合模型为不同对象区域分配深度值.Make3D测试数据的实验结果表明,该方法估计的深度质量比现有深度迁移方法更高,与最优化融合深度迁移算法相比,平均对数误差和平均相对误差分别降低0.03和0.02个点.     

基于被包围状态和马尔可夫模型的显著性检测

针对图像显著性检测问题,提出一种利用被包围状态和马尔可夫模型进行图像显著性检测的方法。首先,利用被包围状态计算显著性物体的大致区域;其次,使用简单线性迭代聚类(SLIC)算法对原始图像进行处理,得到图像的超像素图,并基于超像素图建立图像的图模型;接着,将距离显著性物体大致区域最远的两条边界的超像素作为虚拟背景吸收节点,利用吸收马尔可夫链计算每个超像素的显著性值,检测出初始的显著图S₁;再以计算出的显著性物体大致区域中的超像素作为虚拟前景吸收节点,利用吸收马尔可夫链检测出初始的显著性图S₂;然后,融合S₁和S₂得到最终的显著图S;最后,利用引导滤波器对显著图S进行平滑处理得到更优的显著图。在两个数据库上的实验结果表明,提出的算法优于现有大多数算法。     

一种基于CRF-MR的自顶向下显著性目标检测方法*

针对自顶向下显著性目标检测边界模糊及准确率低的问题,提出一种结合条件随机场（conditional random field,CRF）和流行排序（manifold ranking,MR）的自顶向下显著性目标检测方法。首先对图像进行超像素分割,以超像素块特征为节点建立无向图;然后输入具有目标先验的CRF中得到节点的显著值并通过边缘背景先验MR修改显著值;最后扩展初步显著性目标得到最终显著性图。实验结果表明,在行人、汽车和自行车类目标检测中目标边界明确,与基于CRF的方法相比,本文方法在保证运算效率的同时具有更好的鲁棒性。     

一种多尺度CNN的图像语义分割算法

针对目前多数图像语义分割方法需要人工设计图像特征的问题,借助卷积神经网络(Convolutional Neural Network,CNN)自动学习得到图像特征的优势,并综合考虑CNN的网络输入和物体上下文关系对图像语义分割结果的影响,以超像素为基本处理单元,结合多尺度技术和CNN网络设计了一种面向图像语义分割的多尺度CNN模型,并详细分析了该模型的结构以及模型推断。实验验证了所提出方法的有效性。     

多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid损失函数,结合COCO数据集预训练的FCN+CRF网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF提取到的分割信息作为一元势,MSDF检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2个标准数据集Pascal context和SIFT Flow上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.     

一种鲁棒的夜间图像显著性对象检测模型

基于人类视觉注意机制的显著性对象检测模型作为能主动感知图像中重要信息的有效方法,对探索视觉早期认知过程的大范围知觉信息组织具有重要意义.然而由于夜间图像具有低信噪比和低对比度特性,现有的视觉显著性对象检测模型在夜间场景中容易受到噪声干扰、弱纹理模糊等多方面因素的影响.有鉴于此,本文提出了一种基于区域协方差和全局搜索的夜间图像显著性对象检测方法.首先将输入图像分割为超像素块,并分别计算它们的协方差.然后使用超像素块协方差的差异性作为适应度函数,并结合全局搜索算法来优化各个超像素块的显著值.最后通过图扩散方法来精炼显著图结果.实验测试采用了5个公开图像数据集和1个夜间图像数据集,通过与11种目前主流的视觉显著性对象检测模型进行对比,综合评价了本文所提出模型的性能.     

基于交互式条件随机场的RGB-D图像语义分割

RGB-D图像语义分割是场景识别与分析的基础步骤,基于条件随机场(CRF)的图像分割方法不能有效应用于复杂多变的现实场景,因此提出一种交互式条件随机场的RGB-D图像语义分割方法。首先利用中值滤波和形态重构方法对Kinect相机拍摄的RGB-D图像进行预处理,降低图像噪声及数据缺失;其次,利用基于条件随机场的分割方法对经过预处理的图像进行自动分割,得到粗略的分割结果;最后,用户通过交互平台,将代表正确场景信息的标签反应到条件随机场模型中并进行模型更新,改善分割结果。通过多组实验验证了该算法不仅满足用户对于复杂场景分割与识别的需求,而且用户交互简单、方便、直观。相较于传统的基于条件随机场分割方法,该方法得到较高的分割精度和较好的识别效果。     

基于语义分割的复杂驾驶场景障碍物检测

目前经典的语义分割方法无法准确的检测出交通场景中是否存在障碍物的情况,为了克服自动驾驶系统中对障碍物检测的难点,提出了一个用于像素级障碍物检测的框架。提出的算法流程如下：首先使用分割网络对输入图像进行分割,得到一个语义分割结果图和两个不确定性图;其次使用合成网络对预测的语义图进行处理,利用不确定性图来改进再合成方法,生成较为逼真的图像;最后通过比较输入图像和生成图像的特征来计算感知差异,将输入图像和重合成图像输入到相异模块进行障碍物预测。实验结果表明,文中算法在Cityscapes数据集上对所提出的像素级障碍物检测框架进行了测试和评估,与其它经典方法相比,取得了更好的障碍物检测效果。     

结合区域协方差分析的图像显著性检测

目的 图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。方法 该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。结果 利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。结论 本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。     

分层信息融合的物体级显著性检测

目的 显著性检测是基于对人类视觉的研究,用来帮助计算机传感器感知世界的重要研究手段。现有显著性检测方法大多仅能检测出人类感兴趣的显著点或区域,无法突出对象整体的显著性以及无法区分对象不同层次的显著性。针对上述问题,提出一种基于分层信息融合的物体级显著性检测方法。方法 与当前大多数方法不同,本文同时运用了中级别超像素和物体级别区域两种不同层次的结构信息来获取对象的显著图。首先,将图像分割为中级别的超像素,利用自下而上的方法构造初始显著图;然后通过谱聚类方法将中级别的超像素聚类成物体级的区域,并运用自上而下的先验来调整初始先验图;最后,通过热核扩散过程,将超像素级别上的显著性扩散到物体级的区域上,最终获得一致的均匀的物体级显著性图。结果 在MSRA1000标准数据库上与其他16种相关算法在准确率-召回率曲线及F度量等方面进行了定量比较,检测的平均精度和F-检验分数比其他算法高出5%以上。结论 通过多层次信息融合最终生成的显著图,实现了突出对象整体显著性以及区分不同对象显著性的目标。本文方法同样适用于多目标的显著性检测。     

结合显著性的主动轮廓图像分割

传统的主动轮廓方法无法突出分割区域的显著性,同时在由显著性检测算法所得到的显著图中目标具有较高的信噪比,因此提出结合显著性的主动轮廓图像分割。通过线性光谱聚类分割得到超像素,以超像素为处理单位利用基于图论的流形排序算法获得较好的显著图;将高斯混合模型引入到主动轮廓的曲线演化过程中,计算曲线内外的平均灰度值,从而通过高斯混合模型和显著性信息得到了新的主动轮廓能量方程,并运用水平集方法指导分割,获得最终的分割结果。实验结果表明,提出的图像分割方法可以对图像进行快速和有效的分割。     

融合区域和边缘特征的水平集水下图像分割

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法（local pre-fitting,LPF）相比,分割精确度至少提高11.5%,与显著性检测方法（hierarchical co-salient detection via color names,HCN）相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。     

融合多尺度对比与贝叶斯模型的显著目标检测

针对传统显著目标检测方法中目标不能均匀高亮,背景噪声难以抑制的问题,提出了一种融合多尺度对比与贝叶斯模型的显著目标检测方法。将图像分割为一系列紧凑且颜色相同的超像素,并通过K-means算法对所得超像素重聚类得到多尺度分割图;引入背景先验及凸包中心先验计算不同尺度下的显著图,并加权融合成粗略显著图;将粗略显著图二值化得到的区域假定为前景目标,再计算观测似然概率,使用贝叶斯模型进一步抑制图像的背景并凸出显著区域。在公开数据集MSRA-1000上与6种主流算法进行对比,实验表明提出的算法相比其他算法能更均匀地高亮显著目标,有更高的查准率和更低的平均绝对误差。     

基于条件随机场和图像分割的显著性检测

针对当前常见的显著性方法检测得到的显著性区域边界稀疏不明确、内部不均匀致密等问题,提出了一种基于条件随机场(Condition random field, CRF)和图像分割的显著性检测方法.该方法综合利用边界信息、局部信息以及全局信息,从图像中提取出多种显著性特征;在条件随机场框架下融合这些特征,通过显著性区域与背景区域的区域标注实现显著性区域的粗糙检测;结合区域标注结果和交互式图像分割方法实现显著性区域的精确检测.实验结果表明本文提出的方法能够清晰而准确地提取出图像中的显著性区域,有效提高显著性检测精度.     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

全局对比和背景先验驱动的显著目标检测

针对传统背景先验方法中背景提取不精确并且背景抑制能力弱的问题,提出了全局对比和背景先验驱动的显著目标检测方法。首先将图像分割为一系列感知均匀的超像素,再由全局颜色对比得到基于全局的显著图并计算得到前景种子点;然后将每个边界超像素与前景种子点做对比,筛选差异性较大的边界超像素作为背景种子点并计算得到基于背景的显著图;最后在融合基于全局和背景显著图的基础上,提出一种多兴趣点高斯模型的方法进一步抑制背景并整体高亮显著区域。在公开的MSRA-1000数据测试集上与6种主流方法进行对比实验,结果表明,所提出的显著性目标检测方法对复杂边界信息具有更强的鲁棒性,并能有效抑制背景噪声。     

基于视觉显著性图与似物性的对象检测

为了能够准确地检测出图像中的显著性对象,提出了一种新的基于视觉显著性图与似物性的对象检测算法。该算法首先在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;然后把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;最后结合边缘概率密度搜索出最优的对象窗口。在公开数据集MSRA-B上的实验结果表明,该算法在准确率、召回率以及F-测度方面优于最大化显著区域检测算法、区域密度最大化算法以及似物性对象检测算法等已有的多种算法。