面向无监督分割的双分支上采样域自适应网络

工业应用中,表面压印字符图像全监督语义分割将会给企业带来高昂的数据集标注成本,针对该问题,提出了双支路特征融合的域适应分割方法（dual-branch feature fusion domain adaptation,DbFFDA）。借鉴U-Net的跨层连接设计思路,提出了双分支上采样结构的残差域适应分割网络（residual adaptation network,Res-Adp）;同时提出了融合特征输入用于提升网络分割性能,克服了字符缺失的问题;此外,提出了分割连续性损失函数LCon,抑制了分割图像中噪点的产生。在石墨电极表面压印字符无监督分割实验中,所提方法MIoU值可达69.60%,实际分割效果已基本满足字符识别需求,有望在特定工业场景中投入实际应用,为企业节省数据集标注成本。     

面向样本扩充的新型风格迁移网络研究

全监督语义分割网络在训练时需要耗费大量的人力与时间成本来标注样本。所以减少人工标注样本的时间,同时提升语义分割效果,对于深度学习网络的快速部署和应用推广具有重要意义。提出一种基于改进图像风格迁移网络（CycleGAN-AD）的样本扩充方法。以CycleGAN为基础,在生成器中引入注意力机制并将深度残差网络改为密集连接卷积网络。利用计算机批量产生自带标签的模拟样本,使用CycleGAN-AD网络将模拟样本风格迁移成为真实样本风格（标签不变）,并用于扩充训练样本。对石墨电极的钢印字符进行语义分割的实验结果表明,采用CycleGAN-AD网络进行样本扩充后,其分割效果得到显著提升,MIoU值最高升至0.826 0。可见,提出的样本扩充方法有希望在显著减少人工标注工作量的同时,获得高质量的训练样本。     

基于深度学习的弱监督语义分割方法综述

语义分割是计算机视觉领域的基本任务,旨在为每个像素分配语义类别标签,实现对图像的像素级理解。得益于深度学习的发展,基于深度学习的全监督语义分割方法取得了巨大进展。然而,这些方法往往需要大量带有像素级标注的训练数据,标注成本巨大,限制了其在诸如自动驾驶、医学图像分析以及工业控制等实际场景中的应用。为了降低数据的标注成本并进一步拓宽语义分割的应用场景,研究者们越来越关注基于深度学习的弱监督语义分割方法,希望通过诸如图像级标注、最小包围盒标注、线标注和点标注等弱标注信息实现图像的像素级分割预测。首先对语义分割任务进行了简要介绍,并分析了全监督语义分割所面临的困境,从而引出弱监督语义分割。然后,介绍了相关数据集和评估指标。接着,根据弱标注的类型和受关注程度,从图像级标注、其他弱标注以及大模型辅助这3个方面回顾和讨论了弱监督语义分割的研究进展。其中,第2类弱监督语义分割方法包括基于最小包围盒、线和点标注的弱监督语义分割。最后,分析了弱监督语义分割领域存在的问题与挑战,并就其未来可能的研究方向提出建议,旨在进一步推动弱监督语义分割领域研究的发展。     

视觉弱监督学习研究进展

视觉理解,如物体检测、语义和实例分割以及动作识别等,在人机交互和自动驾驶等领域中有着广泛的应用并发挥着至关重要的作用。近年来,基于全监督学习的深度视觉理解网络取得了显著的性能提升。然而,物体检测、语义和实例分割以及视频动作识别等任务的数据标注往往需要耗费大量的人力和时间成本,已成为限制其广泛应用的一个关键因素。弱监督学习作为一种降低数据标注成本的有效方式,有望对缓解这一问题提供可行的解决方案,因而获得了较多的关注。围绕视觉弱监督学习,本文将以物体检测、语义和实例分割以及动作识别为例综述国内外研究进展,并对其发展方向和应用前景加以讨论分析。在简单回顾通用弱监督学习模型,如多示例学习(multiple instance learning, MIL)和期望—最大化(expectation-maximization, EM)算法的基础上,针对物体检测和定位,从多示例学习、类注意力图机制等方面分别进行总结,并重点回顾了自训练和监督形式转换等方法;针对语义分割任务,根据不同粒度的弱监督形式,如边界框标注、图像级类别标注、线标注或点标注等,对语义分割研究进展进行总结分析,并主要回顾了基于图像级别类别...     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

动态生成掩膜弱监督语义分割

目的 传统图像语义分割需要的像素级标注数据难以大量获取,图像语义分割的弱监督学习是当前的重要研究方向。弱监督学习是指使用弱标注样本完成监督学习,弱标注比像素级标注的标注速度快、标注方式简单,包括散点、边界框、涂鸦等标注方式。方法 针对现有方法对多层特征利用不充分的问题,提出了一种基于动态掩膜生成的弱监督语义分割方法。该方法以边界框作为初始前景分割轮廓,使用迭代方式通过卷积神经网络（convolutional neural network,CNN） 多层特征获取前景目标的边缘信息,根据边缘信息生成掩膜。迭代的过程中首先使用高层特征对前景目标的大体形状和位置做出估计,得到粗略的物体分割掩膜。然后根据已获得的粗略掩膜,逐层使用CNN 特征对掩膜进行更新。结果 在Pascal VOC（visual object classes） 2012 数据集上取得了78.06% 的分割精度,相比于边界框监督、弱—半监督、掩膜排序和实例剪切方法,分别提高了14.71%、4.04%、3.10% 和0.92%。结论 该方法能够利用高层语义特征,减少分割掩膜中语义级别的错误,同时使用底层特征对掩膜进行更新,可以提高分割边缘的准确性。     

基于深度学习的无监督领域自适应语义分割算法综述

随着现代生活逐步智能化,越来越多的应用需要从图像中推断相应的语义信息再进行后续的处理,如虚拟现实、自动驾驶和视频监控等应用。目前的语义分割模型利用大量标注数据进行有监督训练能达到理想的性能,但模型对与训练数据不同分布的数据进行推理时,其性能严重下降。这意味着一旦应用场景发生变化,就需对新场景的数据进行标注。模型重新利用新数据进行训练,才能达到正常的性能。这无疑是耗时的、代价昂贵的。为此,领域自适应语义分割算法提供了解决模型在分布不一致数据上语义分割性能下降问题的思路。总结了领域自适应语义分割算法的前沿进展,并对未来研究方向进行展望。     

基于支持对挖掘的主动学习行人再识别

基于监督学习的行人再识别方法需要大量人工标注的数据,对于实际应用并不适用。为了降低大规模行人再识别的标注成本,提出了一种基于支持对挖掘主动学习(support pair active learning, SPAL)的行人再识别方法。具体地,建立了一种无监督主动学习框架,在该框架中设计了一种双重不确定性选择策略迭代地挖掘支持样本对并提供给标注者标注;其次引入了一种约束聚类算法,将有标签的支持样本对的关系传播到其他无标签的样本中;最后提出了一种由无监督对比损失和监督支持样本对损失组成的混合学习策略来学习具有判别性的特征表示。在大规模行人再识别数据集MSMT17上,该方法相比于当前最先进的方法,标注成本降低了64.0%,同时mAP和rank1分别提升了11.0%和14.9%。大量实验结果表明,该方法有效地降低了标注成本并且优于目前最先进的无监督主动学习行人再识别方法。     

基于改进CycleGAN的道路场景语义分割研究

道路场景下的语义分割是无人驾驶中关键的技术,也是计算机视觉中重要的一个领域,而传统的语义分割方法需要对训练数据进行像素级的标注,对数据的要求极高。针对这一问题,将改进的循环生成对抗网络（cycleconsistent adversarial networks,CycleGAN）用于道路场景语义分割,该网络避免了大量的像素级标注且不需要成对的数据集,降低了数据集的要求。将原网络的目标函数用最小二乘损失和Smooth L1范数替代,增加了网络训练的稳定性且提高了生成图像的质量,并引入特征损失保证图像特征的保留,使得生成图像更加真实。使用道路场景分割中常用的Cityscapes数据集进行实验,并用语义分割领域常用的性能评价指标验证了方法的有效性,实验结果表明相较于原网络各性能都有一定提升。     

基于生成对抗网络的自动细胞核分割半监督学习方法

为了减少对标注图像数量的依赖，提出一种新颖的半监督学习方法用于细胞核的自动分割。首先，通过新的卷积神经网络（CNN）从背景中自动提取细胞区域。其次，判别器网络通过应用全卷积网络来为输入的图像生成置信图；同时耦合对抗性损失和标准交叉熵损失，以改善分割网络的性能。最后，将标记图像和无标记图像与置信图结合来训练分割网络，使分割网络可以在提取的细胞区域中识别单个细胞核。对84张图像（训练集中的1/8图像带标注，其余图像无标注）的实验结果表明，提出的细胞核分割方法的分割准确率度量（SEG）得分可以达到77.9%，F1得分可以达到76.0%，这比该方法使用670张图像且训练集中的所有图像都带标注时的表现要好。     

亮度不均匀低质量图像中压印字符分割方法

字符分割效果,直接影响识别精度。在处理亮度不均匀低质量图像中的压印字符时,由于亮度分布不均匀、目标字符与背景区域对比度较低,传统基于二值化图像的字符分割方法在处理上述情况下的压印字符时,难以确定最优二值化阈值,分割准确率较低。提出基于分割效果评价函数的迭代闭环反馈分割方法,通过建立评价函数对分割效果进行评估,以提高分割效率及准确率。借助加权平滑滤波,去除灰度波形图中的畸变波形;并利用广义学习矢量量化算法,确定最优滤波权重因子;通过分析波形变化趋势,确定字符分割位置。实验结果表明,该算法在批量处理亮度不均匀低质量图像中的压印字符时,分割准确率可达98.5%。     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

基于原型对齐正则化与矫正优化的少样本3D点云语义分割

3D点云语义分割在自动驾驶等现实应用中起着重要作用。现有大部分点云语义分割方法均依赖于大量获取成本昂贵的点级标签用于全监督训练，且在推理时无法扩展到对不可见新类的识别上。为克服上述限制，少样本学习（few-shot learning）通过仅使用少量标注的新类样本来实现到新知识的泛化。在对原型网络（prototypical network）研究基础上，设计一种对点云视觉原型进行自对齐、跨对齐正则化，并进一步矫正优化的少样本3D点云语义分割框架，以充分利用支撑集信息。在公开数据集S3DIS和ScanNet上不同少样本设置下（N-way,K-shot）的实验充分证明了方法在分割效果和推理效率上的优越性。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于信息瓶颈算法的图像语义标注

首先采用改进的k均值无监督图像分割算法将图像分割成不同的区域,提出信息瓶颈聚类方法对分割后的区域进行聚类,建立图像语义概念和聚类区域之间的相互关系.然后对未标注的图像进行分割,在给出分割区域的条件下,计算每个语义概念的条件概率,使用条件概率最大的语义关键字实现图像语义的自动标注.对一个包含500幅图像的图像库进行实验,结果表明,本文方法比其它方法更有效.     

改进的语义分割模型及其应用

训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签的人工标注过程。以及在可微分神经网络结构搜索方法的基础上提出了一种对硬件要求更低的神经网络结构搜索方法,并基于此种方法改进了特征金字塔结构,构建了一个改进的语义分割模型,并在安全帽与口罩检测数据集上进行了试验。与U-Net、FPN等模型比较,新的模型在参数量、计算速度以及精确度上都更有优势。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

结合分水岭机制的有监督图像背景分割算法

传统的分水岭分割算法属于无监督的图像分割算法,分割获得的子区域往往不具备现实的语义信息。在分水岭分割的基础上,利用子区域像素值的高斯统计性质,提出了一种有监督的图像背景学习方法。该算法能够通过对少量人工标注的图像样本的学习,获得刻画背景子区域规律的统计模型。在此基础上对新图片中隶属于背景的子区域进行判断和合并,从而达到区分目标与背景的目的。实验验证了算法的有效性。     

面向心脏MRI分割的半监督空间一致性约束网络

精准分割心脏磁共振图像(MRI)分割对于心脏功能分析至关重要.当前基于数据驱动的神经网络模型极大地促进了心脏MRI分割的发展,然而对标注数据的依赖极大地限制了神经网络模型在心脏MRI分割领域的应用.为了降低神经网络模型对于标注数据的依赖,提出一种基于无监督空间一致性约束的半监督心脏MRI分割方法,在少量有标注数据的监督学习基础上,利用无标签数据在模型输入端和输出端分别进行空间变换后前后一致的特性,构建对于无标注数据的空间一致性约束.使用ACDC 2017心脏多组织分割数据集评估了所提出的方法,实验结果表明,相对于有监督学习,通过无监督数据的空间一致性约束能够显著提升模型的泛化能力;此外,相对于其他state-of-the-art的半监督方法,文中方法也拥有更优的泛化性能.