基于卷积神经网络改进的图像自动分割方法

针对图像序列三维重建中多视角目标分割需要人工参与任务繁重的问题,提出一种基于卷积神经网络改进的图像自动分割方法。首先将序列图像去噪处理、归一化并进行语义标注后制作数据集,然后对改进的融合多尺度特征和残差连接的卷积神经网络进行训练,得到优化后的卷积神经网络分割模型,最后将预分割图像加载到优化的分割模型中得到归一化的掩码图,再利用三次样条插值法将其恢复分辨率后与原图做自定义的掩码操作得到高清分割结果。本文以主流分割软件PhotoShop分割结果为参考标准进行对比,实验结果证明,该方法的准确率与参考标准接近,而且可实现批量自动分割,较好的解决三维重建中目标分割任务繁重的问题。     

一种建立在GPT-2模型上的数据增强方法

针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法（punishing generative pre-trained transformer for data augmentation, PunishGPT-DA）。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

面向视觉语言理解与生成的多模态预训练方法

大多数现有的视觉语言预训练方法侧重于理解任务,并在训练时使用类似于BERT的损失函数(掩码语言建模和图像文本匹配).尽管它们在许多理解类型的下游任务中表现良好,例如视觉问答、图像文本检索和视觉蕴涵,但它们不具备生成信息的能力.为了解决这个问题,提出了视觉语言理解和生成的统一多模态预训练(unified multimodal pre-training for vision-language understanding and generation, UniVL). UniVL能够处理理解任务和生成任务,并扩展了现有的预训练范式,同时使用随机掩码和因果掩码,因果掩码即掩盖未来标记的三角形掩码,这样预训练的模型可以具有自回归生成的能力.将几种视觉语言理解任务规范为文本生成任务,并使用基于模版提示的方法对不同的下游任务进行微调.实验表明,在使用同一个模型时,理解任务和生成任务之间存在权衡,而提升这两个任务的可行方法是使用更多的数据. UniVL框架在理解任务和生成任务方面的性能与最近的视觉语言预训练方法相当.此外,实验还证明了基于模版提示的生成方法更有效,甚至在少数场景中它优于判别方法.     

基于深度学习的无人机地物图像分割方法

针对无人机地物图像的传统分割方法工程量大,效率低下,深度学习的无人机地物图像分割算法在复杂场景下精度不高和数据集的类别不均衡（长尾数据）等问题,提出一种基于深度学习的高分辨率无人机地物图像分割方法,用于提高不同地貌区域的分割精度。在语义分割模型DeepLabv3的基础上进行改进,将原始主干网络ResNet101替换为ResNet152并添加预训练模型,调整扩张卷积空间金字塔池化模块的扩张率,采用类别平衡损失函数来解决长尾数据问题。在采集的无人机地物图像数据集上进行训练并通过测试集的分割效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上平均交并比达到70.8%,相比原始模型提升了27.2%,能够得到效果更好的分割结果。     

改进CV模型图像分割的Split-Bregman方法

水平集方法中的Chan-Vese模型（简称CV模型）对灰度不均匀及边界对比度低的图像的分割效果不够精确,计算效率也不是很高。针对灰度不均匀引入偏差场来修正CV模型中的区域平均灰度并引入核函数来加权能量泛函。针对计算效率低下的问题,在上述基础上得出其全局凸分割模型（Global Convex Segmentation,GCS）,用Split-Bregman迭代求解该模型。实验结果表明：改进后的模型提高了分割精确度和计算效率。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于HOG和E-SVM的服装图像联合分割算法

针对目前服装图像分割准确率低的问题,提出一种基于HOG特征和E-SVM分类器的服装图像联合分割算法。该算法具体可分为三个迭代的步骤：超像素组合、E-SVM分类器训练、分割传播,并用到辅助数据集。将用户输入的图像结合辅助服装集进行超像素分割,并利用分割传播方法将超像素组合成多个区域。利用分割效果积极的区域的HOG信息训练E-SVM分类器。通过E-SVM分类器以及分割传播方法将输入的图像中的服装分割出来。实验结果表明,该方法能够高准确率地分割出服装图像。     

基于圆形约束CV-LIF模型的原木端面图像分割

针对自然条件下原木端面图像的分割问题,结合原木端面图像的特点,改进传统CV（Chan and Vese）模型,对演化曲线内部使用梯度进行拟合,同时融入局部图像拟合LIF（Local Image Fitting）模型,加入圆形先验知识,提出了基于圆形约束的改进活动轮廓模型CV-LIF,将全局能量和局部能量结合到一起,共同约束轮廓线的演化。在对图像进行预分割的基础上,利用多水平集表示待分割区域,运用基于圆形约束的改进活动轮廓模型对每个水平集区域进行再分割,解决了复杂背景下多个原木端面分割不准确的问题。通过实验,分别对单个及多个原木端面图像进行分割,结果表明该方法可以较好地分割出图像中的原木端面,而且具有较好的抗噪性能,实现速度较快。     

深度学习背景下的图像语义分割方法综述

语义分割任务是很多计算机视觉任务的前提与基础，在虚拟现实、无人驾驶等领域具有重要的应用价值。随着深度学习技术的快速发展，尤其是卷积神经网络（convolutional neural network，CNN）的出现，使得图像语义分割取得了长足的进步。首先，本文介绍了语义分割概念、相关背景和语义分割基本处理流程。然后，总结开源的2D、2.5D、3D数据集和其相适应的分割方法，详细描述了不同网络的分割特点、优缺点及分割精确度，得出监督学习是有效的训练方式。同时，介绍了权威的算法性能评价指标，根据不同方法的侧重点，对各个分割方法的相关实验进行了对比分析，指出了目前实验方面整体存在的问题，其中，DeepLab-V3+网络在分割精确度和速度方面都具有良好的性能，应用价值较高。在此基础上，本文针对国内外的研究现状，提出了当前面临的几点挑战和未来可能的研究方向。通过总结与分析，能够为相关研究人员进行图像语义分割相关研究提供参考。     

基于神经网络的图像弱监督语义分割算法

类别激活热度图算法是一种可以在图像中找到具体分类对应的热度图的使用弱监督样本进行训练的算法,算法提取得到的语义信息可以提供给其他的检测任务或者定位任务所使用。提出一种使用神经网络进行计算的图像语义分割的算法,仅需要使用弱监督的训练数据对神经网络进行训练,得到模型。该算法将神经网络所输出的特征图像与网络参数相结合计算得到语义分割的大致区域,再在其中使用语义信息回传的方法,从大致区域的结果中得到更为精确的图像语义分割。最后介绍了该算法在不同的数据集上进行验证的结果,并且展示了内部的实现细节。     

基于改进YOLACT的堆垛图像快速分割方法研究

针对堆叠密集的堆垛货箱出现的漏检情况以及难以分割出每个货箱的精确边缘而造成的难以准确抓取的问题,对深度学习实例分割算法YOLACT进行了相应的改进;使用工业相机采集货箱的堆垛图像,利用Labelme标注图像制作数据集,并且通过数据增强方法扩充数据集;为了提高模型的分割准确率,分别对掩码真值和YOLACT中的原型掩码输出分支(Protonet)的预测掩码使用Canny边缘检测算子,并取二者的二值交叉熵损失作为损失函数加入到原网络中训练;使用训练好的最优模型对测试集图像数据进行试验;结果表明,改进后的模型预测掩码mAP_0.5:0.95可以达到0.543,比原模型提高2.2%,同时货箱边缘的分割精度也得到了一定的提升,模型推理速度可达10.2帧/秒,可以满足精度要求和生产节拍要求。     

基于边界辅助的弱监督语义分割网络

由于弱监督语义分割任务中种子区域的随机生长机制,导致弱监督语义分割网络经常出现错分割和漏分割的问题。针对上述问题,提出一种基于边界辅助的弱监督语义分割网络。该网络利用边界信息和语义信息,为种子区域的生长提供参考,使种子区域可以自然生长至目标边界,并在目标被遮挡或重叠时正确区分目标类别,生成可以覆盖更完整目标的伪像素掩码。以此伪像素掩码作为监督信息训练分割网络,可以改善弱监督语义分割网络由于伪像素掩码无法准确覆盖目标区域导致的错分割和漏分割问题,提升弱监督语义分割网络精度。在通用数据集PASCAL VOC 2012验证集和测试集上对该网络进行评估,mIoU分别达到71.7%和73.2%。实验结果表明,其网络性能优于当前大多数图像级弱监督语义分割方法。     

视觉语言预训练综述

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能.     

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性，因此一般的分割模型很难只根据提供的分割标记来有效地训练，并对两种区域进行快速、准确的分割。为此，提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中，判别器的判别机制为生成器的训练提供了一个可训练的损失函数，来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差，从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集，然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明，EPScGAN模型在测试集的平均交并比（mIoU）为78.12%，和其他6种流行的深度学习分割模型相比较，提出的EPScGAN具有更好的分割性能。     

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性,因此一般的分割模型很难只根据提供的分割标记来有效地训练,并对两种区域进行快速、准确的分割。为此,提出一种基于条件对抗网络（cGAN）的上皮和间质分割条件对抗网络（EPScGAN）模型。在EPScGAN中,判别器的判别机制为生成器的训练提供了一个可训练的损失函数,来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差,从而更好地指导生成器的训练。从荷兰癌症研究所（NKI）和温哥华综合医院（VGH）两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1 286张尺寸为512×512的图像作为实验数据集,然后将该数据集按照7：3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明,EPScGAN模型在测试集的平均交并比（mIoU）为78.12%,和其他6种流行的深度学习分割模型相比较,提出的EPScGAN具有更好的分割性能。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

改进U-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎（COVID-19）大流行疾病正在全球范围内蔓延。计算机断层扫描（CT）影像技术,在抗击全球 COVID-19 的斗争中起着至关重要的作用,诊断新冠肺炎时,如果能够从CT图像中自动准确分割出新冠肺炎病灶区域,将有助于医生进行更准确和快速的诊断。针对新冠肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了在 ImageNet 上预训练好的 EfficientNet-B0网络,对有效信息进行特征提取。在解码器中将传统的上采样操作换成DUpsampling结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度。在公开数据集上的实验结果表明,所提算法的准确率、召回率和Dice系数分别为84.24%、80.43%和85.12%,与其他的语义分割算法相比,该方法能有效分割新冠肺炎病灶区域,具有良好的分割性能。     

AS-PANet:改进路径增强网络的重叠染色体实例分割

目的 染色体是遗传信息的重要载体,健康的人体细胞中包含46条染色体,包括22对常染色体和1对性染色体。染色体核型化分析是产前诊断和遗产疾病诊断的重要且常用方法。染色体核型化分析是指从分裂中期的细胞显微镜图像中,分割出染色体并根据染色体的条带进行分组排列的过程。染色体核型化分析通常由细胞学家手工完成,但是这个过程非常费时、繁琐且容易出错。由于染色体的非刚性特质,多条染色体之间存在重叠及交叉现象,致使染色体实例分割非常困难。染色体分割是染色体核型化分析过程中最重要且最困难的一步,因此本文旨在解决重叠、交叉染色体实例分割问题。方法 本文基于路径增强网络（PANet）模型,提出AS-PANet（amount segmentation PANet）模型用于解决重叠染色体实例分割问题。在路径增强网络的基础上引入染色体计数领域知识预测作为模型的一个预测分支,并改进了路径增强网络的模型结构和损失函数,使图像分类、目标检测、实例分割和染色体计数4个子任务共享卷积特征,进行联合训练。在临床染色体图像数据上进行标注并构建训练集和测试集,同时提出有效的数据增广方法用以扩充染色体标注训练数据集,提升模型的训练效果。结果 在临床染色体数据集中开展实证研究实验。实验结果表明,本文方法在临床染色体数据集中,平均分割精度mAP（mean average precision）为90.63%。该结果比PANet提升了1.18%,比基线模型Mask R-CNN提升了2.85%。分割准确率为85%,相比PANet提升了2%,相比Mask R-CNN（region with convolutional neural network）提升3.75%。结论 本文染色体实例分割方法能够更有效地解决临床染色体分割问题,相比现有的方法,分割效果更好。     

基于SegmentAnything的荒漠草原植被覆盖度提取研究

植被覆盖度（Fractional Vegetation Coverage,FVC）是草原监测评价工作的重要指标,实时、快速、准确地采集FVC是草原监测评价工作的基础。文章以解决荒漠草原单位面积的植被覆盖度为目标,选取分割一切模型（SegmentAnythingModel,SAM）以打点或者画框的方式对单位面积的图像进行分割,计算分割出的植被所占像素点的总数T和图像总像素点数A,然后通过F=T/A计算单位面积的植被覆盖度,并制作植被覆盖度评估系统。实验的结果表明,基于SAM大模型可以使荒漠草原单位面积的植被覆盖度提取结果更加准确和可靠,减小了噪声对覆盖度提取的影响。