实例分割方法研究综述

近年来,随着计算水平的不断提高,基于深度学习的实例分割方法的研究取得了巨大的突破。图像实例分割可以区分图像中同一类的不同实例,是计算机视觉领域的重要研究方向,具有十分广阔的研究前景,在场景理解、医学图像分析、机器视觉、增强现实、图像压缩和视频监控等方面取得了巨大的实际应用价值。近年来,实例分割方法的更新频率越来越高,但目前很少有文献全面系统地分析实例分割相关研究背景。对基于深度学习的图像实例分割方法进行了全面系统的分析与总结,首先,介绍目前实例分割中常用的公共数据集与评价指标,并对现有数据集面临的挑战进行了分析;其次,分别从两阶段分割方法与单阶段分割方法的特性上对实例分割算法进行梳理与总结,阐述其核心思想与设计思路,并对这两类方法的优势与不足进行总结;然后,在公共数据集上评估这些模型的分割精度和速度;最后,总结目前实例分割面临的困难与挑战,以及面对挑战的解决思路,并对未来的研究方向进行展望。     

AS-PANet:改进路径增强网络的重叠染色体实例分割

目的 染色体是遗传信息的重要载体,健康的人体细胞中包含46条染色体,包括22对常染色体和1对性染色体。染色体核型化分析是产前诊断和遗产疾病诊断的重要且常用方法。染色体核型化分析是指从分裂中期的细胞显微镜图像中,分割出染色体并根据染色体的条带进行分组排列的过程。染色体核型化分析通常由细胞学家手工完成,但是这个过程非常费时、繁琐且容易出错。由于染色体的非刚性特质,多条染色体之间存在重叠及交叉现象,致使染色体实例分割非常困难。染色体分割是染色体核型化分析过程中最重要且最困难的一步,因此本文旨在解决重叠、交叉染色体实例分割问题。方法 本文基于路径增强网络（PANet）模型,提出AS-PANet（amount segmentation PANet）模型用于解决重叠染色体实例分割问题。在路径增强网络的基础上引入染色体计数领域知识预测作为模型的一个预测分支,并改进了路径增强网络的模型结构和损失函数,使图像分类、目标检测、实例分割和染色体计数4个子任务共享卷积特征,进行联合训练。在临床染色体图像数据上进行标注并构建训练集和测试集,同时提出有效的数据增广方法用以扩充染色体标注训练数据集,提升模型的训练效果。结果 在临床染色体数据集中开展实证研究实验。实验结果表明,本文方法在临床染色体数据集中,平均分割精度mAP（mean average precision）为90.63%。该结果比PANet提升了1.18%,比基线模型Mask R-CNN提升了2.85%。分割准确率为85%,相比PANet提升了2%,相比Mask R-CNN（region with convolutional neural network）提升3.75%。结论 本文染色体实例分割方法能够更有效地解决临床染色体分割问题,相比现有的方法,分割效果更好。     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义。实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例分割与双阶段实例分割的分类对不同网络模型进行论述,重点介绍近两年网络框架的发展,总结各网络特点的同时提出未来发展方向。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

基于深度学习的三维点云分割综述

作为三维场景理解的重要技术之一,三维点云分割受到广泛的关注,具有重要的研究价值和广阔的应用前景.基于此,梳理基于深度学习的三维点云分割技术的最新研究进展;在介绍三维点云分割常用的8个室内和室外数据集的基础上,重点阐述和分析现有主要基于深度学习的语义分割、实例分割和部件分割方法,并基于量化数据进行部分方法的效能比较;最后从10个方面总结现有方法的不足,并针对性地提出工作展望.     

基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

染色体核型分析深度学习方法综述

染色体核型分析是细胞遗传学领域重要的实验技术，并逐步在包括生殖医学在内的诸多现代临床领域和科学研究方面得到广泛应用，但即使是经验丰富的细胞遗传学家也需要大量时间才能完成染色体核型分析。基于传统方法的染色体核型自动化分析方法精度较低，仍需要细胞遗传学家花费大量时间、精力校正。目前基于深度学习的染色体核型自动分析方法成果较多，但缺乏对该领域现状的总结、对未来发展的展望等。因此，本文对基于深度学习的染色体核型自动分析方法进行综述，归纳总结了现有的研究分析任务，挑选了具有代表性的方法并梳理解决方案，展望了未来发展方向。通过整理发现，基于深度学习的染色体核型自动化分析方法取得了很多成果，但仍存在一些问题。首先，已有的中文综述性工作仅集中于某一子领域或者调研不够全面和深入。其次，染色体核型分析任务与临床紧密结合，受各种因素制约，任务类型繁多，解决方案复杂，难以窥斑见豹。最后，现有方法主要集中于染色体分类和染色体分割任务，而诸如染色体计数、染色体预处理等任务研究成果较少，需要厘清问题，吸引更多研究人员关注。综上所述，基于深度学习的染色体核型自动分析方法仍有较大发展空间。     

肝脏及肿瘤图像分割方法综述

肝脏肿瘤是一种发病率高且恶化概率高的疾病,为了快速地诊断肝脏疾病,需要从计算机断层扫描(CT)中准确地分割出肝脏及肿瘤。为了分析肝脏及肿瘤图像分割领域的现状及发展趋势,针对肝脏及肿瘤图像的分割方法进行了研究,总结了近些年肝脏及肿瘤图像的分割方法。肝脏及肿瘤图像分割方法包括传统方法以及深度学习方法。传统方法需要较多的人工参与,不能实现完全自动化。深度学习方法从分割网络的维度可分为2D、2.5D以及3D方法,这些方法分割精度高,硬件需求高。在考虑深度学习与传统方法优缺点的同时,它们的结合也被不断探索,图割法和条件随机场等传统方法经常被用于细化深度学习方法的分割结果。     

深度学习的舌体分割研究综述

舌体分割是智能医学诊断的重要组成部分,其目的是通过分割舌诊图像生成精准的舌体轮廓.近年来,深度学习方法在图像处理领域得到了广泛的应用并取得了较好的结果.随着医学图像分割对性能的要求越来越高,许多研究人员将深度学习运用到舌体分割中.主要对基于深度学习的舌体分割方法研究现状进行分析梳理和归纳总结.在舌体分割应用领域中,以各种深度学习方法作为研究对象,将基于深度学习的舌体分割方法划分为卷积神经网络(CNN)、全卷积网络(FCN)、卷积模型与图形模型、基于编解码器的模型、基于区域卷积网络模型、扩张卷积模型结构、迁移学习以及其他方法.在每类方法中,针对其改进和扩展的研究成果进行了全面的论述,总结分析其优势与不足;并对基于深度学习的舌体分割常用的数据集和评价指标进行了视觉比较与性能评估;最后讨论了未来研究工作中的发展潜力.     

视觉弱监督学习研究进展

视觉理解,如物体检测、语义和实例分割以及动作识别等,在人机交互和自动驾驶等领域中有着广泛的应用并发挥着至关重要的作用。近年来,基于全监督学习的深度视觉理解网络取得了显著的性能提升。然而,物体检测、语义和实例分割以及视频动作识别等任务的数据标注往往需要耗费大量的人力和时间成本,已成为限制其广泛应用的一个关键因素。弱监督学习作为一种降低数据标注成本的有效方式,有望对缓解这一问题提供可行的解决方案,因而获得了较多的关注。围绕视觉弱监督学习,本文将以物体检测、语义和实例分割以及动作识别为例综述国内外研究进展,并对其发展方向和应用前景加以讨论分析。在简单回顾通用弱监督学习模型,如多示例学习(multiple instance learning, MIL)和期望—最大化(expectation-maximization, EM)算法的基础上,针对物体检测和定位,从多示例学习、类注意力图机制等方面分别进行总结,并重点回顾了自训练和监督形式转换等方法;针对语义分割任务,根据不同粒度的弱监督形式,如边界框标注、图像级类别标注、线标注或点标注等,对语义分割研究进展进行总结分析,并主要回顾了基于图像级别类别...     

胎儿脑磁共振图像分割研究进展

医学影像是产前筛查、诊断、治疗引导和评估的重要工具,能有效避免胎儿脑的发育异常。近年来,磁共振成像在产前诊断中愈加重要,而实现自动、定量、精确地分析胎儿脑磁共振图像依赖于可靠的图像分割。因此,胎儿脑磁共振图像分割具有十分重要的临床意义与研究价值。由于胎儿图像中存在组织器官多、图像质量差及结构变化快等问题,胎儿脑磁共振图像的分割面临着巨大的困难与挑战。目前,尚未有文献对该领域的方法进行系统性的总结和分析,尤其是基于深度学习的方法。本文针对胎儿脑磁共振图像分割方法进行综述,首先,对胎儿脑磁共振图像的主要公开图谱/数据集进行详细说明;接着,对脑实质提取、组织分割和病灶分割方法进行全面的分类与分析;最后,对胎儿脑磁共振图像分割面临的挑战及未来的研究方向进行总结与展望。     

深度学习在组织病理学中的应用综述

组织病理学是临床上肿瘤诊断的金标准,直接关系到治疗的开展与预后的评估。来自临床的需求为组织病理诊断提出了质量与效率两个方面的挑战。组织病理诊断涉及大量繁重的病理切片判读任务,高度依赖医生的经验,但病理医生的培养周期长,人才储备缺口巨大,病理科室普遍超负荷工作。近年来出现的基于深度学习的组织病理辅助诊断方法可以帮助医生提高诊断工作的精度与速度,缓解病理诊断资源不足的问题,引起了研究人员的广泛关注。本文初步综述深度学习方法在组织病理学中的相关研究工作。介绍了组织病理诊断的医学背景,整理了组织病理学领域的主要数据集,重点介绍倍受关注的乳腺癌、淋巴结转移癌、结肠癌的病理数据及其分析任务。本文归纳了数据的存储与处理、模型的设计与优化以及小样本与弱标注学习这3项需要解决的技术问题。围绕这些问题,本文介绍了包括数据存储、数据预处理、分类模型、分割模型、迁移学习和多示例学习等相关研究工作。最后总结了面向组织病理学诊断的深度学习方法研究现状,并指出当下研究工作可能的改进方向。     

全景分割研究综述

在计算机视觉领域,全景分割是一个新颖且重要的研究主题,它是机器感知、自动驾驶等新兴前沿技术的基石,具有十分重要的研究意义.本文综述了基于深度学习的全景分割研究的最新进展,首先总结了全景分割任务的基本处理流程,然后对已发表的全景分割工作基于其网络结构特点进行分类,并进行了全面的介绍与分析,最后对全景分割任务目前面临的问题...     

在线多类别逐点式多目标跟踪与分割

现有基于深度学习的多目标跟踪算法大多利用目标检测任务预测的边界框跟踪目标,当目标间存在遮挡时,边界框会产生重叠进而影响跟踪准确度,针对这个问题,提出了一种在线多类别逐点式多目标跟踪与分割（category-free point-wise multi-object tracking and segmentation,CPMOTS）算法。该算法摒弃了边界框的目标表征方式,利用实例分割的像素级掩码表征目标进行跟踪,网络采用并行结构同时分割与跟踪多类别目标,并保证了运行效率,这在真实场景中有很强的实用性。CPMOTS首先利用实例分割网络得到实例分割掩码,对其采样得到无序点集;然后将点集的特征输入跟踪网络得到判别性的实例级嵌入向量;最后将该嵌入向量通过直观高效的注意力模块以显式建模其通道间的依赖关系,自适应学习每个特征通道的重要程度,依照这个重要程度选择性地强化有用的特征,抑制无用的特征,实现通道特征重标定,从而提高算法的性能。在多目标跟踪与分割基准数据集KITTI MOTS的实验表明,CPMOTS跟踪的精度优于大部分其他对比方法,并达到了16 frame/s的近实时速度。     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于深度学习的数字病理图像分割综述与展望

数字病理图像分析对于乳腺癌、前列腺癌等良恶性分级诊断具有重要意义,其中,组织基元的形态和目标测量是量化分析的重要依据.然而,由于病理数据多样性和复杂性等新特点,其分割任务面临着特征提取困难、实例分割困难等挑战.人工智能辅助病理量化分析将复杂病理数据转化为可挖掘的图像特征,使得自动提取组织基元的定量化信息成为可能.特别是...