深度学习下的医学影像分割算法综述

医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助。近年来深度学习技术在图像处理方面取得了巨大进展,基于深度学习的医学影像分割算法逐渐成为该领域研究的重点和热点。叙述了计算机视觉下的医学影像分割任务及其难点,重点综述了基于深度学习的医学影像分割算法,对当前具有代表性的相关方法进行了分类和总结,介绍了医学影像分割算法常用的评价指标和数据集。对该技术的发展进行了总结和展望。     

融合深度主动学习的医学图像半自动标注系统

目前深度学习在医学图像分析领域取得的良好表现大多取决于高质量带标注的数据集, 但是医学图像由于其专业性和复杂性, 数据集的标注工作往往需要耗费巨大的成本. 本文针对这一问题设计了一种基于深度主动学习的半自动标注系统, 该系统通过主动学习算法减少训练深度学习标注模型所需的标注样本数量, 训练完成后的标注模型可以用于剩余数据集的标注工作. 系统基于Web应用构建, 无需安装且能跨平台访问, 便于用户完成标注工作.     

面向3维心脏MRI分割的半监督双任务交叉一致性约束网络

目的 针对人体组织器官及病灶区域的3维图像分割是计算机辅助医疗诊断的重要前提,是医学影像3维可视化的重要技术基础。深度学习方法在医学图像分割任务中的成功通常取决于大量有标注数据。半监督学习利用未标注数据容易获取的优点,在模型训练过程中使用少量标注数据和大量未标注数据进行学习,缓解了数据标注昂贵耗时的问题,在医学图像分割中受到了广泛关注。为更好地利用无标注数据,提升医学图像分割效果,提出一种新的一致性正则方法用于半监督3维医学图像分割。方法 模型以V-Net为基础架构,通过扩展网络结构,在均带有分割任务及回归任务属性的双任务主副解码器之间添加了用于正则化约束的交叉损失,构建了具有形状感知的基于双任务的交叉一致性正则网络SACC-Net(shape-aware cross-consistency regular network based on dual tasks),实现将数据层面和模型层面的扰动融合进多任务机制的一致性正则方法,使模型能够更好地利用未标注数据的有效先验信息,并且具有更好的泛化性能。结果 在MICCAI 2018(Medical Image Computing and C...     

基于数据增强的CT图像病灶检测方法

基于医疗影像的辅助诊断技术正处于快速发展阶段,但是受医学影像数据量的制约,使得基于深度学习的建模方法无法向更复杂的模型进行探索.本文从医学CT影像数据增强方法出发,概述了医疗影像病灶图像的成像特点,针对病灶检测及分割任务对现有方法进行了归类总结,并阐述了当前医学影像检测和分割的难点.分别从病灶检测相关技术、影像数据增强方法、基于生成对抗网络(Generative Adversarial Network,GAN)的病灶检测方法等方面进行了总结.最后,针对医学领域内基于深度学习的数据增强方法:标准GAN、pix2pixGAN、CycleGAN模型进行了对比分析,并展望未来医学影像分析领域的发展趋势.     

基于深度学习的计算机辅助肺癌诊断方法

癌症,是21世纪死亡率较高的疾病之一,而肺癌在所有癌症发病率及死亡率中均占首位.近年来,随着大数据与人工智能的兴起,基于深度学习的肺癌辅助诊断逐渐成为热门的研究课题.计算机辅助肺癌诊断技术主要是对医学仪器成像得到的肺部影像数据进行处理分析的过程,文中将这类过程总结为4个步骤:医学影像数据预处理、肺实质分割、肺结节检测与分割,以及病变诊断.由于深度学习技术对于训练数据的数量需求较高,而目前领域内公开较多的数据主要是肺部CT图像的结节数据,因此深度学习上对于肺癌辅助诊断的工作主要是肺内实质部分分割、肺结节检测分割以及病变分析的工作.文中对于面向肺癌辅助诊断的传统医学影像处理方法进行了简单介绍,并对前沿的深度学习医学影像处理方法进行了综述.     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于深度学习的无人机侦察图像目标识别

无人机侦察图像是获取战场情报信息的重要手段。针对侦察图像目标识别速度慢、效率不高等问题,笔者结合研究现状提出将深度学习应用到侦察图像目标识别领域。首先标注了一个地面主要武器装备数据集,然后在YOLOv3算法官方参数权重的基础上采用迁移学习的方法进行微调训练,最后使用训练好的模型进行目标识别。实验结果表明,基于深度学习的YOLOv3算法可以较好地实现无人机侦察图像目标识别,且可以满足实时性的要求。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

面向3D CT影像处理的无监督推荐标注算法

在3D CT影像分析上应用深度学习技术时,通常需要采用交互标注工具标注一组训练数据.针对3D CT影像一般包含数量较多的切片,医学影像交互标注工作量非常巨大且标注成本非常高的问题,提出一种面向3DCT影像数据交互标注的无监督推荐标注算法,通过构造稠密深度自动编码器DCDAE (densely-connected deep auto encoder)提取3D影像的高层特征,同时采用密度-谱聚类来筛选最具标注价值的影像,从而极大减少需要标注的数据量.算法提出了全自动的推荐标注流程,在提取图像特征时采用稠密连接结构改进DCDAE,减少了参数量并使得提取的特征更有区分度,同时对特征采用密度-谱聚类算法进行孤立点鉴别,并依据相关性矩阵自适应调整聚类个数;在肺结节语义分割任务上采用LIDC-IDRI数据集对算法进行了实验.     

面向乳腺超声图像分割的混合监督双通道反馈U-Net

目的 基于超声图像的乳腺病灶分割是实现乳腺癌计算机辅助诊断和定量分析的基本预处理步骤。由于乳腺超声图像病灶边缘通常较为模糊,而且缺乏大量已标注的分割图像,增加了基于深度学习的乳腺超声图像分割难度。本文提出一种混合监督双通道反馈U-Net（hybrid supervised dual-channel feedback U-Net,HSDF-U-Net）算法,提升乳腺超声图像分割的准确性。方法 HSDF-U-Net通过融合自监督学习和有监督分割实现混合监督学习,并且进一步通过设计双通道反馈U-Net网络提升图像分割准确性。为了改善标记数据有限的问题,首先在自监督学习框架基础上结合标注分割图像中的标签信息,设计一种边缘恢复的辅助任务,以实现对病灶边缘表征能力更强的预训练模型,然后迁移至下游图像分割任务。为了提升模型在辅助边缘恢复任务和下游分割任务的表现,将循环机制引入经典的U-Net网络,通过将反馈的输出结果重新送入另一个通道,构成双通道编码器,然后解码输出更精确的分割结果。结果 在两个公开的乳腺超声图像分割数据集上评估HSDF-U-Net算法性能。HSDF-U-Net对Dataset B数据集中的图像进行分割获得敏感度为0.848 0、Dice为0.826 1、平均对称表面距离为5.81的结果,在Dataset BUSI（breast ultrasound images）数据集上获得敏感度为0.803 9、Dice为0.803 1、平均对称表面距离为6.44的结果。与多种典型的U-Net分割算法相比,上述结果均有提升。结论 本文所提HSDF-U-Net算法提升了乳腺超声图像中的病灶分割的精度,具备潜在的应用价值。     

胎儿脑磁共振图像分割研究进展

医学影像是产前筛查、诊断、治疗引导和评估的重要工具,能有效避免胎儿脑的发育异常。近年来,磁共振成像在产前诊断中愈加重要,而实现自动、定量、精确地分析胎儿脑磁共振图像依赖于可靠的图像分割。因此,胎儿脑磁共振图像分割具有十分重要的临床意义与研究价值。由于胎儿图像中存在组织器官多、图像质量差及结构变化快等问题,胎儿脑磁共振图像的分割面临着巨大的困难与挑战。目前,尚未有文献对该领域的方法进行系统性的总结和分析,尤其是基于深度学习的方法。本文针对胎儿脑磁共振图像分割方法进行综述,首先,对胎儿脑磁共振图像的主要公开图谱/数据集进行详细说明;接着,对脑实质提取、组织分割和病灶分割方法进行全面的分类与分析;最后,对胎儿脑磁共振图像分割面临的挑战及未来的研究方向进行总结与展望。     

Self-supervised blur detection from synthetically blurred scenes

Blur detection aims at segmenting the blurred areas of a given image. Recent deep learning-based methods approach this problem by learning an end-to-end mapping between the blurred input and a binary mask representing the localization of its blurred areas. Nevertheless, the effectiveness of such deep models is limited due to the scarcity of datasets annotated in terms of blur segmentation, as blur annotation is labor intensive. In this work, we bypass the need for such annotated datasets for end-to-end learning, and instead rely on object proposals and a model for blur generation in order to produce a dataset of synthetically blurred images. This allows us to perform self-supervised learning over the generated image and ground truth blur mask pairs using CNNs, defining a framework that can be employed in purely self-supervised, weakly supervised or semi-supervised configurations. Interestingly, experimental results of such setups over the largest blur segmentation datasets available show that this approach achieves state of the art results in blur segmentation, even without ever observing any real blurred image.     

肺部影像解剖结构分割数据集及应用

目的 从影像中快速精准地分割出肺部解剖结构可以清晰直观地分辨各解剖结构间的关系,提供有效、客观的辅助诊断信息,大大提高医生的阅片效率并降低医生的工作量。随着影像分割算法的发展,越来越多的方法应用于分割肺部影像中感兴趣的解剖结构区域,但目前尚缺乏包含多种肺部精细解剖结构的影像数据集。本文创建了一个带标签的肺部CT/CTA （computer tomography/computer tomography angiography）影像数据集,以促进肺部解剖结构分割算法的发展。方法 该数据集共标记了67组肺部CT/CTA影像,包括CT影像24组、CTA影像43组,共计切片图像26 157幅。每组CT/CTA有4个不同的目标区域类别,标记对应支气管、肺实质、肺叶、肺动脉和肺静脉。结果 本文利用该数据集,用于肺部CT解剖结构分割医学影像挑战赛——2020年第四届国际图像计算与数字医学研讨会,该挑战赛提供了一个肺血管、支气管和肺实质的评估平台,通过Dice系数、过分割率、欠分割率、医学和算法行业专家对分割和3维重建效果进行了评估,目的是比较各种算法分割肺部解剖结构的性能。结论 本文详细描述了包括支气管、肺实质、肺叶、肺动脉和肺静脉等解剖结构标签的肺部影像数据集和应用结果,为相关研究人员利用本数据集进行更深入的研究提供参考。     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。     

Efficient surface defect detection using self-supervised learning strategy and segmentation network

Surface defect detection plays a crucial role in the production process to ensure product quality. With the development of Industry 4.0 and smart manufacturing, traditional manual defect detection becomes no longer satisfactory, and deep learning-based technologies are gradually applied to surface defect detection tasks. However, the application of deep learning-based defect detection methods in actual production lines is often constrained by insufficient data, expensive annotations, and limited computing resources. Detection methods are expected to require fewer annotations as well as smaller computational consumption. In this paper, we propose the Self-Supervised Efficient Defect Detector (SEDD), a high-efficiency defect defector based on self-supervised learning strategy and image segmentation. The self-supervised learning strategy with homographic enhancement is employed to ensure that defective samples with annotations are no longer needed in our pipeline, while competitive performance can still be achieved. Based on this strategy, a new surface defect simulation dataset generation method is proposed to solve the problem of insufficient training data. Also, a lightweight structure with the attention module is designed to reduce the computation cost without incurring accuracy. Furthermore, a multi-task auxiliary strategy is employed to reduce segmentation errors of edges. The proposed model has been evaluated with three typical datasets and achieves competitive performance compared with other tested methods, with 98.40% AUC and 74.84% AP on average. Experimental results show that our network has the smallest computational consumption and the highest running speed among the networks tested.     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

眼底图像半自动标注系统

近年来,由于人工智能在医疗领域的高速发展,科研人员对医学图像的需求量与日俱增.这些医学图像往往需要经过精细地标注之后才能够被投入使用.与自然图像相比,医学图像的数据标注工作更具专业性、复杂性.因此,医学图像面临着标注速率低、标注成本高等问题,从而导致带标签样本稀缺的困境.眼底图像作为一种重要的医学图像,能够实现绝大多数的眼科疾病筛查与初诊工作,如糖尿病视网膜病变、青光眼等,但也同样面临着标注困难的问题.针对这样的现状,本文设计并开发了一种高效的眼底图像半自动标注系统,该系统的创新点是能够对多种眼病进行半自动标注.针对眼底图像进行多种疾病的预测,预测结果的类型包括疾病分级和病灶分割,标注人员只需对生成的预测结果进行审核并修改,这一过程可以大大降低标注人员的工作量.此外,该系统包括用户管理、项目管理、图像管理、算法模型管理4个模块.通过这4个模块可以实现团队标注中的任务分配,标注进度数据可视化,标注结果快速导出等人性化功能.该系统极大提升了标注人员的标注效率和标注体验.     

用于CD56图像分割的细胞标注精细化与自适应加权损失

CD56是神经细胞黏附分子,可用于多种肿瘤细胞的诊断与研究。CD56是目前最新的肿瘤分子标记物之一,计算机医学图像处理领域目前对CD56图像的研究刚刚起步。随着诸如语义分割深度学习技术的发展,越来越多的研究人员将语义分割技术应用到医学图像处理中,以实现辅助医疗诊断。CD56图像中的背景、阴性细胞和阳性细胞像素点个数的比例非常不平衡,大致为70∶10∶1,这会影响语义分割技术用于CD56图像分割的效果。对不同类别的像素点添加损失权重且对每个像素点添加自适应权重,改进了相关语义分割模型的损失函数,使得模型能更关注细胞,特别是阳性细胞。同时使用聚类的方法,在模型训练之前精细化对CD56图像的标注,进一步提升了模型的分割精度。针对CD56图像数据集的实验结果表明,对图像标注的精细化和对相关语义分割模型的损失函数的改进有效提升了模型对CD56图像的分割精度。     

面向房颤分析的左心房分割方法综述

房颤是一种起源于心房的心脏疾病。据估计全球有超过3 000万人受其影响,虽然通过治疗可以降低患病风险,但房颤通常是隐匿的,很难及时诊断和干预。房颤的诊断方法主要有心脏触诊、光学体积描记术、血压监测振动法、心电图和基于影像的方法。房颤类型主要为阵发性房颤,前4种诊断方法不一定能捕捉到房颤发作,而且诊断周期长、成本高、准确率低及容易受医生的影响。左心房的解剖结构为房颤病理和研究进展提供了重要信息,基于医学影像的房颤分析需要准确分割左心房,通过分割结果计算房颤的临床指标,例如,射血分数、左心房体积、左心房应变及应变率,然后对左心房功能进行定量评估。采用影像的方法得出的诊断结果不易受人为干扰且具有处理大批量患者数据的能力,辅助医生及早发现房颤,对患者进行干预治疗,提高对房颤症状和临床诊断的认识,在临床实践中具有重大意义。本文将已有的分割方法归纳为传统方法、基于深度学习的方法以及传统与深度学习结合的方法。这些方法得到的结果为后续房颤分析提供了依据,但目前的分割方法许多都是半自动的,分割结果不够精确,训练数据集较小且依赖手工标注。本文总结了各种方法的优缺点,归纳了目前已有的公开数据集和房颤分析的临床应用,并展望了未来的发展趋势。