MRI脑肿瘤图像分割研究进展及挑战

脑肿瘤分割是医学图像处理中的一项重要内容,其目的是辅助医生做出准确的诊断和治疗,在临床脑部医学领域具有重要的实用价值。核磁共振成像（MRI）是临床医生研究脑部组织结构的主要影像学工具,为了使更多研究者对MRI脑肿瘤图像分割理论及其发展进行探索,本文对该领域研究现状进行综述。首先总结了用于MRI脑肿瘤图像分割的方法,并对现有方法进行了分类,即分为监督分割和非监督分割;然后重点综述了基于深度学习的脑肿瘤分割方法,在研究其关键技术基础上归纳了优化策略;最后介绍了脑肿瘤分割（BraTS）挑战,并结合挑战中所用方法展望了脑肿瘤分割领域未来的发展趋势。MRI脑肿瘤图像分割领域的研究已经取得了一些显著进展,尤其是深度学习的发展为该领域的研究提供了新的思路。但由于脑肿瘤在大小、形状和位置方面的高度变化,以及脑肿瘤图像数据有限且类别不平衡等问题,使得脑肿瘤图像分割仍是一个极具挑战的课题。由于分割过程缺乏可解释性和透明性,如何将全自动分割方法应用于临床试验,还需要进行深入研究。     

基于多尺度卷积输入和ConvCRFs的非对称U-Net脑肿瘤MRI图像分割

针对磁共振成像（Magnetic Resonance Imaging,MRI）进行脑胶质瘤病灶边界分割的问题，提出基于多尺度卷积输入和卷积条件随机场（ConvCRFs）的非对称U-Net脑肿瘤MRI图像分割算法。首先，设计了多尺度卷积输入模块作为预处理步骤，以丰富全局上下文语义信息的提取与输入；其次，采用非对称U-Net网络结合ConvCRFs，对分割结果进行判别微调，从而提高肿瘤的分割准确率；最后，为了验证算法的可行性，在Brats2020数据集上进行了实验。实验结果表明，Dice系数达到0.887，表明对脑胶质瘤图像分割算法具有重要的临床引导价值。     

肝脏肿瘤CT图像深度学习分割方法综述

肝脏肿瘤的精确分割是肝脏疾病诊断、手术计划和术后评估的重要步骤。计算机断层成像（computed tomography,CT）能够为肝脏肿瘤的诊断和治疗提供更为全面的信息,分担了医生繁重的阅片工作,更好地提高诊断的准确性。但是由于肝脏肿瘤的类型多样复杂,使得分割成为计算机辅助诊断的重难点问题。肝脏肿瘤CT图像的深度学习分割方法较传统的分割方法取得了明显的性能提升,并获得快速的发展。通过综述肝脏肿瘤图像分割领域的相关文献,本文介绍了肝脏肿瘤分割的常用数据库,总结了肝脏肿瘤CT图像的深度学习分割方法：全卷积网络（fully convolutional network,FCN）、U-Net网络和生成对抗网络（generative adversarial network,GAN）方法,重点给出了各类方法的基本思想、网络架构形式、改进方案以及优缺点等,并对这些方法在典型数据集上的性能表现进行了比较。最后,对肝脏肿瘤深度学习分割方法的未来研究趋势进行了展望。     

等强度婴儿脑MR图像分割的深度学习方法综述

磁共振（magnetic resonance,MR）成像作为一种安全非侵入式的成像技术,可以提供高分辨率且具有不同对比度的大脑图像,被越来越多地应用于婴儿大脑研究中。将婴儿脑MR图像准确地分割为灰质、白质和脑脊液,是研究早期大脑发育模式不可或缺的基础处理环节。由于在等强度阶段（6~9月龄）婴儿脑MR图像中,灰质和白质信号强度基本一致,组织对比度极低,导致此阶段的脑组织分割非常具有挑战性。基于深度学习的等强度婴儿脑MR图像分割方法,由于其卓越的性能受到研究人员的广泛关注,但目前尚未有文献对该领域的方法进行系统总结和分析。因此本文对目前基于深度学习的等强度婴儿脑MR图像分割方法进行了系统总结,从基本思想、网络架构、性能及优缺点4个方面进行了介绍。并针对其中的典型算法在iSeg-2017数据集上的分割结果进行了对比分析,最后对等强度婴儿脑MR图像分割中存在的问题及未来研究方向进行展望。本文通过对目前基于深度学习的等强度婴儿脑MR图像分割方法进行总结,可以看出深度学习方法已经在等强度期婴儿脑分割中展现出巨大优势,相比传统方法在分割精度和效率上均有较大提升,将进一步促进人类人脑早期发育研究。     

基于HMRF的改进Kmeans脑肿瘤分割算法

为了解决磁共振成像脑部肿瘤区域出现误识别及对脑MRI图像中的肿瘤部位分割时出现的不确定性等问题，提出一种改进的Kmeans算法与隐马尔可夫随机场模型（HMRF）相结合的分割方法，对脑肿瘤图像实现精准分割。首先将Kmeans算法的欧氏距离替换成曼哈顿-切比雪夫距离并用改进后的Kmeans算法对待分割图像进行初始参数估计和初始分割，然后通过HMRF理论获得图像的空间信息，并结合EM算法对聚类中心进行更新，获得更为准确的聚类中心，从而提高算法的分割性能。实验结果表明，该方法具有良好的脑部肿瘤分割性能效果，其中Dice系数和Jaccard系数的平均值分别达到了0.9289和0.8725。     

基于同一特征空间的多模态脑肿瘤分割方法

脑胶质瘤的分割依赖多种模态的核磁共振成像（MRI）的影像。基于卷积神经网络（CNN）的分割算法往往是在固定的多种模态影像上进行训练和测试,这忽略了模态数据缺失或增加问题。针对这个问题,提出了将不同模态的图像通过CNN映射到同一特征空间下并利用同一特征空间下的特征来分割肿瘤的方法。首先,不同模态的数据经过同一深度CNN提取特征;然后,将不同模态的特征连接起来,经过全连接层实现特征融合;最后,利用融合的特征实现脑肿瘤分割。模型采用BRATS2015数据集进行训练和测试,并使用Dice系数对模型进行验证。实验结果表明了所提模型能有效缓解数据缺失问题。同时,该模型较多模态联合的方法更加灵活,能够应对模态数据增加问题。     

基于多层级并行神经网络的多模态脑肿瘤图像分割框架

目的 在脑肿瘤临床诊疗过程中,由于医疗资源稀缺与诊断效率偏低,迫切需要高精度的医学图像分割工具进行辅助诊疗。目前,使用卷积神经网络进行脑肿瘤图像分割已经成为主流,但是其对于脑肿瘤信息的利用并不充分,导致精度与效率并不完善,而且重新设计一个全新且高效的深度神经网络模型是一项成本高昂的任务。为了更有效提取脑肿瘤图像中的特征信息,提出了基于多层级并行神经网络的多模态脑肿瘤图像分割框架。方法 该框架基于现有的网络结构进行拓展,以ResNet（residual network）网络为基干,通过设计多层级并行特征提取模块与多层级并行上采样模块,对脑肿瘤的特征信息进行高效提取与自适应融合,增强特征信息的提取与表达能力。另外,受U-Net长连接结构的启发,在网络中加入多层级金字塔长连接模块,用于输入的不同尺寸特征之间的融合,提升特征信息的传播效率。结果 实验在脑肿瘤数据集BRATS2015（brain tumor segmentation 2015）和BRATS2018（brain tumor segmentation 2018）上进行。在BRATS2015数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为84%、70%和60%,并且分割时间为5 s以内,在分割精度和时间方面都超过了当前主流的分割框架。在BRATS2018数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为87%、76%和71%,对比基干方法分别提高8%、7%和6%。结论 本文提出多层级并行的多模态脑肿瘤分割框架,通过在脑肿瘤数据集上的实验验证了分割框架的性能,与当前主流的脑肿瘤分割方法相比,本文方法可以有效提高脑肿瘤分割的精度并缩短分割时间,对计算机辅助诊疗有重要意义。     

基于数据增强的CT图像病灶检测方法

基于医疗影像的辅助诊断技术正处于快速发展阶段,但是受医学影像数据量的制约,使得基于深度学习的建模方法无法向更复杂的模型进行探索.本文从医学CT影像数据增强方法出发,概述了医疗影像病灶图像的成像特点,针对病灶检测及分割任务对现有方法进行了归类总结,并阐述了当前医学影像检测和分割的难点.分别从病灶检测相关技术、影像数据增强方法、基于生成对抗网络(Generative Adversarial Network,GAN)的病灶检测方法等方面进行了总结.最后,针对医学领域内基于深度学习的数据增强方法:标准GAN、pix2pixGAN、CycleGAN模型进行了对比分析,并展望未来医学影像分析领域的发展趋势.     

胎儿脑磁共振图像分割研究进展

医学影像是产前筛查、诊断、治疗引导和评估的重要工具,能有效避免胎儿脑的发育异常。近年来,磁共振成像在产前诊断中愈加重要,而实现自动、定量、精确地分析胎儿脑磁共振图像依赖于可靠的图像分割。因此,胎儿脑磁共振图像分割具有十分重要的临床意义与研究价值。由于胎儿图像中存在组织器官多、图像质量差及结构变化快等问题,胎儿脑磁共振图像的分割面临着巨大的困难与挑战。目前,尚未有文献对该领域的方法进行系统性的总结和分析,尤其是基于深度学习的方法。本文针对胎儿脑磁共振图像分割方法进行综述,首先,对胎儿脑磁共振图像的主要公开图谱/数据集进行详细说明;接着,对脑实质提取、组织分割和病灶分割方法进行全面的分类与分析;最后,对胎儿脑磁共振图像分割面临的挑战及未来的研究方向进行总结与展望。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

融合跨阶段深度学习的脑肿瘤MRI图像分割

目的 磁共振成像(magnetic resonance imaging, MRI)作为一种非侵入性的软组织对比成像方式,可以提供有关脑肿瘤的形状、大小和位置等有价值的信息,是用于脑肿瘤患者检查的主要方法,在脑肿瘤分割任务中发挥着重要作用。由于脑肿瘤本身复杂多变的形态、模糊的边界、低对比度以及样本梯度复杂等问题,导致高精度脑肿瘤MRI图像分割非常具有挑战性,目前主要依靠专业医师手动分割,费时且可重复性差。对此,本文提出一种基于U-Net的改进模型,即CSPU-Net(cross stage partial U-Net)脑肿瘤分割网络,以实现高精度的脑肿瘤MRI图像分割。方法 CSPU-Net在U-Net结构的上下采样中分别加入两种跨阶段局部网络结构(cross stage partial module, CSP)提取图像特征,结合GDL(general Dice loss)和WCE(weighted cross entropy)两种损失函数解决训练样本类别不平衡问题。结果 在BraTS (brain tumor segmentation) 2018和BraTS 2019两个数据集上进行实...     

自适应模态融合双编码器MRI脑肿瘤分割网络

目的 评估肿瘤的恶性程度是临床诊断中的一项具有挑战性的任务。因脑肿瘤的磁共振成像呈现出不同的形状和大小,肿瘤的边缘模糊不清,导致肿瘤分割具有挑战性。为有效辅助临床医生进行肿瘤评估和诊断,提高脑肿瘤分割精度,提出一种自适应模态融合双编码器分割网络D3D-Net(double3DNet)。方法 本文提出的网络使用多个编码器和特定的特征融合的策略,采用双层编码器用于充分提取不同模态组合的图像特征,并在编码部分利用特定的融合策略将来自上下两个子编码器的特征信息充分融合,去除冗余特征。此外,在编码解码部分使用扩张多纤维模块在不增加计算开销的前提下捕获多尺度的图像特征,并引入注意力门控以保留细节信息。结果 采用BraTS2018(brain tumor segmentation 2018)、BraTS2019和BraTS2020数据集对D3D-Net网络进行训练和测试,并进行了消融实验。在BraTS2018数据集上,本模型在增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了3.6%,1.0%,11.5%,与DMF-Net(dilatedmulti-fibernetwork...     

深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。     

IRDNU-Net: Inception residual dense nested u-net for brain tumor segmentation

Accurate segmentation of brain tumors is an essential stage in treatment planning. Fully convolutional neural networks, specifically the encoder-decoder architectures such as U-net, have proven successful in medical image segmentation. However, segmenting brain tumors with complex structure requires building a deeper and wider model which increases the computational complexity and may also cause the gradient vanishing problem. Therefore, in this work, we propose a novel encoder-decoder architecture, called Inception Residual Dense Nested U-Net (IRDNU-Net). In this model carefully designed Residual and Inception modules are used in place of standard U-Net convolutional layers to increase the width of the model without increasing the computational complexity. Additionally, in the proposed architecture, the encoder and decoder are connected via a sequence of Inception-Residual densely nested paths to extract more information and increase the depth of the network while reducing the number of network parameters. The proposed segmentation architecture was evaluated on two large brain tumor segmentation benchmark datasets; the BraTS’2019 and BraTS’2020. It achieved a mean Dice similarity coefficient of 0.888 for the whole tumor region, 0.876 for the core region, and 0.819 for the enhancement region. Experimental results illuminate that IRDNU-Net outperforms U-Net by 1.8%, 11.4%, and 11.7% in the whole tumor, core tumor, and enhancing tumor, respectively. Moreover, the IRDNU-Net enables a great improvement on the accuracy compared to comparative approaches, and its ability in the face of challenging problems, such as small tumor regions, with fewer parameters.

     

Brain tumor classification using deep convolutional autoencoder-based neural network: multi-task approach

Diagnosis, detection and classification of tumors, in the brain MRI images, are important because misdiagnosis can lead to death. This paper proposes a method that can diagnose brain tumors in the MRI images and classify them into 5 categories using a Convolutional Neural Network (CNN). The proposed network uses a Convolutional Auto-Encoder Neural Network (CANN) to extract and learn deep features of input images. Extracted deep features from each level are combined to make desirable features and improve results. To classify brain tumor into three categories (Meningioma, Glioma, and Pituitary) the proposed method was applied on Cheng dataset and has reached a considerable performance accuracy of 99.3%. To diagnosis and grading Glioma tumors, the proposed method was applied on IXI and BraTS 2017 datasets, and to classify brain images into six classes including Meningioma, Pituitary, Astrocytoma, High-Grade Glioma, Low-Grade Glioma and Normal images (No tumor), the all datasets including IXI, BraTS2017, Cheng and Hazrat-e-Rassol, was used by the proposed network, and it has reached desirable performance accuracy of 99.1% and 98.5%, respectively.