跨模态融合的双注意力脑肿瘤分割算法

针对脑肿瘤多模态信息融合不充分以及肿瘤区域细节信息丢失等问题,提出了一种跨模态融合的双注意力脑肿瘤图像分割网络(CFDA-Net).在编码器-解码器的基础结构上,首先在编码器分支采用密集块与大内核注意力并行的新卷积块,可以使全局和局部信息有效融合且可以防止反向传播时梯度消失的问题;其次在编码器的第2、3和4层的左侧加入多模态深度融合模块,有效地利用不同模态间的互补信息;然后在解码器分支使用Shuffle Attention注意力将特征图分组处理后再聚合,其中分组的子特征一分为二地获取空间与通道的重要注意特征.最后使用二进制交叉熵(binary cross entropy, BCE)、Dice Loss与L2 Loss组成新的混合损失函数,缓解了脑肿瘤数据的类别不平衡问题,进一步提升分割性能.在BraTS2019脑肿瘤数据集上的实验结果表明,该模型在整体肿瘤区域、肿瘤核心区域和肿瘤增强区域的平均Dice系数值分别为0.887、0.892和0.815.与其他先进的分割方法 ADHDC-Net、SDS-MSA-Net等相比,该模型在肿瘤核心区域和增强区域具有更好的分割效果.     

多尺度特征融合与加性注意力指导脑肿瘤MR图像分割

目的 U-Net是医学图像分割领域中应用最为广泛的基础分割网络,然而U-Net及其各种增强网络在跳跃连接时仅利用相同尺度特征,忽略了具有互补信息的多尺度特征对当前尺度特征的指导作用。同时,跳跃连接时编码器特征和解码器特征所处的网络深度不同,二者直接串联会产生语义特征差距。针对这两个问题,提出了一种新型分割网络,以改进现有网络存在的不足。方法 首先,将编码器不同层级具有不同尺度感受野的特征进行融合,并在融合特征与编码器各层级特征间引入加性注意力对编码器特征进行指导,以增强编码器特征的判别性;其次,在编码器特征和解码器特征间采用加性注意力来自适应地学习跳跃连接特征中的重要特征信息,以降低二者间的语义特征差距。结果 在多模态脑肿瘤数据集BraTS2020(multimodal brain tumor segmentation challenge 2020)上评估了所提出的网络模型,并进行了消融实验和对比实验。实验结果表明,所提出的网络在BraTS2020验证数据集上关于整个肿瘤、肿瘤核心和增强肿瘤的平均Dice分别为0.887 5、0.719 4和0.706 4,优于2D网络DR-Unet1...     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

融合跨阶段深度学习的脑肿瘤MRI图像分割

目的 磁共振成像(magnetic resonance imaging, MRI)作为一种非侵入性的软组织对比成像方式,可以提供有关脑肿瘤的形状、大小和位置等有价值的信息,是用于脑肿瘤患者检查的主要方法,在脑肿瘤分割任务中发挥着重要作用。由于脑肿瘤本身复杂多变的形态、模糊的边界、低对比度以及样本梯度复杂等问题,导致高精度脑肿瘤MRI图像分割非常具有挑战性,目前主要依靠专业医师手动分割,费时且可重复性差。对此,本文提出一种基于U-Net的改进模型,即CSPU-Net(cross stage partial U-Net)脑肿瘤分割网络,以实现高精度的脑肿瘤MRI图像分割。方法 CSPU-Net在U-Net结构的上下采样中分别加入两种跨阶段局部网络结构(cross stage partial module, CSP)提取图像特征,结合GDL(general Dice loss)和WCE(weighted cross entropy)两种损失函数解决训练样本类别不平衡问题。结果 在BraTS (brain tumor segmentation) 2018和BraTS 2019两个数据集上进行实...     

基于多层级并行神经网络的多模态脑肿瘤图像分割框架

目的 在脑肿瘤临床诊疗过程中,由于医疗资源稀缺与诊断效率偏低,迫切需要高精度的医学图像分割工具进行辅助诊疗。目前,使用卷积神经网络进行脑肿瘤图像分割已经成为主流,但是其对于脑肿瘤信息的利用并不充分,导致精度与效率并不完善,而且重新设计一个全新且高效的深度神经网络模型是一项成本高昂的任务。为了更有效提取脑肿瘤图像中的特征信息,提出了基于多层级并行神经网络的多模态脑肿瘤图像分割框架。方法 该框架基于现有的网络结构进行拓展,以ResNet（residual network）网络为基干,通过设计多层级并行特征提取模块与多层级并行上采样模块,对脑肿瘤的特征信息进行高效提取与自适应融合,增强特征信息的提取与表达能力。另外,受U-Net长连接结构的启发,在网络中加入多层级金字塔长连接模块,用于输入的不同尺寸特征之间的融合,提升特征信息的传播效率。结果 实验在脑肿瘤数据集BRATS2015（brain tumor segmentation 2015）和BRATS2018（brain tumor segmentation 2018）上进行。在BRATS2015数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为84%、70%和60%,并且分割时间为5 s以内,在分割精度和时间方面都超过了当前主流的分割框架。在BRATS2018数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为87%、76%和71%,对比基干方法分别提高8%、7%和6%。结论 本文提出多层级并行的多模态脑肿瘤分割框架,通过在脑肿瘤数据集上的实验验证了分割框架的性能,与当前主流的脑肿瘤分割方法相比,本文方法可以有效提高脑肿瘤分割的精度并缩短分割时间,对计算机辅助诊疗有重要意义。     

多尺度非局部自注意力MRI脑肿瘤分割网络

针对U-Net模型在MRI脑肿瘤分割上存在的感受野受限和全局信息捕获不足问题, 通过引入非局部自注意力机制与多尺度的金字塔卷积提出一种改进U-Net模型—PyCSAU-Net. 该模型以三维U-Net作为基础网络, 在第4层横向连接位置引入扩展的三维非局部注意力模块, 通过改善网络因卷积核大小受限导致的长距离建模能力不足问题来提升脑肿瘤分割精度; 此外, 在网络下采样阶段将普通卷积替换为具有多尺度特点的三维金字塔卷积, 在多级别和分辨率下来提取更具判别性的脑肿瘤深度特征. 在公开的BraTS 2019和BraTS 2020验证集上在完全肿瘤、增强肿瘤和肿瘤核心分割上分别取得了0.904/0.901、0.781/0.774和0.825/0.824的分割精度, 表明所提出PyCSAU-Net方法在脑肿瘤分割任务上的有效性和竞争力.     

面向多模态磁共振脑瘤图像的小样本分割方法

针对脑肿瘤磁共振成像（MRI）模态多、训练数据少、类别不平衡以及各个私有数据库差异大等导致分割困难的问题,引入小样本分割方法,并提出基于U-net的原型网络（PU-net）模型用以对脑肿瘤磁共振（MR）图像进行分割。首先对U-net的结构进行调整来提取各类瘤体的特征用以计算原型;然后在原型网络的基础上,逐像素利用原型对各空间位置进行分类,从而获取各类瘤体区域的概率图与分割结果;针对瘤体像素类别不平衡问题,采用自适应权重交叉熵损失函数来减小背景类对损失计算的影响;最后加入原型校验机制,即融合利用分割得到的概率图和查询图像对原型进行校验。所提方法在公开数据集BraTS2018上进行实验,得到的平均Dice系数为0.654,阳性预测率为0.662,灵敏度为0.687,豪斯多夫距离为3.858,平均交并比（mIOU）达到61.4%,与最新的小样本分割方法原型校准网络（PANet）和基于注意力的多上下文引导网络（A-MCG）相比各项指标均有所提升。结果显示引入小样本分割方法对脑肿瘤MR图像进行分割有不错的效果,采用自适应权重交叉熵损失函数也有着一定的帮助,可以对脑肿瘤诊断治疗起到有效的辅助作用。     

融合深层差异特征的RGB-T巢式语义分割网络

针对现存可见光—红外（RGB-T）图像语义分割模型分割性能不高的问题,提出一种基于深层差异特征互补融合的巢式分割网络。具体来说,网络的编码和解码部分通过多级稠密中间路径相连形成一个嵌套形式的结构,编码器的深浅特征通过多级路径供解码器实现密集的多尺度特征复用,另一方面多模态深层特征通过特征差异性融合策略增强其语义表达能力。实验结果表明,所提网络在MFNet数据集上实现了65.8%的平均准确率和54.7%的平均交并比,与其他先进RGB-T分割模型相比,具有更优越的分割能力。     

面向多模态MRI脑胶质瘤区域三维分割与生存期预测的级联U-Net网络

目的 针对常见方法对脑胶质瘤的肿瘤分割和生存预测需要单独建模的问题,提出一种带有变分自编码器(variational auto-encoder, VAE)分支的两阶段级联U-Net算法,旨在分割肿瘤的同时提取鲁棒的特征预测患者生存期,有助于患者的精准治疗。方法 提出的两阶段级联U-Net网络,第1阶段实现初步粗分割,第2阶段实现精细化分割。此外,在第2阶段添加变分自编码器分支以提取更加鲁棒的特征并提高模型泛化性。其中,变分自编码器分支获取的特征被送入随机森林算法以进行生存期预测。另外,在两个阶段的解码器部分都添加了SE(squeeze-and-excitation)-残差模块以及注意力门模块,提高了分割精度。结果 在Brain Tumor Segmentation (BraTS)竞赛官网分别评估了本文方法在BraTS2020验证集上分割以及总体生存期预测两大任务的结果,本文算法在该验证集的全肿瘤区域、肿瘤核心区域以及增强型肿瘤区域分别取得了90.66%、85.09%和79.02%的Dice相似系数。相较3DU-Net在3个肿瘤子区域的Dice相似系数分别提高了4.3%、1.37%和5....     

基于ShuffleNet的多尺度高效脑肿瘤分割网络

为解决硬件平台资源受限条件下精准实现脑肿瘤区域分割的需求,提出一种基于ShuffleNet的多尺度高效脑肿瘤分割网络。首先以ShuffleNet为基础构建深层特征提取网络,并加入多路平行卷积层和混合感受野增强网络的多尺度信息提取能力;其次,使用深度可分离卷积降低网络的参数量;最后提出一种加权混合损失函数缓解了数据类别不平衡对脑肿瘤分割的影响,提高了网络分割的稳定性。实验选取BraTS2019数据集进行训练和验证,并在BraTS2021临床病人数据集上进行临床测试。结果表明,所提的深层轻量级网络大幅度降低了参数量和计算量,同时具有较高的分割精度,且在增强肿瘤区域的分割问题上有更好的表现。     

IRDNU-Net: Inception residual dense nested u-net for brain tumor segmentation

Accurate segmentation of brain tumors is an essential stage in treatment planning. Fully convolutional neural networks, specifically the encoder-decoder architectures such as U-net, have proven successful in medical image segmentation. However, segmenting brain tumors with complex structure requires building a deeper and wider model which increases the computational complexity and may also cause the gradient vanishing problem. Therefore, in this work, we propose a novel encoder-decoder architecture, called Inception Residual Dense Nested U-Net (IRDNU-Net). In this model carefully designed Residual and Inception modules are used in place of standard U-Net convolutional layers to increase the width of the model without increasing the computational complexity. Additionally, in the proposed architecture, the encoder and decoder are connected via a sequence of Inception-Residual densely nested paths to extract more information and increase the depth of the network while reducing the number of network parameters. The proposed segmentation architecture was evaluated on two large brain tumor segmentation benchmark datasets; the BraTS’2019 and BraTS’2020. It achieved a mean Dice similarity coefficient of 0.888 for the whole tumor region, 0.876 for the core region, and 0.819 for the enhancement region. Experimental results illuminate that IRDNU-Net outperforms U-Net by 1.8%, 11.4%, and 11.7% in the whole tumor, core tumor, and enhancing tumor, respectively. Moreover, the IRDNU-Net enables a great improvement on the accuracy compared to comparative approaches, and its ability in the face of challenging problems, such as small tumor regions, with fewer parameters.

     

MRI脑肿瘤图像分割的深度学习方法综述

磁共振成像（MRI）作为一种典型的非侵入式成像技术，可产生高质量的无损伤和无颅骨伪影的脑影像，为脑肿瘤的诊断和治疗提供更为全面的信息，是脑肿瘤诊疗的主要技术手段。MRI脑肿瘤自动分割利用计算机技术从多模态脑影像中自动将肿瘤区（坏死区、水肿区、非增强肿瘤区和增强肿瘤区）和正常组织区进行分割和标注，对于辅助脑肿瘤的诊疗具有重要作用。本文对MRI脑肿瘤图像分割的深度学习方法进行了总结与分析，给出了各类方法的基本思想、网络架构形式、代表性改进方案以及优缺点总结等，并给出了部分典型方法在BraTS（multimodal brain tumor segmentation）数据集上的性能表现与分析结果。通过对该领域研究方法进行综述，对现有基于深度学习的MRI脑肿瘤分割研究方法进行了梳理，作为新的发展方向，MRI脑肿瘤图像分割的深度学习方法较传统方法已取得明显的性能提升，已成为领域主流方法并持续展现出良好的发展前景，有助于进一步推动MRI脑肿瘤分割在临床诊疗上的应用。     

MRI脑肿瘤图像分割研究进展及挑战

脑肿瘤分割是医学图像处理中的一项重要内容,其目的是辅助医生做出准确的诊断和治疗,在临床脑部医学领域具有重要的实用价值。核磁共振成像（MRI）是临床医生研究脑部组织结构的主要影像学工具,为了使更多研究者对MRI脑肿瘤图像分割理论及其发展进行探索,本文对该领域研究现状进行综述。首先总结了用于MRI脑肿瘤图像分割的方法,并对现有方法进行了分类,即分为监督分割和非监督分割;然后重点综述了基于深度学习的脑肿瘤分割方法,在研究其关键技术基础上归纳了优化策略;最后介绍了脑肿瘤分割（BraTS）挑战,并结合挑战中所用方法展望了脑肿瘤分割领域未来的发展趋势。MRI脑肿瘤图像分割领域的研究已经取得了一些显著进展,尤其是深度学习的发展为该领域的研究提供了新的思路。但由于脑肿瘤在大小、形状和位置方面的高度变化,以及脑肿瘤图像数据有限且类别不平衡等问题,使得脑肿瘤图像分割仍是一个极具挑战的课题。由于分割过程缺乏可解释性和透明性,如何将全自动分割方法应用于临床试验,还需要进行深入研究。     

组卷积轻量级脑肿瘤分割网络

目的 脑肿瘤是一种严重威胁人类健康的疾病。利用计算机辅助诊断进行脑肿瘤分割对于患者的预后和治疗具有重要的临床意义。3D卷积神经网络因具有空间特征提取充分、分割效果好等优点,广泛应用于脑肿瘤分割领域。但由于其存在显存占用量巨大、对硬件资源要求较高等问题,通常需要在网络结构中做出折衷,以牺牲精度或训练速度的方式来适应给定的内存预算。基于以上问题,提出一种轻量级分割算法。方法 使用组卷积来代替常规卷积以显著降低显存占用,并通过多纤单元与通道混合单元增强各组间信息交流。为充分利用多显卡协同计算的优势,使用跨卡同步批量归一化以缓解3D卷积神经网络因批量值过小所导致的训练效果差等问题。最后提出一种加权混合损失函数,提高分割准确性的同时加快模型收敛速度。结果 使用脑肿瘤公开数据集BraTS2018进行测试,本文算法在肿瘤整体区、肿瘤核心区和肿瘤增强区的平均Dice值分别可达90.67%、85.06%和80.41%,参数量和计算量分别为3.2 M和20.51 G,与当前脑肿瘤分割最优算法相比,其精度分别仅相差0.01%、0.96%和1.32%,但在参数量和计算量方面分别降低至对比算法的1/12和1/73。结论 本文算法通过加权混合损失函数来提高稀疏类分类错误对模型的惩罚,有效平衡不同分割难度类别的训练强度,本文算法可在保持较高精度的同时显著降低计算消耗,为临床医师进行脑肿瘤分割提供有力参考。     

Brain tumor classification using deep convolutional autoencoder-based neural network: multi-task approach

Diagnosis, detection and classification of tumors, in the brain MRI images, are important because misdiagnosis can lead to death. This paper proposes a method that can diagnose brain tumors in the MRI images and classify them into 5 categories using a Convolutional Neural Network (CNN). The proposed network uses a Convolutional Auto-Encoder Neural Network (CANN) to extract and learn deep features of input images. Extracted deep features from each level are combined to make desirable features and improve results. To classify brain tumor into three categories (Meningioma, Glioma, and Pituitary) the proposed method was applied on Cheng dataset and has reached a considerable performance accuracy of 99.3%. To diagnosis and grading Glioma tumors, the proposed method was applied on IXI and BraTS 2017 datasets, and to classify brain images into six classes including Meningioma, Pituitary, Astrocytoma, High-Grade Glioma, Low-Grade Glioma and Normal images (No tumor), the all datasets including IXI, BraTS2017, Cheng and Hazrat-e-Rassol, was used by the proposed network, and it has reached desirable performance accuracy of 99.1% and 98.5%, respectively.