基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法，该方法将3种注意力机制与传统U-Net模型相结合，从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分，各采用不同的注意力机制，增强了多模态信息提取能力。在特征融合部分，提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来，沿通道维度和空间维度依次推断注意力映射；瓶颈层部分，在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外，在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果，表明了所提模型的有效性。