基于多重注意力机制的多模态脑肿瘤图像分割 |
| |
引用本文: | 陈子昂,刘娜,袁野,李清都,万里红.基于多重注意力机制的多模态脑肿瘤图像分割[J].智能计算机与应用,2023(12):80-86. |
| |
作者姓名: | 陈子昂 刘娜 袁野 李清都 万里红 |
| |
作者单位: | 1. 上海理工大学健康科学与工程学院;2. 上海理工大学机器智能研究院 |
| |
基金项目: | 国家自然科学基金(61773083);;上海市浦江人才计划(2019PJD035); |
| |
摘 要: | 本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。
|
关 键 词: | 医学图像 深度学习 语义分割 注意力机制 |
|
|