基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题，提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先，根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型，不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息，而且能够实现这两种信息之间的交互，从而很好地提取医学图像的纹理细节信息。其次，利用交叉网络通道和空间特征变化构造了一种新的注意力机制，通过不断调整结构信息和功能信息权重来融合图像，提高了融合图像的对比度和轮廓信息。最后，设计了一个从融合图像到源图像的分解过程，由于分解图像的质量直接取决于融合结果，因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比，本文方法的AG,EN,SF,MI,Q^AB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%，说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果，在主观视觉和客观指标上都优于其他对比算法。