摘 要: | 基于生成对抗网络(Generative Adversarial Network,GAN)的医学图像融合是计算机辅助诊断领域的研究热点之一,但是现有基于GAN的融合方法存在训练不稳定,提取图像的局部和全局上下文语义信息能力不足,交互融合程度不够等问题。针对上述问题,本文提出了双耦合交互式融合GAN (Dual-Coupled Interactive Fusion GAN, DCIFGAN)。首先,设计了双生成器双鉴别器GAN,通过权值共享机制实现生成器之间和鉴别器之间的耦合,通过全局自注意力机制实现交互式融合;第二,设计耦合CNN-Transformer的特征提取模块(Coupled CNN-Transformer Feature Extraction Module, CC-TFEM)和特征重构模块(CNN-Transformer Feature Reconstruction Module, C-TFRM),提升了对同一模态图像内部的局部和全局特征信息提取能力;第三,设计跨模态交互式融合模块(Cross Model Intermodal Fusion Module, CMIFM),通过跨...
|