基于N-RGAN模型的红外与可见光图像融合 |
| |
引用本文: | 沈瑜,梁丽,王海龙,严源,刘广辉,宋婧.基于N-RGAN模型的红外与可见光图像融合[J].红外技术,2023(9):897-906. |
| |
作者姓名: | 沈瑜 梁丽 王海龙 严源 刘广辉 宋婧 |
| |
作者单位: | 兰州交通大学电子与信息工程学院 |
| |
基金项目: | 国家自然科学基金项目(61861025); |
| |
摘 要: | 目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)、残差网络(Residual Network,ResNet)与生成对抗网络(Generative Adversarial Network, GAN)提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比(Peak Signal to Noise Ratio,PSNR)、平均梯度(Average Gradient, AVG)、图像熵(Im...
|
关 键 词: | 图像融合 红外与可见光图像 显著性特征提取 非下采样剪切波变换 残差网络 生成对抗网络 |
|
|