基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

并行多特征提取网络的红外图像增强方法

为解决低质量红外图像细节模糊、对比度低等问题,提出了并行多特征提取网络的红外图像增强方法,设计了结构特征映射网络和双尺度特征提取网络。结构特征映射网络用于建立全局结构特征权重,以保持原始图像的空间结构信息。双尺度特征提取网络采用多尺度卷积层和融合多空洞卷积的注意力,增强网络对上下文信息的关注力,提升网络对感兴趣区域的特征提取能力,同时学习不同尺度的特征信息,完成双尺度间信息的交换,生成目标增强映射,实现目标区域细节纹理自适应增强。实验证明,所提方法能有效提高对比度,避免过增强,丰富图像细节纹理,减少伪影和光晕现象,在BSD200数据集上的PSNR与SSIM较典型的传统方法和深度学习方法分别提升了约37.35%、2.1%与25.94%、3.15%,在真实红外数据集上分别提升了约30.62%、1.04%与24.83%、2.08%,且对不同对比度因子的低质量图像,文中方法也具有良好的增强效果。