Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters

In order to achieve perceptually better fusion of infrared (IR) and visible images than conventional pixel-level fusion algorithms based on multi-scale decomposition (MSD), we present a novel multi-scale fusion method based on a hybrid multi-scale decomposition (hybrid-MSD). The proposed hybrid-MSD transform decomposes the source images into multi-scale texture details and edge features by jointly using multi-scale Gaussian and bilateral filters. This transform enables to better capture important multi-scale IR spectral features and separate fine-scale texture details from large-scale edge features. As a result, we can use it to achieve better fusion result for human visual perception than those obtained from conventional multi-scale fusion methods, by injecting the multi-scale IR spectral features into the visible image, while preserving (or properly enhancing) important perceptual cues of the background scenery and details from the visible image. In the decomposed information fusion process, three different combination algorithms are adaptively used in accordance to different scale levels (i.e., the small-scale levels, the large-scale levels and the base level). A regularization parameter is introduced to control the relative amount of IR spectral information injected into the visible image in a soft manner, which can be adjusted further depending on user preferences. Moreover, by testing different settings of the parameter, we demonstrate that injecting a moderate amount of IR spectral information with this parameter can actually make the fused images visually better for some infrared and visible source images. Experimental results of both objective assessment and subjective evaluation by human observers also prove the superiority of the proposed method compared with conventional MSD-based fusion methods.     

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制,并且未能充分考虑图像色彩信息对图像质量的影响,提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型.该模型在图像质量评估中融入了更多的颜色信息,综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征,经过特征融合和支持向量回归训练,实现彩色融合图像的色彩和谐性客观评价.采用3种典型场景融合图像数据库进行实验比较与分析.实验结果表明,与现有的8种图像质量客观评价方法相比,所提出的方法与人眼主观感受更加一致,具有较高的预测准确度.     

基于注意力与残差级联的红外与可见光图像融合方法

红外与可见光图像融合是在复杂环境中获得高质量目标图像的一种有效手段,广泛应用于目标检测、人脸识别等领域。传统的红外与可见光图像融合方法未充分利用图像的关键信息,导致融合图像的视觉效果不佳、背景细节信息丢失。针对该问题,提出基于注意力与残差级联的端到端融合方法。将源图像输入到生成器中,通过层次特征提取模块提取源图像的层次特征,基于U-net连接的解码器融合层次特征并生成初始融合图像。将生成器与输入预融合图像的判别器进行对抗训练,同时利用细节损失函数优化生成器,补充融合图像缺失的信息。此外,在判别器中,采用谱归一化技术提高生成对抗网络训练的稳定性。实验结果表明,该方法的信息熵、标准差、互信息、空间频率分别为7.118 2、46.629 2、14.236 3和20.321,相比FusionGAN、LP、STDFusionNet等融合方法,能够充分提取源图像的信息,所得图像具有较优的视觉效果和图像质量。     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

结合NSCT和压缩感知的红外与可见光图像融合

目的 红外成像传感器只敏感于目标场景的辐射,对热目标的探测性能较好,但其对场景的成像清晰度低;可见光图像只敏感于目标场景的反射,场景图像较为清晰,但目标不易被清晰观察.因而将两者图像进行融合,生成具有较好目标指示特性和可见光图像的清晰场景信息,有利于提高目标识别的准确性和降低高分辨图像传感器研究的技术难度.方法 结合非下采样contourlet变换 (NSCT)和压缩感知的优点,研究一种新的红外与可见光图像融合方法.首先对两源图像进行NSCT变换,得到一个低频子带和多个不同方向、尺度的高频子带.然后对两低频子带采用压缩感知理论获得测量向量,利用方差最大的方法对测量向量进行融合,再进行稀疏重建;高频子带采用区域能量最大的方法进行融合.最后利用NSCT逆变换获得融合图像.结果 为了验证本文方法的有效性,与其他几种方法相比较,并利用主观和客观的方法对融合结果进行评价.提出的新方法融合结果的熵、空间频率、方差明显优于其他几种方法,运行时间居中.主观上可以看出,融合结果在较好地显示目标的基础上,能够较为清晰地保留场景图像的信息.结论 实验结果表明,该方法具有较好的目标检测能力,并且方法简单,具有较强的适应性,可应用于航空、遥感图像、目标识别等诸多领域.     

基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

基于FRC框架的红外与可见光图像融合方法

像素级图像融合方案多采用全局统一的融合规则,融合过程易导致区域层级信息丢失.对此,提出一种基于模糊区域特征(FRC)框架的红外与可见光图像融合方法.首先,制定一种模糊区域规则,该规则依据区域特征的模糊性质,对源图像依次施行区域分割、模糊判定和解模糊,全局图像的融合转化为3种不同属性区域的融合;然后,分别对目标区域、过渡区域和背景区域采用期望值最大(EM)、加权平均融合、主成分分析(PCA)的融合策略进行融合;最后,融合后的区域图重构得到最终的融合图像.为验证FRC框架保护区域特征的有效性,还提出一种区域特征一致性的度量指标(RC^{\rm ABF}),经主观视觉与客观指标检验,融合图像在保持红外目标显著性的同时,具有清晰的背景细节,优于现有的红外与可见光图像融合方法,宜应用于红外目标的监控与分析.     

采用目标提取和NSCT的红外与可见光图像融合

针对目前红外图像和可见光图像融合中,融合图像信息量不足的问题,将目标提取和NSCT方法相结合,对其中的高频目标区域提出了基于局部信息熵的融合规则。将其与小波变换法、拉普拉斯法、NSCT法、提升方向波变换法作比较,并通过熵、标准差、相关系数等参数对融合后的图像进行定量分析。实验结果表明,该方法不但较好地提高了融合图像信息量,而且能够更加有效、准确地提取源图像中的特征,在主观视觉效果与客观评价指标上均取得了较好的融合效果。     

基于独立成分分析和IHS变换域的灰度可见光和红外图像融合

针对灰度可见光和红外图像的融合图像缺乏色彩信息、图像的高阶信息在变换域中统计独立性不足的缺陷, 提出一种基于独立分量分析和IHS (亮度-色度-饱和度) 变换域的融合方法. 该方法利用IHS 变换域能够有效分离图像亮度分量和彩色信息的优势, 对灰度可见光图像建立灰度图像的彩色传递模型. 利用各分量的独立性进行基于独立分量分析和IHS 变换域的图像融合, 并得到最终的彩色融合图像, 使融合图像更加符合人类视觉要求. 仿真实验验证了所提出算法的有效性.

     

Hierarchical fusion of multi-spectral face images for improved recognition performance

This paper presents a two level hierarchical fusion of face images captured under visible and infrared light spectrum to improve the performance of face recognition. At image level fusion, two face images from different spectrums are fused using DWT based fusion algorithm. At feature level fusion, the amplitude and phase features are extracted from the fused image using 2D log polar Gabor wavelet. An adaptive SVM learning algorithm intelligently selects either the amplitude or phase features to generate a fused feature set for improved face recognition. The recognition performance is observed under the worst case scenario of using single training images. Experimental results on Equinox face database show that the combination of visible light and short-wave IR spectrum face images yielded the best recognition performance with an equal error rate of 2.86%. The proposed image-feature fusion algorithm also performed better than existing fusion algorithms.     

基于Shearlet变换域改进的IR与灰度VIS图像融合算法

针对多尺度变换域内红外(IR)与灰度可见光(VIS)图像融合后图像清晰度差、纹理信息不丰富等问题,提出一种基于剪切波变换(ST)域改进的IR与灰度VIS图像融合算法.首先,采用形态学顶帽变换(MTH)增强IR与VIS图像;然后,对增强后的IR与VIS图像采用ST变换,将其分解成高、低频图像,针对高频图像提出局部标准差(LSTD)与系数绝对值的融合策略;针对低频图像提出一种改进的权值融合策略;最后,通过逆剪切波变换(IST)获得最终融合图像.仿真实验结果表明,所推荐的方法具有优越的性能.     

基于稀疏表示的WMSN红外和可见光图像融合

在使用无线多媒体传感网络WMSN进行环境监测的过程中,对同一场景所采集的红外和可见光源图像进行信息融合时,传统的方法融合的数据量较大且没有充分考虑其内在稀疏性和丰富的结构特征,图像融合的质量不高。将稀疏表示理论应用于WMSN红外和可见光图像融合中,在原始DCT冗余字典基础上,结合K SVD字典训练算法和同步正交匹配追踪SOMP算法对WMSN红外和可见光图像进行有效的稀疏表示,并选择自适应加权平均融合规则对稀疏表示系数进行融合处理。仿真结果表明,相对于传统的基于空域及变换域的红外和可见光图像融合方法,该方法更能从WMSN含噪图像中有效地保留源图像的有用信息,获得较好的融合效果。     

基于卷积神经网络与视觉显著性的图像融合

传统的红外与可见光图像融合方法,多数需要手动提取特征且特征提取单一。而深度学习可以自动选择图像特征,改善特征提取的单一性,因此提出一种基于卷积神经网络与视觉显著性的红外和可见光图像融合方法。利用卷积神经网络获得红外目标与背景的二分类图;利用条件随机场对分类图进行精分割得到显著性目标提取图;采用非下采样轮廓波变换并结合目标提取图,得到融合图像。实验结果表明,该方法在主观视觉和客观评价方面均优于传统非智能方法,并且5个客观评价指标(边缘信息保留量,结构相似度,互信息,信息熵和标准差)均有显著提高。     

基于LLF和RBD检测的红外和可见光图像融合

提出一种基于LLF和RBD检测的红外和可见光图像融合方法。运用局部拉普拉斯滤波对红外图像平滑处理和对可见光增强处理,以充分利用红外图像的目标信息和可见光图像的细节信息。在此基础上,采用增强背景检测的RBD显著性检测算法处理红外图像,以很好地检测出目标。此外,为了增强目标信息,减弱背景干扰,对RBD检测的结果进行S曲线变换。然后,对红外和可见光图像应用NSST分解得到高频分量与低频分量。最后,使用S曲线变换后获得的显著图对低频分量进行加权融合,采用绝对值取大的规则对高频分量进行融合。实验结果表明,该方法能够得到红外目标突出,细节增强的融合图像。     

基于内生长机制和卷积稀疏表示的红外与可见光图像融合

为了提升红外与可见光图像融合视觉效果,克服融合结果的伪影效应,提出一种基于内生长机制结合卷积稀疏表示的图像融合方法.首先,采用符合人类大脑推理的内生长机制对源图像进行分解,获取预测层和细节层;其次,对细节层采用卷积稀疏表示进行二次分解,获取二次细节层和基本层,并分别对其采用活动水平测度取大以及加权平均规则进行融合;再次,针对预测层定义ISR混合算子融合规则,并进行融合;最后,将融合后的预测层和细节层相加获取最终融合结果.实验中,采用3组具有代表性的红外与可见光图像进行算法测试,实验结果表明所提出的方法具有较好的主观视觉效果,并且客观评价指标更好,具有有效性.     

结合亮度感知与密集卷积的红外与可见光图像融合

为解决弱光照条件下红外与可见光图像融合质量差的问题,提出一种结合亮度感知与密集卷积的红外与可见光图像融合方法（brightness perception and dense convolution,BPD-Fusion）。首先,对可见光图像进行亮度计算,得到亮度权重并对其暗区域进行亮度增强;然后,将增强的可见光图像与红外图像级联输入生成器,在其Conv1阶段后嵌入密集卷积以获取更丰富的图像特征;最后,为了达到较强的图像重构与生成能力,建立多损失函数构建端到端的图像融合过程。在TNO和KAIST数据集上进行融合质量测评:主观评价上,提出的方法视觉效果良好;客观评价上,差异相关和、信息熵、互信息和平均梯度指标均优于对比方法。     

利用NSCT域邻域特性区域化方法融合红外与微光图像

针对同一场景的红外与微光(可见光)图像融合问题,提出了一种利用邻域特性区域化处理的非下采样Contourlet变换(NSCT)融合方法.首先,对红外和微光源图像进行多尺度、多方向分解;然后对低频系数采用邻域能量上改进的区域化加权融合规则,高频系数采用邻域能量区域化匹配的系数选择方案与邻域方差上的区域方差取大融合规则;最后利用NSCT反变换进行重构得到融合图像.实验结果表明,本文方法信息熵略低于亮度过度增大的参考文献中的方法,由于传统方法引入虚假细节信息导致空间频率略高于所提方法,但其互信息与边缘保持度(Q)指标值较好,其融合图像整体效果优于对比方法.本文方法在保留源图像主要信息及捕捉细节信息方面效果显著,且融合的图像具有较好的视觉效果.