基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

基于曲波变换的红外/可见光图像融合

和小波变换相比较,曲波变换能更好地表示图像的边缘信息.在此基础上给出了一种基于曲波变换的图像融合方法,并将其应用于红外和可见光图像融合.首先,对红外图像和可见光图像分别进行曲波变换,得到两幅图像的低频分量和不同尺度的高频分量.在对源图像的各分量融合时,对低频分量采用平均加权进行融合.对高频分量采用取绝对值较大的方法进行融合,得到融合后的低频分量和不同尺度的高频分量,最后对这些融合后的分量进行重构,得到融合图像.仿真结果表明:和基于小波变换的融合算法相比较,该算法较好地保留了源图像的细节信息,提高了融合的效果.     

基于正交多小波的红外和可见光图像融合

在应用中,预滤波器或平衡滤波器的设计影响着多小波的处理结果.针对OPTFR-多小波,设计了一种平衡滤波器,将其应用于红外和可见光图像融合.首先.对红外图像和可见光图像分别进行三层OPTFR-多小波变换,提取出两幅图像的低频分量和不同尺度的高频分量.由于图像的大部分能量集中在低频分量上,而不同尺度上的高频分量反映了图像在不同尺度上的细节信息,在对源图像融合时,对低频分量和高频分量分别采用能量和方差的加权平均进行融合,得到融合后的低频分量和不同尺度的高频分量,最后对这些融合后的分量进行重构,得到融合图像.仿真结果表明:和以往的融合算法相比较,该算法强化了源图像的细节信息,提高了融合的效果.     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。     

基于改进Tetrolet变换的图像融合算法研究

针对红外图像目标物体能量高以及可见光图像细节信息丰富的特点,提出一种基于改进的Tetrolet变换的红外与可见光图像融合算法.对红外和可见光图像进行多尺度、多方向分解,在低频融合规则上,对区域能量进行适当缩放,突出红外目标,保留可见光背景信息.实验结果表明,对Tetrolet变换模板的选择的改进,有助于获取更多高频信息;融合算法相对于传统的算法不仅增强了图像对比度,改善了主观视觉效果,而且在客观标准上有了一定提高.     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

基于FPDE的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.     

基于Curvelet变换的红外与彩色可见光图像融合算法

提出了基于二代Curvelet变换的红外与彩色可见光图像的融合算法。首先对彩色可见光图像进行IV1V2颜色空间变换提取亮度分量,然后对彩色图像的亮度分量和红外图像应用Curvelet变换,对低频系数应用亮度重映射技术后采用加权平均的融合规则,高频系数则采用取大融合规则,再对融合系数应用Curvelet逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验对比表明,相对于对传统融合算法中强度较高的源图像会淹没另一方背景纹理及细节的问题,该算法能有效提高红外光谱信息的充分融合,获得了视觉效果更好、综合指标更优的融合图像。     

基于改进引导滤波与DCPCNN的图像融合方法

针对红外图像与可见光图像融合易产生边缘信息缺失,目标不够突出等问题,将引导滤波的保持边缘特性与双通道脉冲耦合神经网络（DCPCNN）的非线性耦合调制特性相结合,提出一种基于改进引导滤波与DCPCNN的红外与可见光图像融合算法。该方法首先选取非下采样剪切波变换将图像进行分解,获得高低频分量;对低频分量的融合是利用改进空间频率作用DCPCNN输入激励,且其链接强度由表征图像信息的平均梯度自适应调整来确定;高频分量融合是利用局部平均梯度与区域方差自适应加权,而后采用改进的引导滤波进行平滑处理实现空间一致性;最后,对分别处理后的各分量经过非下采样剪切波变换可逆变换获取融合图像。针对典型背景目标和复杂背景目标两类实验结果表明,与经典的曲波变换、双树复小波变换、非下采样轮廓波变换和非下采样剪切波变换等方法相比,该算法可以有效综合图像的优势信息,且在平均梯度、标准差、空间频率、相关系数等方面具有更高的优势。     

基于改进的BEMD的红外与可见光图像融合方法

将红外图像与可见光图像融合在一起,可增强视觉效果,使人产生更完整的场景感知。基于二维经验模态分解(Bidimensional Empirical Mode Decomposition,BEMD)的图像融合方法运行时间较长,因此,文中提出了一种基于改进的二维经验模态分解的红外与可见光图像快速自适应融合方法,采用顺序统计滤波器和高斯滤波器直接生成均值包络曲面,从而加速图像的分解过程。首先,将可见光图像转化到HIS(Hue-Intensity-Saturation)颜色空间;然后,用改进的BEMD对强度分量I和红外图像进行分解,生成高频分量和低频分量,高频分量和低频分量分别采用自适应局部加权融合规则和算术平均融合规则;最后,将强度分量I与红外图像的融合结果图经过逆HIS变换到RGB颜色空间,从而得到融合图像。仿真实验表明,该融合算法不仅运行速度快,而且融合效果最佳,最大程度地保留了红外图像的边缘细节特征和可见光图像的光谱信息。     

基于BEEMD分解的红外与可见光图像融合

针对二维经验模态分解（BEMD）算法在图像分解过程中存在模态混叠,提出了一种基于二维集合经验模态分解（Bi-dimensional Ensemble Empirical Mode Decomposition,BEEMD）算法的红外与可见光图像融合方法。为了抑制分解过程中存在的模态混叠现象,获得准确的特征分量和残差分量,使用BEEMD算法对图像进行分解。对获得的特征分量采用局部区域能量选择与加权的融合策略进行融合,而残差分量采用模糊逻辑进行融合。将融合后的特征分量和残差分量叠加得到最后的融合图像。实验结果表明,该方法能够很大程度上保留可见光图像的背景信息,同时突出红外图像的目标,具有较好的可视性,而且在平均梯度（AG）、标准差（SD）、信息熵（IE）等客观评价指标方面,也有明显的优势。     

使用二维EMD的红外和彩色可见光图像融合

针对红外和彩色可见光图像的融合,提出了一种基于二维经验模式分解（BEMD）的新的融合方法。源图像由BEMD分解成为本征模式函数集（IMFs）和残余;再将红外图像的IMFs和残余分别与对应可见光图像的IMFs和残余进行灰度范围匹配后,用加权平均方法进行融合;最后由BEMD重构成融合图像。用此法所得的融合图像增强了红外图像的细节并具有与可见光图像相似的自然色彩。实验中将此法与传统的小波变换方法和主成分分析方法进行了比较,还与经验模式分解（EMD）和复经验模式分解（CEMD）的方法进行了比较,实验结果都证明了该方法的融合效果最优。     

基于PCNN与区域特征的红外与可见光图像融合

针对红外图像与可见光图像融合中容易产生红外目标不明显、对比度不高的问题,提出了一种新的融合算法。该算法创新地将PCNN与区域特征应用到NSCT域内低频和带通子带系数的选择上。通过NSCT分解得到待融合图像的子带系数。运用PCNN对分解后的子带系数进行处理,得到子带系数的点火映射图。低频子带点火映射图采取基于区域标准差的方法选取融合系数。带通子带点火映射图采取基于区域能量的方法选取融合系数。融合图像通过NSCT逆变换可以得到。仿真实验表明与其他算法相比,该算法能够得到红外目标突出、质量更好的融合图像,图像客观评价指标提升明显。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

多方向Laplacian能量和与tetrolet变换的图像融合

目的 红外与可见光图像融合算法大部分可以达到认知场景的目的,但是无法对场景中的细节特征进行更加细致的刻画。为进一步提高场景辨识度,提出一种基于tetrolet变换的多尺度几何变换图像融合算法。方法 首先,将红外与可见光图像映射到tetrolet变换域,并将二者分解为低频系数和高频系数。然后,对低频系数,将区域能量理论与传统的加权法相结合,利用区域能量的多变性和区域像素的相关性,自适应地选择加权系数进行融合;对高频系数,利用改进的多方向拉普拉斯算子方法计算拉普拉斯能量和,再引入区域平滑度为阈值设定高频系数融合规则。最后,将融合所得新的低频和高频系数进行图像重建得到融合结果。结果 在kaptein、street和road等3组红外与可见光图像上,与轮廓波变换（contourlet transformation,CL）、离散小波变换（discrete wavelet transformation,DWT）和非下采样轮廓波变换（nonsubsampled contourlet transformation,NSCT）等3种方法的融合结果进行比较,主观评判上,本文算法融合结果在背景、目标物以及细节体现方面均优于其他3种方法;客观指标上,本文算法相较于其他3种方法,运行时间较NSCT方法提升了0.37 s,平均梯度（average gradient,AvG）值和空间频率（spatial frequency,SF）值均有大幅提高,提高幅度最大为5.42和2.75,峰值信噪比（peak signal to noise ratio,PSNR）值、信息熵（information entropy,IE）值和结构相似性（structural similarity index,SSIM）值分别提高0.25、0.12和0.19。结论 本文提出的红外与可见光图像融合算法改善了融合图像的细节刻画,使观察者对场景的理解能力有所提升。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。