基于改进的NSCT红外可见光图像融合算法

针对在红外可见光图像融合过程中目标细节信息容易丢失的问题,提出一种使用非下采样轮廓波变换（NSCT）和主成分分析法（PCA）相结合的图像融合算法。首先应用NSCT将源图像分解分别得到低频和高频的子带图像。在低频子带系数中,由于PCA能够突出图像的主要信息,所以选用主成分分析法融合规则。高频子带中,相对来说较高层次系数表达的是源图像中最为细节的信息,可选用绝对最大值法融合规则,而相比之下低层次系数代表了较为粗糙的信息,可选用绝对最大值与区域标准差融合规则。从实验结果可以得出,在红外可见光图像目标信息和细节信息融合效果上该算法优于其他算法,有更好的图像视觉效果。     

基于改进Tetrolet变换的图像融合算法研究

针对红外图像目标物体能量高以及可见光图像细节信息丰富的特点,提出一种基于改进的Tetrolet变换的红外与可见光图像融合算法.对红外和可见光图像进行多尺度、多方向分解,在低频融合规则上,对区域能量进行适当缩放,突出红外目标,保留可见光背景信息.实验结果表明,对Tetrolet变换模板的选择的改进,有助于获取更多高频信息;融合算法相对于传统的算法不仅增强了图像对比度,改善了主观视觉效果,而且在客观标准上有了一定提高.     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

光电载荷下的红外和可见光图像融合综述

随着机载光电平台在军事、民用等领域的应用，红外与可见光图像的增强和融合技术逐渐成为研究的热点方向。红外设备主要依靠物体本身的热辐射进行成像，适用于恶劣自然环境和隐秘场所等特殊场景，但存在成像质量不佳、图像对比度较低、纹理细节不丰富等缺点；可见光图像的纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差，不适用于隐秘的场所。因此，研究人员提出了既有可见光图像边缘、细节信息又有红外热辐射目标信息的互补图像融合方法。结合红外与可见光图像特点，对目前适用于机载平台的传统红外与可见光图像融合方法进行整理和综述，给出了现有红外与可见光融合算法中弱小目标、纹理信息缺失和计算效率问题的改进思路，并对光电载荷背景下传统红外与可见光图像融合技术未来的发展进行了展望。     

运动目标检测的红外与可见光图像融合方法

在弱可见光条件下,对同一场景监控的红外与可见光图像进行融合,使融合图像即显示红外目标,又能保留可见光图像的细节结构信息,方便观察者对场景的观察与监控。充分利用红外成像的特点,热目标与背景的温度差会使目标在红外图像中的灰度值更大。使用红外序列建立稳定的背景模型,当前帧与背景的差得到运动目标区域,然后,将目标区域内的红外目标融合到可见光图像中,达到对红外运动目标检测的目的。     

基于LLF和RBD检测的红外和可见光图像融合

提出一种基于LLF和RBD检测的红外和可见光图像融合方法。运用局部拉普拉斯滤波对红外图像平滑处理和对可见光增强处理,以充分利用红外图像的目标信息和可见光图像的细节信息。在此基础上,采用增强背景检测的RBD显著性检测算法处理红外图像,以很好地检测出目标。此外,为了增强目标信息,减弱背景干扰,对RBD检测的结果进行S曲线变换。然后,对红外和可见光图像应用NSST分解得到高频分量与低频分量。最后,使用S曲线变换后获得的显著图对低频分量进行加权融合,采用绝对值取大的规则对高频分量进行融合。实验结果表明,该方法能够得到红外目标突出,细节增强的融合图像。     

红外与可见光图像分解与融合方法研究

红外与可见光图像融合旨在生成一幅新的图像,能够对场景进行更全面的描述。本文提出一种图像多尺度混合信息分解方法,可有效提取代表可见光特征分量的纹理细节信息和代表红外特征分量的边缘信息。本文方法将边缘信息进行进一步分割以确定各分解子信息的融合权重,以有效地将多尺度红外光谱特征注入到可见光图像中,同时保留可见光图像中重要的场景细节信息。实验结果表明,本文方法能够有效提取图像中的红外目标,实现在融合图像中凸显红外目标的同时保留尽可能多的可见光纹理细节信息,无论是主观视觉还是客观评价指标都优于现有的图像融合方法。     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

采用目标提取和NSCT的红外与可见光图像融合

针对目前红外图像和可见光图像融合中,融合图像信息量不足的问题,将目标提取和NSCT方法相结合,对其中的高频目标区域提出了基于局部信息熵的融合规则。将其与小波变换法、拉普拉斯法、NSCT法、提升方向波变换法作比较,并通过熵、标准差、相关系数等参数对融合后的图像进行定量分析。实验结果表明,该方法不但较好地提高了融合图像信息量,而且能够更加有效、准确地提取源图像中的特征,在主观视觉效果与客观评价指标上均取得了较好的融合效果。     

多方向Laplacian能量和与tetrolet变换的图像融合

目的 红外与可见光图像融合算法大部分可以达到认知场景的目的,但是无法对场景中的细节特征进行更加细致的刻画。为进一步提高场景辨识度,提出一种基于tetrolet变换的多尺度几何变换图像融合算法。方法 首先,将红外与可见光图像映射到tetrolet变换域,并将二者分解为低频系数和高频系数。然后,对低频系数,将区域能量理论与传统的加权法相结合,利用区域能量的多变性和区域像素的相关性,自适应地选择加权系数进行融合;对高频系数,利用改进的多方向拉普拉斯算子方法计算拉普拉斯能量和,再引入区域平滑度为阈值设定高频系数融合规则。最后,将融合所得新的低频和高频系数进行图像重建得到融合结果。结果 在kaptein、street和road等3组红外与可见光图像上,与轮廓波变换（contourlet transformation,CL）、离散小波变换（discrete wavelet transformation,DWT）和非下采样轮廓波变换（nonsubsampled contourlet transformation,NSCT）等3种方法的融合结果进行比较,主观评判上,本文算法融合结果在背景、目标物以及细节体现方面均优于其他3种方法;客观指标上,本文算法相较于其他3种方法,运行时间较NSCT方法提升了0.37 s,平均梯度（average gradient,AvG）值和空间频率（spatial frequency,SF）值均有大幅提高,提高幅度最大为5.42和2.75,峰值信噪比（peak signal to noise ratio,PSNR）值、信息熵（information entropy,IE）值和结构相似性（structural similarity index,SSIM）值分别提高0.25、0.12和0.19。结论 本文提出的红外与可见光图像融合算法改善了融合图像的细节刻画,使观察者对场景的理解能力有所提升。     

基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared (IR) and visible image fusion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis (ICA) is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can depress the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fusion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the proposed method can provide better perception effect.     

基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.