卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

NSST域红外和可见光图像感知融合

为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform,NSST)域红外和可见光图像感知融合方法.首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像.实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知.     

改进快速NSST的热烟羽红外与可见光图像融合

针对非下采样剪切波变换逐步划分子带过程中迭代滤波运算效率不高的问题,提出一种非下采样剪切波变换的快速分解重构方法。改进的分解方法根据分解的尺度卷积非下采样金字塔滤波器组中相应的滤波器,用卷积结果对源图像进行滤波,直接生成子带图像,在提高图像分解速度的同时,也相应减少分解迭代滤波的运算量。本文采用一种基于标准差的区域特性量测方法用于低频系数融合,突出低频系数中的轮廓信息;最高频系数融合采用能量取大的融合规则,其余高频系数通过结合改进的拉普拉斯能量和与梯度特性进行融合,使目标烟羽的边缘信息更加清晰。实验结果表明,融合后热烟羽图像目标细节清晰突出;综合客观评价指标来看,本文方法优于一些常用的红外与可见光图像融合方法。     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于局部能量的NSCT域红外与可见光图像融合算法

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合方法。首先对红外和可见光源图像进行多尺度、多方向分解;在低频系数上,采用基于局部能量比与基于局部能量加权相结合的方法进行融合;在高频系数上,定义了局部尺度方差的概念,并以局部尺度方差为测度进行取大融合;最后对融合系数进行重构得到融合图像。使用该算法对两类不同目的的红外与可见光图像进行了融合实验,实验结果表明,文中提出的算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法.首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息.针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像.大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法.     

基于N-RGAN模型的红外与可见光图像融合

目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

基于邻域特征与SCM相结合的红外与可见光图像融合

提出了一种基于邻域特征与脉冲发放皮层模型(Spiking Cortical Model,SCM)相结合的红外与可见光图像融合算法.首先,源图像经过非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)分解得到各自的低频子带图像和高频子带图像.然后,根据低频与高频子带的特点,选择适合的邻域特征作为SCM的外部激励,通过比较SCM的输出对低频与高频分量进行融合.最后将融合得到的低频与高频子带图像经逆变换重建得到最终的融合图像.通过实验仿真与其他几种方法进行比较,可以看出本文算法的融合图像红外目标突出,背景信息丰富,视觉效果良好,并且在标准差、信息熵,以及互信息等客观评价方面具有明显的提高.     

基于RDU-PCNN和NSST的红外和可见图像融合算法

针对可见光和红外图像的融合容易出现块状噪声 、边缘有振铃现象等不足,提出了一种基于区 域双通道脉冲耦合神经网络(RDU-PCNN)和非下采样剪切波变换(NSST)的红外和见光图像融 合算法。首先 对待融合的可见光和红外图像进行NSST分解得到低频系数和高频方向系数,低频系数采用R DU-PCNN的 规则融合,高频方向系数采用离散余弦变换(DCT)的融合规则,对融合后的系数进行逆NSST ,从而得到融合后 的图像。仿真结果表明,与其他5种目前流行或者较为先进的算法相比,本文的算法在视觉 和客观评价指标上优于其他算法。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。     

一种改进的基于多尺度变换的红外和可见光图像融合算法

提出了一种改进的基于多尺度变换的红外和可见光图像融合算法.首先,用形态学帽变换对两幅已经配准的红外图像和可见光图像进行处理,然后将处理后的图像分别进行轮廓波分解得到一系列的高频图像和低频图像.由于高频图像和低频图像特点的不同,对高频图像采用平均梯度进行融合,对低频图像采用PCA的方法进行融合.实验表明,该方法很好地结合了形态学帽变换、主成分PCA算法和轮廓波变换的优点.与传统的融合方法相比,提出的融合方法可以提供丰富的图像信息和清晰纹理细节,且很好地保证了主要目标的亮度基本不变.     

可见光和红外图像决策级融合目标检测算法

为了提高可见光和红外图像决策级融合目标检测算法的性能,提出了一种基于模型可靠性的决策级融合策略。首先采取图像预处理技术提高红外图像的整体质量,之后对可见光与热红外目标检测模型分别进行训练测试,根据模型测试结果得到融合策略所需参数,依据所提出的融合策略对模型检测结果进行融合,得到最后的融合检测结果。实验结果表明,相比于单一目标检测模型的检测结果,所采用的融合算法在白天的漏检率比可见光检测模型降低了8.16%,夜间漏检率比红外检测模型降低了9.85%。     

Fusion of Infrared and Visible Images Based on Infrared Object Extraction

The ideal fused results of infrared and visible images, should contain the important infrared objects, and preserve the visible textural detail information as much as possible. The fused images are more consistent with human visual perception effect. For this purpose, a novel infrared and visible image fusion framework is proposed. Under the guidance of the model, the source images are decomposed into large-scale edge, small-scale textural detail and coarse-scale base level information. Among which, the large-scale edge information contains the main infrared features, on this basis, the infrared image is further segmented into the object, transition and background regions by OTSU multi-threshold segmentation algorithm. In the end, the fused weights for the decomposed sub-information are determined by the segmented results, so that, the infrared object information can be effectively injected into the fused image, and the important visible textural detail information can be preserved as much as possible in the fused image. Experimental results show that, the proposed method can not only highlight the infrared objects, but also preserve the visual information in the visible image as much as possible. The fused results are superior to the commonly used representative fusion methods, both in subjective perception and objective evaluation.     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换（Complex Shearlet transform,CST）及脉冲发放皮层模型（Spiking cortical model,SCM）的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

基于Curvelet变换的图像融合改进算法

针对红外与可见光图像的融合,提出了基于二代Curvelet变换的图像融合改进算法。首先对两幅源图像进行Curvelet变换,得到其在不同尺度和方向下的变换系数。对于低频系数,根据红外与可见光图像的不同成像特点,采用基于局部统计特性的自适应融合策略;对于不同尺度和方向下的高频系数,采用基于局部区域能量匹配的系数选择方案。最后进行Curvelet逆变换得到融合图像。通过实验结果的对比分析,该算法可以更有效地反映源图像中的特征,融合效果有了明显改善。     

基于可见光和红外图像融合的汽车抗晕光方法

针对夜间汽车行车因前大灯使用不当而产生的晕光问题,提出了一种基于可见光与红外图像融合的汽车抗晕光方法,以提高夜间行车的安全性能。该方法通过对可见光图像做IHS变换,将提取到的亮度分量与红外图像进行小波变换,获得新的亮度分量后,再与原始可见光图像的色度分量和饱和度分量进行IHS逆变换,实现既能消除晕光现象又能保留图像细节的目的。对可见光和红外图像融合算法处理结果的主观评价与客观数据分析,表明本文提出的方法可以有效消除夜间汽车行车时的晕光现象,改善传统IHS变换的光谱扭曲性,提高小波变换的速度。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.