NSST域红外和可见光图像感知融合

为了提高融合图像的视觉感知效果,提出一种非下采样剪切波变换(Non-Subsampled Shear Transform,NSST)域红外和可见光图像感知融合方法.首先采用NSST将源图像分解为高频和低频分量;接着采用参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PA-PCNN)融合高频分量图像,提高成像细节;然后联合使用高斯滤波器和双边滤波器进行多尺度变换以融合低频分量图像,将低频分量分解为多尺度纹理细节和边缘特征以捕获更多的多尺度红外光谱特征;最后利用NSST逆变换获取融合图像.实验结果表明,该方法不仅可以有效提高融合图像的细节信息,而且还能增强红外特征的提取能力以契合人体的视觉感知.     

基于引导滤波与双树复小波变换的红外与可见光图像融合

针对传统图像融合算法目标不突出、边缘及纹理细节不清晰或缺失、对比度降低等问题，提出一种基于引导滤波（GF）和双树复小波变换（DTCWT）的红外与可见光图像融合算法。首先，根据红外与可见光图像的特点，在DTCWT分解前对可见光图像进行GF增强，同时对经DTCWT分解后的红外高频分量进行GF增强；然后，根据不同频带系数特点，提出一种基于显著性的自适应加权规则对红外与可见光低频子带分量进行融合，采用一种基于拉普拉斯能量和（SML）与梯度值向量的规则对不同尺度、方向下高频子带进行融合；最后，对融合后的高、低频系数进行DTCWT逆变换以得到最终重构图像。将所提算法与6种高效融合算法进行对比评价，实验结果表明，所提融合算法在不同场景下具有显著的目标特征，同时背景纹理和边缘细节清晰，整体对比度适宜，并且在4类客观评价指标上也取得了较好的效果。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于N-RGAN模型的红外与可见光图像融合

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法。首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息。针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像。大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法。     

基于RGF改进显著性检测与SCM相结合的图像融合

针对传统显著性检测融合方法中目标对比度低,纹理细节不够丰富的问题,提出了一种基于滚动导向滤波(RGF)改进显著性检测与脉冲发放皮层模型(SCM)相结合的可见光与红外图像融合算法。该算法先将源图像经过非下采样剪切波变换(NSST)分解成低频部分和高频部分,然后利用RGF小尺度消除、大尺度边缘恢复特性对Frequency Tuned算法进行改进并提取出红外图像显著图。再使用显著图投影区域指导法融合低频部分,同时采用SCM结合区域能量与改进的拉普拉斯能量和融合高频部分,最后使用逆变换重建图像。仿真结果表明,该算法能在突出显著目标的同时保留丰富的细节信息,在质量指标如标准差、互信息、边缘保留因子等方面均优于对比方法。     

基于高斯模糊逻辑和ADCSCM的红外与可见光图像融合算法

为了克服当前的红外与可见光图像融合算法存在着目标不够突出、纹理细节丢失等现象,本文提出了一种基于高斯模糊逻辑和自适应双通道脉冲发放皮层模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的红外与可见光图像融合算法。首先,使用非下采样剪切波变换（Non-Subsampled Sheartlet Transform, NSST）将源图像分解为低频和高频部分。其次,结合新拉普拉斯能量和（New Sum of Laplacian, NSL）与高斯模糊逻辑,设定双阈值来指导低频部分进行融合;同时,采用基于ADCSCM的融合规则来指导高频部分进行融合。最后,使用NSST逆变换进行重构来获取融合图像。实验结果表明,本文算法主观视觉效果最佳,并在互信息、信息熵和标准差3项指标上高于其他7种融合算法,能够有效突出红外目标、保留较多纹理细节,提高融合图像的质量。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于NSST和自适应PCNN的图像融合算法

针对红外和可见光图像的特点,本文提出了一种基于非下采样剪切波变换(NSST)和自适应的脉冲耦合神经网络(PCNN)相结合的红外与可见光图像融合的新算法。对经过NSST变换后的低频子带系数采用带高斯权重分布矩阵的局域方差和方差匹配度相结合的融合规则,对高频子带系数采用一种改进的空间频率作为PCNN输入,且采用改进的拉普拉斯能量和作为PCNN的链接强度,利用PCNN全局耦合性和脉冲同步性选择高频子带系数,最后经NSST逆变换后得到融合结果。实验结果表明,本文提出的算法与传统的图像融合算法相比不仅在主观视觉上取得较好的效果,而且在客观标准上也有了一定的提高。     

基于PUCS与DTCWT的红外与弱可见光图像融合

针对红外与弱可见光图像传统融合算法在结果图像中目标不突出、整体对比度降低、边缘及纹理细节不清晰、缺失等问题,本文提出一种基于感知一致性空间（Perception Unified Color Space,PUCS）和双树复小波变换（Dual Tree Complex Wavelet Transform,DTCWT）的融合算法。首先,将红外与弱可见光图像的亮度分量由RGB空间分别转至感知一致性空间得到新的亮度分量以备后续变换处理;接着,将源图像利用DTCWT进行多尺度分解,分别获取各自的低频分量与高频分量;然后,根据不同频带系数特点,提出一种基于区域能量自适应加权的规则对低频子带分量进行融合,采用一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下高频子带分量进行融合;最后,对融合后的高、低频子带分量进行DTCWT逆变换重构图像,再将其转回至RGB空间以得到最终结果。在不同场景下将本文算法与3种高效融合算法进行对比评价,实验结果表明,本文算法不但在主观视觉上具有显著的目标特征、清晰的背景纹理及边缘细节、整体对比度适宜,而且在8项客观评价指标上也取得了较好的效果。     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于优化PCNN与区域特征引导法则的图像融合

针对传统红外与可见光图像融合算法存在着边缘信息缺失、目标特征不够突出等问题,本文提出一种基于优化脉冲耦合神经网络(PCNN)与区域特征引导法则的红外与可见光图像融合算法。首先,对红外与可见光图像分别进行非下采样剪切波变换(NSST),获取相应的低频分量和高频分量。其次,低频分量采用基于优化PCNN模型的融合规则进行融合;对于高频分量,利用图像的区域能量、改进空间频率和区域方差匹配度等特征,提出自适应的区域方差匹配度阈值和调节因子,构造区域特征引导法则完成融合。最后,对融合后的低高频分量进行NSST逆变换,获取融合图像。实验结果表明,本文算法可有效综合图像的优势信息,并在主观视觉和客观指标上均具有明显的优势。     

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。     

基于NSST变换与自适应PCNN的多特征遥感图像融合

针对基于NSCT变换的遥感图像融合算法存在计算复杂度高,细节表现能力不足的问题,本文提出了一种基于NSST变换与自适应PCNN的多特征遥感图像融合算法。首先,利用HSV变换提取MS图像的亮度分量V,并将得到的亮度分量V与PAN图像分别进行NSST变换;其次,对于低频子带,提出了一种基于自适应的PCNN融合规则,将空间频率和区域平均梯度分别作为PCNN的外部激励和链接强度;对于高频子带,采用基于多特征的融合规则;最后,进行逆NSST变换和逆HSV变换得到融合图像。仿真实验表明,该算法与一些经典的融合算法相比不仅可以提高图像融合质量,在视觉效果和客观指标上也都有良好的表现。     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

基于边缘特征的多传感器图像融合算法

针对传统像素级图像融合方法在低频系数融合中,采用偏袒法和平均法容易导致融合图像出现模糊、对比度下降的问题,结合像素级和特征级融合的优势,提出一种基于边缘特征的图像融合算法。算法对于低频系数,采用区域能量自适应加权的方法;对于高频系数,通过对低频边缘特征的融合以指导其融合。分别对红外与可见光图像和多聚焦图像进行实验,并对融合图像进行主客观评价,实验表明,该算法得到的融合图像具有较好的主观视觉效果和客观量化指标,融合性能优于传统的融合方法。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于PCNN图像分割的医学图像融合算法北大核心CSCD

为充分提取源图像间的互补信息,改进传统的图像融合算法在亮度维持、能量保留、边缘信息保持等方面的不足,本文提出了基于脉冲耦合神经网络(pulse coupled neural network, PCNN)图像分割的医学图像融合算法。该算法综合了非下采样剪切波变换(non-subsampled shearlet transform, NSST)与PCNN。首先,选取标准差较大的源图像作为被分割图像,标准差较小的源图像作为参照图像,将源图像进行NSST分解,获取源图像低频子带系数和高频子带系数;在低频融合中,利用参数自适应的PCNN对被分割图像的低频子带进行分割,根据分割结果获取融合低频子带系数;在高频融合中,采用以区域能量和与拉普拉斯能量和两者的乘积作为判断函数,获取融合高频子带系数;利用NSST逆变换获取融合图像。最后,应用本文提出的算法,对脑萎缩、急性中风和高血压性脑病等3组电脑断层扫描/磁共振成像(computerized tomography/magnetic resonance imaging, CT/MRI)图像进行了融合仿真,并将仿真结果与2018年后国际刊上提出的5种算法的融合图像进行比较。结果表明,应用本文提出的融合算法得到的图像,有效地增强了不同模态间的信息互补,保持了融合图像与源图像具有相同明亮程度,又保留了源图像低亮度部分的边缘信息,更加符合人眼视觉特性,具有更高的客观评价指标。     

结合改进显著性检测与NSST的红外与可见光图像融合方法

针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题,本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先,使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图,并进一步通过改进伽马校正进行增强,同时应用同态滤波增强可见光图像。然后,对红外图像与增强的可见光图像进行NSST分解,利用显著性图指导低频部分进行融合;同时设定区域能量取大规则指导高频部分融合。最后,通过NSST逆变换重构融合图像。实验结果表明,本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法,可以有效突出红外目标,提高融合图像的对比度和清晰度,并保留可见光图像的丰富背景信息。