基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于稀疏表示和NSCT-PCNN的红外与可见光图像融合

针对小波变换容易造成细节信息丢失、非下采样轮廓波变换(NSCT)分解的低频子带系数不稀疏以及红外与可见光图像融合结果综合性能不佳的问题,提出了一种基于稀疏表示和NSCT-PCNN的红外与可见光图像融合算法。首先将源图像进行NSCT分解,获得低、高频子带;其次,利用K奇异值分解(K-SVD)算法对低频子带进行字典训练,实现低频子带的稀疏表示和低频稀疏系数的融合;然后,利用高频子带的空间频率激励脉冲耦合神经网络(PCNN),选择较大点火次数的系数作为高频子带的融合系数;最后对低、高频子带融合系数进行NSCT逆变换,得到融合的图像。实验结果表明,该算法在视觉效果和客观指标方面均具有较大优势,且融合结果综合性能优于现有算法。     

NSST域模糊逻辑的红外与可见光图像融合

为了在红外与可见光图像融合时保留各自更多的细节信息,同时降低算法复杂度,采用了非下采样剪切波变换（NSST）和改进模糊逻辑的红外与可见光图像融合方法,利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频子带系数和高频子带系数。然后对低频子带系数采用基于改进的模糊柯西隶属函数的权值平均融合规则;对高频子带系数采用能量匹配度和视觉敏感度系数相结合的融合规则。最后对低频子带融合系数和高频子带融合系数执行NSST逆变换得到最终的融合图像,并进行了理论分析和实验验证。结果表明,此融合方法不仅可以保证融合清晰度,对缩短算法的运行时间也是有帮助的。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于QPSO和统计特征的红外与可见光图像融合

为解决红外图像与可见光图像融合中融合图像质量不高问题,提出了一种结合量子粒子群优化和邻域统计的图像融合方法。红外和可见光源图像经过多尺度分解成为低频和高频子带。对低频子带,采用系数加权平均的融合策略,并通过量子粒子群优化方法搜索最优的融合权值;对于高频子带,采用受邻域统计信息调制的系数比较取大融合策略,通过逆变换重构图像得到融合结果。实验结果表明该算法能够很好地将红外图像与可见光图像进行融合,且融合效果优于其它一些算法。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

结合NSCT和邻域特性的红外与可见光图像融合

针对传统的融合方法对比度低、纹理信息保留不充分等问题,结合模糊增强特性,提出一种结合NSCT和邻域特性的红外与可见光图像融合算法。首先,对待处理的红外图像和可见光图像进行NSCT变换分解得到各自的高低频子带系数,接着对模糊增强后的低频子带系数采用改进的区域能量加权平均融合方案,同时对高频子带系数采用灰度变化和梯度差异加权融合方案,最后将高低频融合系数经NSCT逆变换得到融合图像。实验结果表明,融合后的图像目标细节清晰突出,与其他融合算法相比更具有先进性与有效性。     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于RPCA和LatLRR分解的红外与可见光的图像融合

红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用.为了得到融合效果更好的图像,提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法.首先,利用鲁棒性主成分分析对训练集图像进行去噪处理,利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵,并对源图像进行分解,重构形成低频图像和高频图像.然后...     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

一种基于频域的红外与可见光图像融合新算法

引入具有详细数学表达的多小波——V-系统,利用V-系统的多分辨性和NSCT的多方向性,对红外和可见光图像进行多层次、多方向分解,各层次各方向采用不同的融合方案进行图像融合。首先对源图像进行多层V-分解,得到图像的轮廓信息和多层细节信息;接着用NSCT对V分解得到的轮廓信息再分解,得到相应的低频和高频系数,低频系数用基于稀疏表示的融合规则融合,高频系数用基于二维Log-Gabor能量的融合规则融合,将改进的脉冲耦合神经网络融合规则用于V分解得到的细节信息的融合;最后,经过相应的逆变换得到融合图像。本文算法从不同层面、不同方向对源图像分解,使得源图像的细节得到细致刻画,同时多种融合方案的结合,使得融合图像的细节信息更加清晰,对比度得到提高,客观指标也有显著提高。     

基于FFST和方向特性对比度的图像融合算法

为了克服红外可见光图像融合方法存在的不足,结合快速有限剪切波变换(Fast Finite Shearlet Transform,FFST)的平移不变性以及较高的方向敏感性,提出了一种基于快速有限剪切波变换域的自适应多方向图像融合新方法。首先,对严格配准后的图像进行快速有限剪切波变换分解,得到低频子带和高频子带系数;然后,对低频子带系数采用非负矩阵分解的一个约束稀疏算法,即在基本非负矩阵分解的优化函数中施加稀疏性约束,使分解更优,以此来提高重构后图像的清晰度;高频子带系数则采用联合方向特性的对比度进行选取,以得到丰富的细节信息。最后,利用快速有限剪切波逆变换得到重构后的图像。实验结果表明,融合后的图像充分结合了源图像的有用信息,整体轮廓清晰,在客观评价上也有一定的提高。     

基于自适应加权的多尺度图像融合研究

近年来图像融合技术广泛应用到电力行业,通过不同类型的图像传感器采集电力设备和输电线的图像,经过红外和可见光的图像融合处理,实现电力设备及输电线的智能巡视和故障分析.文中提出一种基于自适应加权的多尺度图像融合算法,采用配准后的可见光和红外图像,进行多尺度小波分解,根据高低频的不同图像特征,低频采用自适应加权融合规则,高频...     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于变换域VGGNet19的红外与可见光图像融合

针对红外与可见光图像融合中出现细节信息丢失及边缘模糊的问题,提出一种在变换域中通过VGGNet19网络的红外与可见光图像融合方法。首先,为了使得源图像在分解过程中提取到精度更高的基础与细节信息,将源图像利用具有保边平滑功能的多尺度引导滤波器进行分解,分解为一个基础层与多个细节层;然后,采用具有保留主要能量信息特点的拉普拉斯能量对基础层进行融合得到基础融合图;其次,为了防止融合结果丢失一些细节边缘信息,采用VGGNet19网络对细节层进行特征提取,L1正则化、上采样以及最终的加权平均策略得到融合后的细节部分;最后,通过两种融合图的相加即可得最终的融合结果。实验结果表明,本文方法更好地提取了源图像中的边缘及细节信息,在主观评价以及客观评价指标中均取得了更好的效果。     

基于多层级图像分解的图像融合算法

不同类型的探测器在成像机理上有不同的侧重点,使得成像图像表征的信息也有所不同,导致单幅图像不能完整地反映场景的有效信息。因此,提取多源图像的互补信息,并去除其中的冗余信息,合成一幅能准确、完整表达场景的复合图像的技术成为了图像处理领域中一项非常重要的技术,图像融合正是这类问题的一种有效解决方法。针对传统多尺度分解的图像融合方法易产生噪声和信息缺失的现象,文中提出了一种基于多层级图像分解的红外与可见光图像融合算法。首先,利用加权平均曲率滤波的边缘保持特性与高斯滤波的平滑特性,构建了多层级图像分解模型。在利用该模型将源图像分解为小尺度层、大尺度层和基层等3个不同层级。然后,针对基层,采用能量属性融合策略进行融合;针对大尺度层,采用复合融合策略进行融合;针对小尺度层,采用最大值融合策略。最后,将融合后的层级进行加和,以重构出最终的融合图像。实验结果表明:文中提出的基于多层级图像分解的图像融合算法能够有效降低噪声产生的概率,同时减少了融合后的信息缺失。