基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于局部能量的NSCT域红外与可见光图像融合算法

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合方法。首先对红外和可见光源图像进行多尺度、多方向分解;在低频系数上,采用基于局部能量比与基于局部能量加权相结合的方法进行融合;在高频系数上,定义了局部尺度方差的概念,并以局部尺度方差为测度进行取大融合;最后对融合系数进行重构得到融合图像。使用该算法对两类不同目的的红外与可见光图像进行了融合实验,实验结果表明,文中提出的算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

基于低秩分解和卷积稀疏编码的多源图像融合

针对卷积稀疏编码能够较好地保留图像信息特征的这一特点,提出基于低秩分解和卷积稀疏编码的多源图像融合方法.为了避免图像分块处理对图像结构的影响,将每幅待融合图像进行全局处理.首先,通过低秩分解将图像分解成低秩和稀疏两部分;接着,对稀疏部分进行卷积分解,可以训练得到一组稀疏滤波器字典,再将卷积稀疏编码应用到图像的融合中;然后,对低秩和稀疏成分分别设计不同的融合规则,得到融合低秩成分和融合稀疏成分,最终得到融合图像.最后,为了验证所提方法的融合效果,将所提方法与其他方法进行对比实验.实验结果表明,所提方法在视觉效果和客观评价指标方面均取得良好的效果.     

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

一种基于频域的红外与可见光图像融合新算法

引入具有详细数学表达的多小波——V-系统,利用V-系统的多分辨性和NSCT的多方向性,对红外和可见光图像进行多层次、多方向分解,各层次各方向采用不同的融合方案进行图像融合。首先对源图像进行多层V-分解,得到图像的轮廓信息和多层细节信息;接着用NSCT对V分解得到的轮廓信息再分解,得到相应的低频和高频系数,低频系数用基于稀疏表示的融合规则融合,高频系数用基于二维Log-Gabor能量的融合规则融合,将改进的脉冲耦合神经网络融合规则用于V分解得到的细节信息的融合;最后,经过相应的逆变换得到融合图像。本文算法从不同层面、不同方向对源图像分解,使得源图像的细节得到细致刻画,同时多种融合方案的结合,使得融合图像的细节信息更加清晰,对比度得到提高,客观指标也有显著提高。     

基于局部多尺度低秩分解的红外小目标检测算法

针对红外低秩块模型计算复杂度大,容易误判等不足,提出了一种更加有效的红外小目标局部多尺度低秩分解检测算法。该算法首先利用非下采样金字塔变换对红外小目标图像做多尺度分解;接着,将分解出的高频子带进行融合,通过融合后的高频信息提取出目标感兴趣区域;最后,利用红外小目标背景的非局部自相关性质对感兴趣区域进行分块,并对各块进行重新排列构成一个新的矩阵;最后,对该矩阵做低秩分解,提取出红外小目标。实验结果表明,与其他低秩分解类方法相比,所提出算法速度更快,提取效果更好,是一种性能优越的方法。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重.因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法.该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像.同时,根...     

基于低秩稀疏分解的红外弱小目标检测算法研究进展

红外探测系统具有隐蔽性好、抗干扰能力强等特点,广泛应用于军事和民用领域,红外弱小目标的检测是红外探测系统中的重要组成部分,已成为了当前的研究热点。近年来,学者们在基于低秩稀疏分解的红外弱小目标检测算法研究方面取得了丰硕的成果,为此,重点阐述了基于低秩稀疏分解的红外弱小目标检测算法的研究现状和研究进展。从背景分量约束、目标分量约束和联合时域信息约束等3个方面详细地综述了基于低秩稀疏分解的红外弱小目标检测算法。首先把背景分量约束划分为块图像的低秩约束、张量的低秩约束和全变分约束,其次从目标的稀疏性表示和融合局部先验的目标分量加权策略两方面分析了目标分量的约束,然后分析了联合时域信息约束,将典型的基于低秩稀疏分解的检测算法和单帧检测算法进行了性能对比,最后讨论了该领域下一步的研究方向。     

基于联合稀疏和指导滤波的绝缘子红外与可见光图像融合方法

针对绝缘子红外与可见光图像融合过程中存在绝缘子伞盘边缘信息模糊,亮度低和对比度差等问题,本文提出了基于联合稀疏和参数自适应选择指导滤波的图像融合方法.图像首先经过联合稀疏模型分解,提取共有特征、红外图像特有特征和可见光图像特有特征,并按照特有特征系数的活跃程度调整权重;同时应用参数自适应选择指导滤波方法,能够较好地保留绝缘子图像的边缘信息和细节信息.通过对比实验,本文方法融合结果亮度高、边缘清晰且边缘强度大,同时客观指标也较好.     

基于对比度增强与多尺度边缘保持分解的红外与可见光图像融合

在低照度环境下拍摄的可见光图像可视性较差,若将其与红外图像直接融合会导致融合结果清晰度不理想。针对这一问题,该文提出一种基于对比度增强与多尺度边缘保持分解的图像融合方法。首先,在融合之前采用基于导向滤波的自适应增强算法提高可见光图像中暗区内容的可视性。其次,通过一种尺度感知边缘保持滤波器对输入图像进行多尺度分解。再次,应用频率调谐滤波构造显著图。最后,利用由导向滤波生成的权重图重构融合图像。实验结果表明,所提方法不仅可以使细节信息更突出,而且还能够有效地抑制伪影。     

模态自适应的红外与可见光图像融合

为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题,提出一种模态自适应的红外与可见光图像融合方法(mode adaptive fusion,MAFusion).首先,在生成器中将红外图像与可见光图像输入自适应加权模块,通过双流交互学习二者差异,得到两种模态对图像融合任务的不同贡献比重;然后,根据各模...     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于最大范数的低秩稀疏分解模型

为了更好地解决高维数据矩阵低秩稀疏分解问题,该文提出以Max-范数凸化秩函数的Max极小化模型,并给出该模型的相应算法。在对新模型计算复杂性分析的基础上,该文进一步提出了Max约束模型,改进模型不仅在分解问题中效果良好,且相应的投影梯度算法具有更强的时效性。实验结果表明,该文提出的两组模型对于低秩稀疏分解问题均行之有效。     

一种基于稀疏表示的红外与微光图像的融合方法

根据人类视觉系统及信号的过完备稀疏表示理论,提出了一种基于稀疏表示的红外与微光图像融合算法。该方法首先把图像分割成部分重叠的图像块,由正交匹配追踪算法完成图像块的稀疏分解;然后采用最大值融合准则选择融合系数并完成图像块的重构,得到融合结果图像。实验结果表明,本文算法的融合效果优于小波变换法、Laplacian塔型方法以及PCA方法等传统融合方法。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

可见光与红外图像组K-SVD融合方法

传统稀疏表示融合方法,以图像块进行字典训练和稀疏分解,由于没有考虑图像块之间的内在联系,易造成字典原子表征图像特征能力不足、稀疏系数不准确,导致图像融合效果不好.为此,本文提出可见光与红外图像组K-SVD(K-means singular value decomposition)融合方法,利用图像的非局部相似性,将相似...     

基于SGWT和多显著性的红外与可见光图像融合

由于谱图小波变换（Spectral Graph Wavelet Transform, SGWT）可充分利用图像在图域中的光谱特性,本文结合其对不规则小区域表达的优势,提出了一种基于多显著性的红外与可见光融合算法。首先应用SGWT将源图像分解成一个低频子带和若干个高频子带;对于低频系数,将多个互补的低层特征结合起来,提出了一种适合人眼视觉特征的多显著性融合规则,对于高频系数,充分考虑邻域像素的相关性,提出了一种区域绝对值取大规则;最后,应用了一种加权最小二乘优化（weighted least squares, WLS）方法对谱图小波重构的融合图像进行优化,在突出显著目标的同时尽可能多地保留可见光的背景细节。实验结果表明,与DWT（Discrete Wavelet Transform）、NSCT（Non-down Sampled Contourlet Transform）等7种相关算法相比,在突出红外目标的同时还能保留更多的可见光背景细节,具有较好的视觉效果;同时在方差、熵、Q_abf和互信息量4个客观评价上也均占据优势。     

基于BLMD和NSDFB算法的红外与可见光图像融合方法

针对传统图像融合方法容易导致融合图像出现细节不明显和目标信息不完整的问题, 本文提出一种基于二维局部均值分解 (Bidimensional Local Mean Decomposition, BLMD) 和非下采样方向滤波器组 (Nonsubsampled Directional Filter Banks, NSDFB) 算法的红外与可见光图像融合方法 (基于方向滤波的二维局部均值分解法, BidimensionalLocalMeanDecompositionbasedDirectionalFilteringAnalysis, BLMDDFA) .首先, 计算两幅原始图片的熵值, 同时提取熵值较大的图片的残余分量, 该残余分量与另一张原始图片有着较强的相关性.然后, 通过BLMD和NSDFB算法将残余分量和熵值较小的原始图片分解成低频子带和一系列不同尺度的高频方向子带, 并使用不同的融合规则分别对低频子带和高频子带进行融合.最后, 通过相应的逆变换运算获得融合图像.实验结果表明, 本文方法的融合性能在对比度、细节信息展示和目标突出方面均高于经典的融合算法, 在信息熵、标准差、空间频率和平均梯度方面较Laplacian方法中各指标分别提高了5.6％、28.9％、37.4％和47.6％, 信噪比较Laplacian方法降低了8.5％.