基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法。使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度。将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像。实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果。     

基于对比度金字塔与双边滤波的非对称红外与可见光图像融合

为了同时保留红外图像的特征信息和可见光图像的细节信息,提出了一种基于对比度金字塔的非对称红外与可见光图像融合方法。首先,使用对比度金字塔对红外与可见光图像进行高频与低频信息分解,然后对高频部分采用绝对值取大方法进行融合,对于低频部分采用基于双边滤波的方法对红外与可见光图像进行非对称的处理;其次,使用对比度金字塔的逆变换得到融合后图像。对融合图像进行主观视觉和客观指标评价,结果表明该算法在突出目标特征信息和保留细节特征方面表现优异。     

基于图像增强和滚动引导滤波的红外与可见光图像融合

针对红外与可见光图像融合易发生热目标亮度损失、可见光图像细节信息丢失的问题，提出一种基于图像增强和滚动引导滤波的多尺度融合算法。首先，提出一种自适应图像增强方法，提高可见光图像的整体亮度，并保持细节处的对比度。然后，根据特征的不同将源图像分解为三层，采用基于引导滤波的显著性提取方法得到亮度层；利用滚动引导滤波良好的尺度感知和边缘保持特性，并结合高斯滤波得到基础层和细节层。最后，对亮度层采用像素值取大的融合规则，提出一种新的最小二乘优化方案对基础层进行融合，使用修正拉普拉斯能量和作为清晰度的度量对细节层进行融合。实验结果表明，与其他融合方法相比，所提方法在主观评价和客观评价上都有较好的表现。     

基于目标增强的红外与可见光图像融合算法研究

针对传统多尺度变换融合方法不能有效保留红外图像中热辐射信息及高对比度特征,本文提出了一种基于目标增强多尺度变换的红外和可见光图像融合算法。首先,对可见光图像进行预处理,自适应地提高其对比度。其次,对红外和可见光图像分别使用拉普拉斯金字塔(LP)分解为高频以及低频分量。然后,使用分解后的红外低频信息确定低频段融合权重,并引入参数λ控制融合图像中红外信息比例。最后,使用拉普拉斯金字塔逆变换重构融合图像。实验结果表明,所提出的方法可以生成具有明显突出目标和丰富细节的融合图像,并在主观视觉和客观指标上具有更好的表现。     

基于RGF改进显著性检测与SCM相结合的图像融合

针对传统显著性检测融合方法中目标对比度低,纹理细节不够丰富的问题,提出了一种基于滚动导向滤波(RGF)改进显著性检测与脉冲发放皮层模型(SCM)相结合的可见光与红外图像融合算法。该算法先将源图像经过非下采样剪切波变换(NSST)分解成低频部分和高频部分,然后利用RGF小尺度消除、大尺度边缘恢复特性对Frequency Tuned算法进行改进并提取出红外图像显著图。再使用显著图投影区域指导法融合低频部分,同时采用SCM结合区域能量与改进的拉普拉斯能量和融合高频部分,最后使用逆变换重建图像。仿真结果表明,该算法能在突出显著目标的同时保留丰富的细节信息,在质量指标如标准差、互信息、边缘保留因子等方面均优于对比方法。     

基于N-RGAN模型的红外与可见光图像融合

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）、残差网络（Residual Network,ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（Peak Signal to Noise Ratio,PSNR）、平均梯度（Average Gradient, AVG）、图像熵（Im...     

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network,ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex,SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMIdct)、小波特征互信息(FMIw)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法。首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息。针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像。大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法。     

结合改进显著性检测与NSST的红外与可见光图像融合方法

针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题,本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先,使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图,并进一步通过改进伽马校正进行增强,同时应用同态滤波增强可见光图像。然后,对红外图像与增强的可见光图像进行NSST分解,利用显著性图指导低频部分进行融合;同时设定区域能量取大规则指导高频部分融合。最后,通过NSST逆变换重构融合图像。实验结果表明,本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法,可以有效突出红外目标,提高融合图像的对比度和清晰度,并保留可见光图像的丰富背景信息。     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。     

基于BMA滤波器和边缘的红外与可见光图像融合

目前基于多尺度分解的图像融合算法存在以下问题:1)多尺度分解时,图像边缘被平滑;2)融合结果中红外显著区域的对比度降低;3)小尺度细节受到抑制,在融合图像中显示不清晰。为解决上述问题,本文提出了一种基于BMA(Bayesian model averaging)滤波器和边缘的图像融合算法。首先,利用BMA滤波器分别对红外与可见光图像进行多尺度分解;其次,分别利用显著性提取和边缘权值映射算法,计算各基层和细节层的融合权值矩阵;最后通过图像重构获得融合图像。实验证明,该融合算法优于传统的图像融合算法。     

基于滚动引导滤波的红外与可见光图像融合

为提高融合图像更加适应人类视觉感知,并解决可见光图像受光线、天气等影响而导致融合效果不佳的问题,本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先,利用引导滤波对可见光图像的内容进行增强,然后,利用滚动引导滤波将可见光和红外图像进行多尺度分解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则解决融合时可见光与红外图像不同特征带来的困扰,提高融合图像的视觉效果;在基础层的融合过程中采用优化的视觉显著图融合规则,减少对比度损失。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。     

基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题，提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层，对细节层使用基于结构相似性和L2范数的融合规则融合并增强；然后提出一种结构均值法，将结构层分解为亮度层和基础层，对亮度层使用绝对值取大融合，对基础层设计了一种基于多指标的融合规则进行融合；最后重构各子融合图像得到最终融合图像。为验证算法的有效性，与9种红外与可见光图像融合算法进行对比，使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标，在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明，本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节，且在客观评价指标上取得了更好的效果。     

颜色对比度增强的红外与可见光图像融合方法

针对红外与可见光彩色融合图像中目标与背景间的低对比度的问题,提出一种基于HSI空间颜色对比度增强的红外和可见光图像融合方法.首先对输入的可见光与红外图像进行直方图均衡和中值滤波加强处理,然后对加强的红外图像模糊阈值分割得到红外目标,最后把分割的红外目标图像和加强的可见光和红外图像在HSI空间的三通道线性融合和色彩传递,为了增强目标与背景间的颜色对比度,在色彩传递阶段, H通道的色彩传递方程中引入一个比例因子.实验结果表明:与其他算法相比,该方法得到的彩色融合图像热目标和低温物体与背景间的颜色对比度明显加强,同时背景的细节信息呈现白天类似的自然彩色,更加符合人眼视觉感知.     

基于显著性的多波段图像同步融合方法

针对多波段融合图像存在对比度低、显著目标不突出的问题,本文提出了一种基于显著性的多波段图像同步融合方法。首先,近红外图像被用来作为数据保真项,红外图像和可见光图像分别为融合结果提供红外显著信息和细节信息;其次,基于视觉显著的红外显著区域提取方法被用来构造权重图,以克服融合结果显著区域不突出和边缘模糊问题;最后,采用交替方向乘子法（alternating direction method of multipliers, ADMM）来求解模型,得到融合结果。研究结果表明,较于代表性图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节,并在多项客观评价指标上优于代表性算法。     

增强融合图像视觉效果的图像融合方法

针对现有图像融合方法得到的融合图像对比度低，图像纹理细节信息保留不充分，图像视觉效果差等问题，论文提出一种新的基于图像对比度增强的红外与可见光图像融合方法，以有效提高融合图像的视觉效果。首先，为提高可见光图像低亮度细节的能见度，在融合之前，提出一种基于引导滤波器的动态范围压缩与线性变换相结合的自适应图像增强方法；其次，采用基于引导滤波器和高斯滤波器相结合的多尺度融合方法，将红外图像信息有效地注入可见光图像中；最后运用非局部均值滤波对融合后的图像进行后处理，以得到效果增强的融合图像。实验结果表明，该方法能够获得较好的图像融合效果，无论从主观视觉还是客观评价指标上，都要优于现有的常用图像融合方法。