基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于低秩分解和卷积稀疏编码的多源图像融合

针对卷积稀疏编码能够较好地保留图像信息特征的这一特点,提出基于低秩分解和卷积稀疏编码的多源图像融合方法.为了避免图像分块处理对图像结构的影响,将每幅待融合图像进行全局处理.首先,通过低秩分解将图像分解成低秩和稀疏两部分;接着,对稀疏部分进行卷积分解,可以训练得到一组稀疏滤波器字典,再将卷积稀疏编码应用到图像的融合中;然后,对低秩和稀疏成分分别设计不同的融合规则,得到融合低秩成分和融合稀疏成分,最终得到融合图像.最后,为了验证所提方法的融合效果,将所提方法与其他方法进行对比实验.实验结果表明,所提方法在视觉效果和客观评价指标方面均取得良好的效果.     

基于联合稀疏和指导滤波的绝缘子红外与可见光图像融合方法

针对绝缘子红外与可见光图像融合过程中存在绝缘子伞盘边缘信息模糊,亮度低和对比度差等问题,本文提出了基于联合稀疏和参数自适应选择指导滤波的图像融合方法。图像首先经过联合稀疏模型分解,提取共有特征、红外图像特有特征和可见光图像特有特征,并按照特有特征系数的活跃程度调整权重;同时应用参数自适应选择指导滤波方法,能够较好地保留绝缘子图像的边缘信息和细节信息。通过对比实验,本文方法融合结果亮度高、边缘清晰且边缘强度大,同时客观指标也较好。     

基于联合稀疏模型的图像融合方法

为了达到清晰化图像的目的,利用不同传感器获取的影像互补信息,提出一种基于联合稀疏模型的红外与可见光图像融合方法.首先使用经过学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分;然后设计一种新颖的融合规则对两类稀疏系数进行融合;最后使用融合后的稀疏系数和经过训练的字典重建图像.仿真实验结果表明,该方法提高了红外与可见光图像的融合效果.     

基于低秩稀疏分解的红外弱小目标检测算法研究进展

红外探测系统具有隐蔽性好、抗干扰能力强等特点，广泛应用于军事和民用领域，红外弱小目标的检测是红外探测系统中的重要组成部分，已成为了当前的研究热点。近年来，学者们在基于低秩稀疏分解的红外弱小目标检测算法研究方面取得了丰硕的成果，为此，重点阐述了基于低秩稀疏分解的红外弱小目标检测算法的研究现状和研究进展。从背景分量约束、目标分量约束和联合时域信息约束等3个方面详细地综述了基于低秩稀疏分解的红外弱小目标检测算法。首先把背景分量约束划分为块图像的低秩约束、张量的低秩约束和全变分约束，其次从目标的稀疏性表示和融合局部先验的目标分量加权策略两方面分析了目标分量的约束，然后分析了联合时域信息约束，将典型的基于低秩稀疏分解的检测算法和单帧检测算法进行了性能对比，最后讨论了该领域下一步的研究方向。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

基于RPCA和LatLRR分解的红外与可见光的图像融合

红外光和可见光图像的融合在视频监控、目标跟踪等方面发挥着越来越重要的作用.为了得到融合效果更好的图像,提出了一种新的基于鲁棒性低秩表示的图像分解与深度学习结合的方法.首先,利用鲁棒性主成分分析对训练集图像进行去噪处理,利用快速的潜在低秩表示学习提取突出特征的稀疏矩阵,并对源图像进行分解,重构形成低频图像和高频图像.然后...     

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。     

A unified framework for damaged image fusion and completion based on low-rank and sparse decomposition

Image fusion can integrate the complementary information of multiple images. However, when the images to be fused are damaged, the existing fusion methods cannot recover the lost information. Matrix completion, on the other hand, can be used to recover the missing information of the image. Therefore, the step-by-step operation of image fusion and completion can fuse the damaged images, but it will cause artifact propagation. In view of this, we develop a unified framework for image fusion and completion. Within this framework, we first assume that the image is superimposed by low-rank and sparse components. To obtain the separation of different components to fuse and restore them separately, we propose a low-rank and sparse dictionary learning model. Specifically, we impose low-rank and sparse constraints on low-rank dictionary and sparse component respectively to improve the discrimination of learned dictionaries and introduce the condition constraints of low-rank and sparse components to promote the separation of different components. Furthermore, we integrate the low-rank characteristic of the image into the decomposition model. Based on this design, the lost information can be recovered with the decomposition of the image without using any additional algorithm. Finally, the maximum $l_1$-norm fusion scheme is adopted to merge the coding coefficients of different components. The proposed method can achieve image fusion and completion simultaneously in the unified framework. Experimental results show that this method can well preserve the brightness and details of images, and is superior to the compared methods according to the performance evaluation.     

结合潜在低秩分解和稀疏表示的脑部图像融合

针对低秩分解和稀疏表示(space representation,SR) 造成融合图像信息缺失的问题,提出一种结合潜在低秩分解和SR的脑部图像融合算法。首先,将源图像分解为低秩、稀疏和噪声3种成分,面对不同分解成分特性间的差异,分别构造低秩字典和稀疏字典进行描述:采用加权灰度值的方法处理低秩成分,以保持其轮廓和亮度特征;对于稀疏成分,设计一种多范数加权度量的方法对SR进行改进,以保持其高维信息,剔除噪声成分。比对当前主流的5种算法,在视觉效果和客观指标上,本文方法效果最优。     

基于点扩散函数的机载光电吊舱图像增强融合

为更好地融合机载光电吊舱中多源图像的特征信息,提出一种利用点扩散函数(PSF)对多源图像进行增强融合的方法。采用刃边法和小波变换法分别对红外和可见光图像进行点扩散函数求取,利用维纳滤波恢复得到增强图像,然后采用高斯和双边联合滤波对图像进行多尺度混合分解,针对不同尺度下的分解图像,在确定融合权重时引入红外和可见光图像点扩散函数的半幅全宽(FWHM)比值作为分辨率补偿因子,以获得更高质量的融合图像。实验结果表明通过引入点扩散函数信息,光电吊舱系统的获得的融合图像能够具有更好的对比度和分辨率信息,主观和客观评价结果都有所改善。     

一种基于EASSF的红外与可见光图像视觉保真度融合

最近,多尺度特征提取被广泛应用于红外与可见光图像融合领域,但是大多数提取过程过于复杂,并且视觉效果不佳。为了提高融合结果的视觉保真度,本文提出一种基于边缘感知平滑锐化滤波器（Edge-Aware Smoothing-Sharpening Filter,EASSF）的多尺度图像融合模型。首先,提出一种基于EASSF的多尺度水平图像分解方法对源图像进行分解,得到水平方向上的多尺度纹理成分和基础成分;其次,采用最大值融合规则（Max-Fusion, MF）融合纹理成分,避免图像细节信息的丢失;然后,通过一种感知融合规则（Perceptual-Fusion, PF）融合基础成分,捕获显著性目标信息;最后,通过整合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数,对比融合结果的客观数据得出红外与可见光图像融合在多尺度EASSF下较为合适的取值范围;在该取值范围内,本文提出的融合模型同一些较为经典和流行的融合方法相比,不仅解决了特征信息提取的复杂性,而且通过整合基础成分的显著性光谱信息,有效地保证了融合结果的视觉保真度。     

基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于变分多尺度的红外与可见光图像融合

为解决变换域融合法对强噪声抑制能力差的问题,提出一种基于变分多尺度分解的红外与可见光图像融合方法.首先对待融合图像分别进行变分多尺度分解,获得纹理分量和结构分量.采用引导滤波的方法进行待融合图像的纹理分量融合,在结构分量融合上提出一种以相位一致性、清晰度、亮度综合信息来权衡融合权重的方法,最后将两幅图像融合后的纹理分量和结构分量相加获取最终融合图像.实验结果从主观观察和客观指标看,本文方法在清晰度和细节信息上比离散小波变换（discrete wavelet transform）法、非下采样轮廓波变换（non-subsampled contourlet transform）法、稀疏表示（sparse representation）法、剪切波变换（shearlet transform）法都要高.