基于LatLRR和PCNN的红外与可见光融合算法

针对光谱差异较大的红外与可见光图像，本文提出一种基于潜在低秩表示（LatLRR）和脉冲式耦合神经网络（PCNN）的多尺度融合模型。首先，该算法利用非下采样剪切波变换（NSST）获取图像的低频与高频分量。鉴于图像的低频分量决定最终的融合效果，采用LatLRR算法挖掘源图像内在的显著特征对低频分量自适应加权融合。除此外，针对决定融合图像细节的高频分量，则利用双通道PCNN模型作为它的融合规则。其中平均梯度算子（AVG）和方向梯度和算子（SDG）分别作为PCNN的外界刺激与链接强度，它们能更好地表征图像的纹理特性。通过上述全新的融合规则，可将包含在红外图像内部的显著性特征与可见光图像的梯度特征完美结合，从而获取具有优良视觉效果的融合图像。本文采用3种不同的场景来测试所提方法的融合性能，与其他典型融合方法相比，本文提出的算法具有更佳的视觉效果，同时客观评价参数值增加约2%~5%。     

基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于LatLRR与NSP分解的红外与可见光图像融合北大核心CSCD

针对现有红外与可见光图像融合过程中存在的图像对比度低、红外特征不明显等问题,提出了一种基于非采样金字塔滤波(Nonsubsampled Pyramid,NSP)与潜在低秩表示(Latent Low Rank Representation,LatLRR)分解的红外与可见光图像融合算法。首先,对红外与可见光图像进行分解,采用NSP分解提取源图像的低频信息,LatLRR分解提取源图像的局部结构信息;其次,根据红外低频信息与可见光低频信息的特征及融合结果图像中低频分量占比,利用红外像素强度权重调控策略完成对低频信息的融合,同时,为使红外与可见光的局部结构信息在融合时保持均衡,使用基于像素灰度值求和的策略进行1∶1融合;最后,图像重构中引入非线性变换思想,使局部结构信息与低频信息有更加完美的契合。实验结果表明,融合结果图像在极大保留红外特征的同时又能兼顾可见光图像中的细节信息,该算法能够对红外与可见光图像进行有效融合。     

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于低秩分解和卷积稀疏编码的多源图像融合

针对卷积稀疏编码能够较好地保留图像信息特征的这一特点,提出基于低秩分解和卷积稀疏编码的多源图像融合方法.为了避免图像分块处理对图像结构的影响,将每幅待融合图像进行全局处理.首先,通过低秩分解将图像分解成低秩和稀疏两部分;接着,对稀疏部分进行卷积分解,可以训练得到一组稀疏滤波器字典,再将卷积稀疏编码应用到图像的融合中;然后,对低秩和稀疏成分分别设计不同的融合规则,得到融合低秩成分和融合稀疏成分,最终得到融合图像.最后,为了验证所提方法的融合效果,将所提方法与其他方法进行对比实验.实验结果表明,所提方法在视觉效果和客观评价指标方面均取得良好的效果.     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息,在生产生活、军事监视等场景得到广泛应用,已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比,并综述了红外与可见光图像融合在各领域内的应用现状,以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标,应用于六个不同场景,验证各方法的优势与不足。最后,实验分析并总结现有红外与可见光图像融合方法存在的问题,对红外与可见光图像融合技术的发展趋势进行展望。     

基于卷积稀疏表示的红外与可见光图像融合

稀疏表示是以块为单位进行编码的,因此破坏了图像块间的相关性。针对上述问题,提出了基于卷积稀疏表示的红外与可见光图像融合算法。该算法采用交替方向乘子算法(ADMM)求解非下采样轮廓波变换(NSCT)域强边缘子带的卷积稀疏系数,完成特征响应系数的融合。同时,采用脉冲耦合神经网络(PCNN)模型的点火图完成NSCT域高频子带的融合。实验结果表明:该算法解决了稀疏表示的“块效应”问题,同时又兼具PCNN模型的视觉特性,可以有效地捕捉源图像的特征信息。另外,在主观视觉评价和客观质量评价方面均优于现有算法。     

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

基于潜在低秩表示与交叉双边滤波的图像融合研究

提出了一种基于潜在低秩表示与交叉双边滤波的图像融合方法。先以潜在低秩表示方法将源图像分解为低秩部分图像和显著部分图像,并对低秩部分进行加权平均计算,显著部分求和处理,随后将计算的低秩部分与显著部分作为交叉双边滤波器的输入,通过测量细节强度获得对应权重,并利用交叉双边滤波器中的权值计算加权平均方法融合输入的图像,结合高斯滤波平滑处理,产生第一部分的图像。其次,源图像利用CBF获得融合图像,然后经过高斯滤波处理获得第二部分图像。最后将两部分进行加权求和获得最后的融合图像。实验对比证实,该方法降低了融合图像的灰度变化率,提高了融合图像的亮度和对比度,使得融合图像具有较好的可观性。     

一种基于稀疏表示的红外与微光图像的融合方法

根据人类视觉系统及信号的过完备稀疏表示理论,提出了一种基于稀疏表示的红外与微光图像融合算法。该方法首先把图像分割成部分重叠的图像块,由正交匹配追踪算法完成图像块的稀疏分解;然后采用最大值融合准则选择融合系数并完成图像块的重构,得到融合结果图像。实验结果表明,本文算法的融合效果优于小波变换法、Laplacian塔型方法以及PCA方法等传统融合方法。     

基于块分类稀疏表示的图像融合算法

针对基于单一字典训练稀疏表示的图像融合算法忽略图像局部特征的问题,提出了基于块分类稀疏表示的图像融合算法。此算法是根据图像局部特征的差异将图像块分为平滑、边缘和纹理三种结构类型,对边缘和纹理结构分别训练出各自的冗余字典。平滑结构利用算术平均法进行融合,边缘和纹理结构由对应字典利用稀疏表示算法进行融合,并对边缘结构稀疏表示中的残余量进行小波变换融合。实验结果证明,该算法相对于单一字典稀疏表示算法,在融合图像的主观评价和客观评价指标上都有显著改进,并且算法速度也有提高。     

基于NSST和自适应稀疏表示的紫外光与可见光图像融合

针对紫外成像仪中紫外光图像与可见光图像的灰度值特点及传统的图像融合方法在图像融合时存在紫外光斑信息丢失的问题,提出一种基于非下采样剪切波变换(NSST)和自适应稀疏表示的紫外光与可见光图像融合方法。首先用NSST变换分解源图像,得到低频子带系数和高频子带系数;然后采用邻域标准偏差取大的融合规则融合低频子带系数,生成近似融合图像;根据自适应稀疏思想指导高频子带系数的融合;最后通过逆NSST变换重构得到融合图像。实验结果表明,该方法在保留可见光背景信息的基础上,很好地融合了紫外光斑信息,改善了图像的主观视觉质量,在客观评价指标上也有所提高。     

基于稀疏表示的红外图像去噪算法研究

红外图像具有动态范围窄、对比度低、易受噪声污染等缺点,传统红外图像去噪算法在去除噪声的同时也滤掉了图像细节。提出了一种基于稀疏表示的红外图像去噪新方法。该方法首先将原始红外图像进行聚类分析,再将每一聚类子图像分解成字典,由稀疏系数矩阵重构去噪后的红外图像。实验结果表明,该方法相比于传统红外图像去噪算法,能更好地保留图像的细节信息,视觉效果比较理想。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于NSCT和PCNN的可见光与红外图像融合算法

提出了一种基于Contourlet变换的非下采样变换(Nonsubsampled ContourletTransform,NSCT)和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的可见光与红外图像融合算法。该算法首先对源图像进行NSCT分解,得到低频子带系数和各带通方向子带系数。然后对低频子带系数提出一种基于可见光与红外图像自身特性的加权平均融合方法,再对各带通子带系数提出基于PCNN的融合方法。最后经过NSCT逆变换得到融合图像。实验证明,该方法优于小波方法和传统的NSCT方法。     

压缩传感条件下红外和可见光图像融合技术的研究

为了提高夜间对目标的识别能力,红外和可见光图像融合技术被广泛应用到夜视系统中。使用压缩传感技术可以通过获取信号的少量线性投影来保留信号的完整信息,解决红外成像中红外探测器件与图像分辨率之间的矛盾。以压缩传感测量值作为图像内容特征,直接进行图像融合,可以减少重构误差和计算量。因此本文提出一种压缩传感条件下的红外和可见光图像融合算法。首先,本文算法同时考虑融合图像和原始图像的相似度和对原始图像特征的保留程度,提出一个新颖的代价函数。然后,采用L₁范数优化求解该代价函数,得到融合图像对应的稀疏系数。最后,利用字典和该稀疏系数重构为融合图像。通过和几种压缩传感条件下的融合算法比较,可以看出本文算法在主观视觉效果和客观评价方面均具有显著优势。该算法为压缩传感条件下的图像融合提供一种新的有效手段。      

基于分块过完备稀疏表示的多聚焦图像融合

提出一种基于分块过完备稀疏表示的多聚焦图像融合算法。该方法将多聚焦源图像对应分块,采用稀疏模型进行分解,得到每个块的稀疏表示系数。考虑到稀疏系数向量的l1范数越大,带的信息量就越多,采用此因子对稀疏系数加权,求得融合系数,结合过完备字典重构融合图像。实验结果表明该图像融合方法取得较好的融合效果且优于传统小波分解融合方法。同时探讨了字典维数对所提出方法的影响。     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。