基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题,提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层,对细节层使用基于结构相似性和L2范数的融合规则融合并增强;然后提出一种结构均值法,将结构层分解为亮度层和基础层,对亮度层使用绝对值取大融合,对基础层设计了一种基于多指标的融合规则进行融合;最后重构各子融合图像得到最终融合图像。为验证算法的有效性,与9种红外与可见光图像融合算法进行对比,使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标,在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明,本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节,且在客观评价指标上取得了更好的效果。     

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

基于生成对抗网络的可见光与红外图像融合

图像融合是图像处理领域中非常重要的分支,可见光图像与红外图像的融合在机器感知、 目标检测与追踪、监控、 遥感和图像去雾等方面扮演着十分重要的角色.针对目前一些融合算法时效性差、 复杂程度高、 泛化程度低和融合后图片信息丢失量大等问题,在神经网络FusionGAN的基础上进行了改进.在其中引入了一种多尺度卷积PSConv...     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

红外与可见光图像融合的多分辨率方法

给出一种适合于红外与可见光图像融合的多分辨率融合方法。方法基于对比度塔形分解的图像融合方法,在融合过程中可有选择地突出被融合图像的对比度信息,达到良好的视觉效果。利用熵、交叉熵、互信息量、平均交叉熵、均方根交叉熵等参量,对多种图像融合方法的性能进行了定量评价和比较。实验结果表明,方法用于红外与可见光图像的融合十分有效。     

基于红外与可见光图像融合技术发展与性能评价

红外图像可以全天候且不受光照条件影响的根据目标和背景热辐射差异来区分目标和背景。可见光图像可以通过人的视觉系统的高空间分辨率和清晰度来提供景物的质地和结构细节。因此将红外图像和可见光图像融合可以结合两种图像优势,融合后的图像效果预期良好。本文对传统经典方法和目前较新融合方法进行综述。首先回顾了红外和可见光图像的融合方法,其次选取了一些融合图像的性能评价指标,然后选择具有代表性的具体算法进行图像融合,根据融合图像结果获取评测指标,最后根据指标进行分析并对现状进行总结讨论,及对以后的工作发展方向进行展望。     

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

基于FRGF和改进PCNN的红外可见光图像融合

为解决图像融合中边缘细节保留不理想的问题,本文提出了一种快速滚动引导滤波器和改进脉冲耦合神经网络相结合的红外可见光图像融合方法。提出的快速滚动引导滤波器可以较好地在保留边缘、细节纹理信息的同时有效提高运行效率。首先,利用快速滚动引导滤波和高斯滤波对源图像进行多尺度分解;其次,为了使基础层图像更好地突出轮廓信息,采用相似性匹配的融合规则对图像进行融合;然后,细节层采用改进参数自适应脉冲耦合神经网络规则进行融合;最后,经过多尺度重构得到融合结果图。实验结果表明,与其它5种融合方法相比,该算法不仅在视觉效果上得到了提升,而且能够充分保存图像的边缘和纹理等信息,极大地提高了运行效率。另外,该方法在客观评价指标上均优于对比方法。     

基于改进灰狼优化的红外与可见光图像融合

将图像融合运用于检测与跟踪领域需要融合图像显示清晰的目标,传统的优化类融合算法存在目标信息不完整的问题,对此本文提出一种基于改进灰狼优化(Gray Wolf Optimization,GWO)结合边缘特征的图像融合方法。将图像分解为细节层与粗糙层后,对细节图像使用优化权重进行融合,再融合细节层与粗糙层,最后执行对比度有限自适应直方图均衡增强融合图像。其中优化权重通过改进的灰狼优化获得,通过融合边缘信息获得权重取值范围,并且对灰狼优化引入交叉操作改进优化效果。实验对比图像全局与目标局部的标准差、信息熵、平均梯度、空间频率,本文方法的性能在目标局部熵、标准差上大大优于其他方法,在全局指标上也有很好的表现。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于特征提取的红外与可见光图像融合

为提高红外与可见光图像融合的效果,加快融合算法处理速度,提出了一种基于特征提取的图像融合算法。改进了数学形态学中的顶帽运算,用于提取源图像的特征图像及背景图像;设计融合规则,对特征图像及背景图像分别进行融合处理;最后重构得到融合图像。另外,对本文融合方法的参数选择进行了分析,并且设计了适用于背景图像融合的自适应加权融合规则。实验表明,该融合方法能有效获取源图像的特征信息,提供丰富的背景信息,运算速度快,易于硬件实现。     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

改进双路径生成对抗网络的红外与可见光图像融合

为了使融合图像保留更多源图像的信息,该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先,在生成器中采用结构相同、参数独立的双路径密集连接网络,构建红外差值路径和可见光差值路径以提高融合图像的对比度,引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节;其次,将两幅源图像直接输入到网络的每一层,以提取更多的源图像特征信息;最后,考虑损失函数之间的互补,加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数,以获得更具对比度的融合图像。实验表明,与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比,该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果,而且具有更好的视觉效果,更符合人类视觉感知。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.