可见光与红外图像增强融合算法研究

提出了自适应图像增强算法，用于可见光和红外图像的融合。首先对输入的可见光图像和红外图像进行自适应增强，然后采用基于图像空间能量窗及归一化互相关测度构造融合图像，利用图像的信息熵评估算法的融合效果，最后给出了一组可见光和红外图像融合的试验结果，表明该算法十分有效，融合图像有丰富的互补信息，有利于人眼观察和目标识别。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

基于红外与可见光图像融合技术发展与性能评价

红外图像可以全天候且不受光照条件影响的根据目标和背景热辐射差异来区分目标和背景。可见光图像可以通过人的视觉系统的高空间分辨率和清晰度来提供景物的质地和结构细节。因此将红外图像和可见光图像融合可以结合两种图像优势,融合后的图像效果预期良好。本文对传统经典方法和目前较新融合方法进行综述。首先回顾了红外和可见光图像的融合方法,其次选取了一些融合图像的性能评价指标,然后选择具有代表性的具体算法进行图像融合,根据融合图像结果获取评测指标,最后根据指标进行分析并对现状进行总结讨论,及对以后的工作发展方向进行展望。     

基于改进灰狼优化的红外与可见光图像融合

将图像融合运用于检测与跟踪领域需要融合图像显示清晰的目标,传统的优化类融合算法存在目标信息不完整的问题,对此本文提出一种基于改进灰狼优化(Gray Wolf Optimization,GWO)结合边缘特征的图像融合方法。将图像分解为细节层与粗糙层后,对细节图像使用优化权重进行融合,再融合细节层与粗糙层,最后执行对比度有限自适应直方图均衡增强融合图像。其中优化权重通过改进的灰狼优化获得,通过融合边缘信息获得权重取值范围,并且对灰狼优化引入交叉操作改进优化效果。实验对比图像全局与目标局部的标准差、信息熵、平均梯度、空间频率,本文方法的性能在目标局部熵、标准差上大大优于其他方法,在全局指标上也有很好的表现。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

基于特征提取的红外与可见光图像融合

为提高红外与可见光图像融合的效果,加快融合算法处理速度,提出了一种基于特征提取的图像融合算法。改进了数学形态学中的顶帽运算,用于提取源图像的特征图像及背景图像;设计融合规则,对特征图像及背景图像分别进行融合处理;最后重构得到融合图像。另外,对本文融合方法的参数选择进行了分析,并且设计了适用于背景图像融合的自适应加权融合规则。实验表明,该融合方法能有效获取源图像的特征信息,提供丰富的背景信息,运算速度快,易于硬件实现。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于语义损失的红外与可见光图像融合算法

提出了一种基于语义损失的红外与可见光图像融合算法,通过语义损失引导生成图像包含更多语义信息,满足高级视觉任务需求。首先使用预训练的分割网络对融合图像进行分割,分割结果与标签图构成语义损失,在语义损失和内容损失的共同引导下,迫使融合网络在保证融合图像质量的前提下同时兼顾图像语义信息量,融合图像满足高级视觉任务需求。同时本文还设计了一种新的特征提取模块,通过残差密集连接实现特征重用,提高细节描述能力,进一步减轻融合框架,从而提高图像融合的时间效率。实验结果表明,本文算法在主观视觉效果和定量指标方面优于现有融合算法,且融合图像包含更丰富的语义信息。     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

基于NSCT和PCNN的可见光与红外图像融合算法

提出了一种基于Contourlet变换的非下采样变换(Nonsubsampled ContourletTransform,NSCT)和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的可见光与红外图像融合算法。该算法首先对源图像进行NSCT分解,得到低频子带系数和各带通方向子带系数。然后对低频子带系数提出一种基于可见光与红外图像自身特性的加权平均融合方法,再对各带通子带系数提出基于PCNN的融合方法。最后经过NSCT逆变换得到融合图像。实验证明,该方法优于小波方法和传统的NSCT方法。     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。     

红外与可见光图像注意力生成对抗融合方法研究

目前,基于深度学习的融合方法依赖卷积核提取局部特征,而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性.为此,本文提出了红外与可见光图像注意力生成对抗融合方法.该方法采用编码器和解码器构成的生成器以及两个判别器.在编码器中设计了多尺度模块与通道自注意力机制,可以有效提取多尺度特征,并建立特征通道长...     

基于关键帧提取的红外与可见光序列图像快速融合

针对静态图像融合方法对于序列图像无法同时满足融合速率及融合质量的问题,提出了一种基于关键帧提取的红外与可见光序列图像快速融合方法.首先对红外和可见光图像序列进行关键帧提取,为体现本文方法的普遍适用性,选取静态图像中融合效果好的算法将两序列中对应的关键帧融合,如小波变换以及主成分分析法.然后对剩余图像帧利用最简单快捷的加权平均算法进行融合.而且相较于现有的只针对于目标进行提取和融合来提高融合速率的序列图像融合方法,在不明确目标的情况下,本文方法对整幅图像进行融合,更加合理且融合结果更适合人眼观察.最后通过对同一场景相同帧数的红外与可见光序列图像进行融合,实验结果表明本文基于关键帧提取的融合方法快速且保证了融合质量.     

基于NSCT和改进型PCNN的红外与可见光图像融合算法

针对现有红外与可见光图像融合算法中易出现目标信息丢失或减弱的情况,提出了一种基于非下采样Contourlet变换和改进型脉冲耦合神经网络的融合算法.该算法首先对经过预处理和图像配准后的红外和可见光图像进行非下采样Contourlet变换,分别得到两幅图像的高频系数和低频系数;其次,采用改进型脉冲耦合神经网络对源图像高频系数进行融合,用区域能量最大处理低频系数;最后,对融合后的系数进行非下采样Contourlet反变换,得到融合后的图像.实验结果表明,本文算法在主观视觉上显示了更多的图像细节信息,同时客观数据指标也有不同程度的提升.     

基于Curvelet变换的图像融合改进算法

针对红外与可见光图像的融合,提出了基于二代Curvelet变换的图像融合改进算法。首先对两幅源图像进行Curvelet变换,得到其在不同尺度和方向下的变换系数。对于低频系数,根据红外与可见光图像的不同成像特点,采用基于局部统计特性的自适应融合策略;对于不同尺度和方向下的高频系数,采用基于局部区域能量匹配的系数选择方案。最后进行Curvelet逆变换得到融合图像。通过实验结果的对比分析,该算法可以更有效地反映源图像中的特征,融合效果有了明显改善。     

视觉多通路机制启发的多场景感知红外与可见光图像融合框架

现有的红外与可见光图像融合算法往往将日间场景与夜间场景下的图像融合视为同一个问题,这种方式忽略了在日间场景与夜间场景下进行图像融合的差异性,使得算法融合性能受限。生物视觉系统强大的自适应特性能够在不同场景下最大限度地捕获输入视觉刺激中的有效信息,实现自适应的视觉信息处理,有可能为实现性能更为优异的红外与可见光图像融合算法带来新的思路启发。针对上述问题,该文提出一种视觉多通路机制启发的多场景感知红外与可见光图像融合框架。其中,受生物视觉多通路特性启发,该文框架中设计了分别感知日间场景信息与夜间场景信息的两条信息处理通路,源图像首先分别输入感知日间场景信息与感知夜间场景信息的融合网络得到两幅中间结果图像,而后再通过可学习的加权网络生成最终的融合图像。此外,该文设计了模拟生物视觉中广泛存在的中心-外周感受野结构的中心-外周卷积模块,并将其应用于所提出框架中。定性与定量实验结果表明,该文所提方法在主观上能够显著提升融合图像的图像质量,同时在客观评估指标上优于现有融合算法。