基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法.使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度.将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像.实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果.     

基于DT-CWT的红外与可见光图像自适应融合

针对低可见光图像和红外图像的特点,提出一种基于DT-CWT的自适应图像融合算法.该算法具有好的平移不变性和方向选择性,更适合于人类视觉.先对源图像作双树复小波变换,充分考虑各尺度分解层的系数特征,对低通子带引入免疫克隆选择,根据统计评价准则定义亲和度函数,自适应获得最优融合权值;对高通子带则根据人类视觉特性定义局部方向对比度,并作为融合准则,突出和增强了各源图像的对比度与细节信息.实验结果表明:与基于小波的融合结果相比较,本文的融合算法自适应性和鲁棒性更强,较好地保护和显示了源图像中的边缘和细节信息,对比度和清晰度都有所提高.     

基于BEMD改进的视觉显著性红外和可见光图像融合

针对视觉显著性融合过程中目标对比度低,图像不够清晰的问题,本文提出一种基于二维经验模态分解(bidimensional empirical mode decomposition,BEMD)改进的Frequency Tuned算法。首先利用BEMD捕获红外图像的强点、轮廓信息用于指导生成红外图像的显著性图,然后将可见光图像和增强后的红外图像进行非下采样轮廓波变换(nonsubsampled contourlet transform,NSCT),对低频部分采用显著性图指导的融合规则,对高频部分采用区域能量取大并设定阈值的融合规则,最后进行逆NSCT变换生成融合图像并进行主观视觉和客观指标评价,结果表明本文方法实现了对原图像多层次、自适应的分析,相较于对比的方法取得了良好的视觉效果。     

基于SGWT和多显著性的红外与可见光图像融合

由于谱图小波变换（Spectral Graph Wavelet Transform, SGWT）可充分利用图像在图域中的光谱特性,本文结合其对不规则小区域表达的优势,提出了一种基于多显著性的红外与可见光融合算法。首先应用SGWT将源图像分解成一个低频子带和若干个高频子带;对于低频系数,将多个互补的低层特征结合起来,提出了一种适合人眼视觉特征的多显著性融合规则,对于高频系数,充分考虑邻域像素的相关性,提出了一种区域绝对值取大规则;最后,应用了一种加权最小二乘优化（weighted least squares, WLS）方法对谱图小波重构的融合图像进行优化,在突出显著目标的同时尽可能多地保留可见光的背景细节。实验结果表明,与DWT（Discrete Wavelet Transform）、NSCT（Non-down Sampled Contourlet Transform）等7种相关算法相比,在突出红外目标的同时还能保留更多的可见光背景细节,具有较好的视觉效果;同时在方差、熵、Q_abf和互信息量4个客观评价上也均占据优势。     

基于PUCS与DTCWT的红外与弱可见光图像融合

针对红外与弱可见光图像传统融合算法在结果图像中目标不突出、整体对比度降低、边缘及纹理细节不清晰、缺失等问题,本文提出一种基于感知一致性空间（Perception Unified Color Space,PUCS）和双树复小波变换（Dual Tree Complex Wavelet Transform,DTCWT）的融合算法。首先,将红外与弱可见光图像的亮度分量由RGB空间分别转至感知一致性空间得到新的亮度分量以备后续变换处理;接着,将源图像利用DTCWT进行多尺度分解,分别获取各自的低频分量与高频分量;然后,根据不同频带系数特点,提出一种基于区域能量自适应加权的规则对低频子带分量进行融合,采用一种基于拉普拉斯能量和与梯度值向量的规则对不同尺度、方向下高频子带分量进行融合;最后,对融合后的高、低频子带分量进行DTCWT逆变换重构图像,再将其转回至RGB空间以得到最终结果。在不同场景下将本文算法与3种高效融合算法进行对比评价,实验结果表明,本文算法不但在主观视觉上具有显著的目标特征、清晰的背景纹理及边缘细节、整体对比度适宜,而且在8项客观评价指标上也取得了较好的效果。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别.现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限.针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法.通过预设热敏感目标,计算可见光与红外...     

基于显著性检测与MDLatLRR分解的红外与可见光图像融合

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题,提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先,使用基于显著性检测的方法对红外与可见光图像进行预融合;然后,使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层;其中细节层采用结构相似性和L2范数相结合的方法进行融合,低秩层使用基于能量属性的方法进行融合;最后,将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与11种具有代表性的图像融合方法进行了评估比较,通过对比多组融合图像的主客观评价,其结果表明,相较于对比方法,本方法能够保留红外与可见光图像融合过程中源图像的有效细节,且融合结果具有较高的对比度,更符合人们的视觉理解。     

基于显著性分析的自适应遥感图像融合

针对遥感图像融合中,不同地物区域对空间与光谱信息要求不同的问题,提出了一种基于显著性分析的自适应遥感图像融合算法。结合多尺度谱残差分析模型,将遥感图像分为纹理、边缘丰富的显著区域与纹理、边缘较少的非显著区域,对显著性不同的区域采用不同融合算法。针对居民区、道路等纹理、边缘信息丰富的显著区域,采用窗均值亮度色调饱和度(IHS)变换,较好地保留了空间细节;针对农田、山地等非显著区域,采用基于小波变换的融合策略保留较多光谱信息。实验结果表明,新算法能使融合结果中的显著区域保留更多空间细节,非显著区域保留更多光谱信息,为今后的遥感图像融合研究提供了一定的理论与应用价值。     

卷积神经网络结合显著性目标掩图的红外与可见光图像融合

传统的基于多尺度变换理论的红外与可见光融合,提取特征单一,融合规则需要手动设计,难以应对多场景的需求,而深度学习的方法具有良好的特征提取能力,能够对多种特征进行学习.使用基于卷积神经网络的方法对图像融合进行研究,将网络分为特征提取网络和特征融合网络2个部分.首先使用图像处理软件获得红外图像的显著性目标掩图,然后以目标掩...     

Fusion of Infrared and Visible Images Based on Infrared Object Extraction

The ideal fused results of infrared and visible images, should contain the important infrared objects, and preserve the visible textural detail information as much as possible. The fused images are more consistent with human visual perception effect. For this purpose, a novel infrared and visible image fusion framework is proposed. Under the guidance of the model, the source images are decomposed into large-scale edge, small-scale textural detail and coarse-scale base level information. Among which, the large-scale edge information contains the main infrared features, on this basis, the infrared image is further segmented into the object, transition and background regions by OTSU multi-threshold segmentation algorithm. In the end, the fused weights for the decomposed sub-information are determined by the segmented results, so that, the infrared object information can be effectively injected into the fused image, and the important visible textural detail information can be preserved as much as possible in the fused image. Experimental results show that, the proposed method can not only highlight the infrared objects, but also preserve the visual information in the visible image as much as possible. The fused results are superior to the commonly used representative fusion methods, both in subjective perception and objective evaluation.     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换（Complex Shearlet transform,CST）及脉冲发放皮层模型（Spiking cortical model,SCM）的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

基于可见光和红外图像融合的汽车抗晕光方法

针对夜间汽车行车因前大灯使用不当而产生的晕光问题,提出了一种基于可见光与红外图像融合的汽车抗晕光方法,以提高夜间行车的安全性能。该方法通过对可见光图像做IHS变换,将提取到的亮度分量与红外图像进行小波变换,获得新的亮度分量后,再与原始可见光图像的色度分量和饱和度分量进行IHS逆变换,实现既能消除晕光现象又能保留图像细节的目的。对可见光和红外图像融合算法处理结果的主观评价与客观数据分析,表明本文提出的方法可以有效消除夜间汽车行车时的晕光现象,改善传统IHS变换的光谱扭曲性,提高小波变换的速度。     

自注意力引导的红外与可见光图像融合算法

为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。     

可见光与红外图像组K-SVD融合方法

传统稀疏表示融合方法,以图像块进行字典训练和稀疏分解,由于没有考虑图像块之间的内在联系,易造成字典原子表征图像特征能力不足、稀疏系数不准确,导致图像融合效果不好.为此,本文提出可见光与红外图像组K-SVD(K-means singular value decomposition)融合方法,利用图像的非局部相似性,将相似...     

基于灰度能量差异性的红外与可见光图像融合

为了获取红外图像中的突出的目标特征,提取可见光图像中重要的细节信息,以及解决传统算法中目标信息不够突出,细节、纹理缺失严重的问题,本文提出了一种基于灰度能量差异性的红外与可见光图像融合方法.首先通过基于灰度能量差异性的显著目标提取算法检测出红外图像中的目标特征;然后采用非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)对红外图像和可见光图像进行高低频的分解;将灰度能量差异图作为融合权重对红外图像和可见光图像的低频部分进行融合,对于高频部分采用加权方差的规则进行融合;最后对融合后的高频系数和低频系数进行NSCT逆变换得到最终的融合图像.本文选取了3组经典的红外与可见光图像进行融合实验,并且通过主观视觉和客观指标两个方面与其他几种方法作比较.实验结果证明了算法在突出目标信息、提高对比度、清晰度和保留纹理细节方面十分有效.     

基于多阈值分割的红外与可见光图像融合

对基于NSCT分解的可见光和红外图像的融合算法进行了优化技术研究.在场景复杂或有多个区域需要同时关注时,低频子图融合阶段采用简单的二值化区域分割方法并不能将不同区域的感兴趣目标有效地反映到融合结果中.所以本文采用基于最大熵的多阈值分割方法,并对每一个分割区域计算其区域能量比指导融合系数的求取;高频融合阶段采用最能保持图像细节的梯度最大规则.实验结果表明本文算法能够将多个区域中的感兴趣目标很好地反映到融合结果中,并保留了可见光图像丰富的细节信息和分辨率高特征,融合图像具有更好的视觉效果.     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.