基于目标提取的红外与可见光图像融合算法

分析红外图像与可见光图像融合时,目标信息丢失或减弱的潜在原因,提出一种红外与可见光图像融合算法。该算法根据红外图像与可见光图像的特点,利用灰色关联理论检测并提取红外图像目标,采用替代法对获得的目标信息与可见光图像的背景和细节信息进行融合。实验结果表明,该算法得到的融合图像具有与红外图像相同的目标,且具备可见光图像的细节信息。     

基于改进的BEMD的红外与可见光图像融合方法

将红外图像与可见光图像融合在一起,可增强视觉效果,使人产生更完整的场景感知。基于二维经验模态分解(Bidimensional Empirical Mode Decomposition,BEMD)的图像融合方法运行时间较长,因此,文中提出了一种基于改进的二维经验模态分解的红外与可见光图像快速自适应融合方法,采用顺序统计滤波器和高斯滤波器直接生成均值包络曲面,从而加速图像的分解过程。首先,将可见光图像转化到HIS(Hue-Intensity-Saturation)颜色空间;然后,用改进的BEMD对强度分量I和红外图像进行分解,生成高频分量和低频分量,高频分量和低频分量分别采用自适应局部加权融合规则和算术平均融合规则;最后,将强度分量I与红外图像的融合结果图经过逆HIS变换到RGB颜色空间,从而得到融合图像。仿真实验表明,该融合算法不仅运行速度快,而且融合效果最佳,最大程度地保留了红外图像的边缘细节特征和可见光图像的光谱信息。     

汽车驾驶辅助系统红外与可见光融合算法综述

红外与可见光融合图像融合是汽车高级驾驶辅助系统核心功能之一,能够较好地理解光线条件较差时车辆外部环境目标,对无人驾驶车辆和智能车辆识别环境具有重要作用,其中基于深度学习的神经网络算法在图像特征提取和分类中优势显著。针对汽车领域红外与可见光图像融合算法进行综述,分析了现代车辆对图像融合技术的需求;总结了基于数学方法框架的红外与可见光图像融合算法和最新发展;概述了基于神经网络结构的红外与可见光图像融合算法;最后讨论了车载红外与可见光图像融合技术的发展趋势。     

顾及源图像质量的可见光和红外图像融合算法

分析了目前图像融合算法存在的问题,提出顾及源图像质量的可见光和红外图像融合的算法。以图像融合理论方法为基础,引入图像质量评价方法,构建了顾及源图像质量的图像融合基本框架。以区域加权信息熵作为可见光和红外图像评价方法,并以图像质量评价结果作为小波变换的系数权值来进行图像融合,分别以图像的平均灰度、标准差、信息熵、空间频率作为评价指标对融合后的图像进行质量评价,提出了基于区域加权信息熵的可见光与红外图像融合算法。最后选取多组可见光和红外图像进行图像融合实验。实验结果表明:顾及源图像质量的可见光和红外图像融合算法是完全可行和有效的。     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

一种扩展VIFB的红外与可见光图像融合基准

红外与可见光图像融合是机器视觉的一个重要领域,在日常生活中应用广泛。近年来,虽然红外与可见光图像融合领域已有多种融合算法,但目前该领域还缺乏能够衡量多种融合算法性能的算法框架和融合基准。在简要概述了红外与可见光图像融合的最新进展后,提出了一种扩展VIFB的红外与可见光图像融合基准,该基准由56对图像、32种融合算法和16种评价指标组成。基于该融合基准进行了大量实验,用来测评所选取的融合算法的性能。通过定性和定量结果分析,确定了性能优良的图像融合算法,并对红外与可见光图像融合领域的未来前景进行了展望。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

用于输送带纵向撕裂检测的新型视觉传感器

针对现有输送带纵向撕裂视觉检测存在采集图像不清晰的问题,提出了一种基于红外与可见光图像融合的新型视觉传感器。该视觉传感器采用分光棱镜将从同一镜头入射的同轴光分别投射至红外CCD和可见光CCD,红外CCD和可见光CCD同时采集目标同一点的红外图像和可见光图像,利用像素级融合方法获得融合图像。实验结果表明,该视觉传感器所采集的融合图像具有清晰的撕裂信息和详细的背景信息,满足输送带图像高质量采集的要求。     

基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

红外与可见光序列图像融合方法的研究

本文简述了红外与可见光图像融合的意义及其应用,介绍了多种红外与可见光序列图像融合方法。在对这些融合方法进行比较分析的基础上,总结了红外与可见光序列图像融合的研究现状、当前研究热点及未来的发展趋势。     

区域能量和图像自相似的NSCT域图像融合

非降采样轮廓波变换(NSCT)不仅具有平移不变性,还拥有足够的冗余信息,可以更有效地提取源图像中的方向信息,使得融合后的图像更符合人眼的视觉特性.利用NSCT在图像处理中的优势,针对红外光与可见光图像的融合,提出了一种新的基于改进的区域能量和图像自相似的NSCT域图像融合算法.首先,利用NSCT将图像分解为一个低频子带和多个不同方向的带通子带;然后,对低频子带采用区域能量自适应加权融合规则,带通方向子带则利用图像自相似进行系数的融合;最后,对融合系数进行NSCT逆变换,以重构生成融合图像.实验结果表明:与一些现有算法相比,该算法的图像融合结果在人眼主观视觉标准和客观评价标准上均具有明显优势.     

DTCWT域的红外与可见光图像融合算法

针对红外与可见光图像融合存在融合图像对比度和清晰度降低、噪声干扰等问题,提出一种DTCWT域的红外与可见光图像融合算法。首先对源图像进行预增强处理;然后通过DTCWT正变换得到低频子带图像和高频子带图像;再分别利用基于直觉模糊集的融合规则融合低频子带图像,基于信息反差对比度的融合规则融合高频子带图像;最后对融合后的低频子带图像和高频子带图像进行DTCWT逆变换得到融合图像。实验结果表明,本文算法能有效提高融合图像对比度和清晰度,降低噪声干扰,客观评价指标总体优于现有算法的,运行效率也有所提升。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。     

一种新的红外与可见光图像融合算法

提出了一种新的红外与可见光图像融合算法,首先应用非抽样Contourlet变换(NSCT)对图像进行多尺度、多方向变换,对变换的低频子带采用改进的能量加权法融合,带通子带融合采用最大系数与区域方差加权相结合方法,然后对融合的2个子带系数进行NSCT反变换,得到融合图像。对不同算法的融合实验结果进行比较,通过主观和客观评价,该算法融合效果较好。     

基于PCNN与区域特征的红外与可见光图像融合

针对红外图像与可见光图像融合中容易产生红外目标不明显、对比度不高的问题,提出了一种新的融合算法。该算法创新地将PCNN与区域特征应用到NSCT域内低频和带通子带系数的选择上。通过NSCT分解得到待融合图像的子带系数。运用PCNN对分解后的子带系数进行处理,得到子带系数的点火映射图。低频子带点火映射图采取基于区域标准差的方法选取融合系数。带通子带点火映射图采取基于区域能量的方法选取融合系数。融合图像通过NSCT逆变换可以得到。仿真实验表明与其他算法相比,该算法能够得到红外目标突出、质量更好的融合图像,图像客观评价指标提升明显。     

多方向Laplacian能量和与tetrolet变换的图像融合

目的 红外与可见光图像融合算法大部分可以达到认知场景的目的,但是无法对场景中的细节特征进行更加细致的刻画。为进一步提高场景辨识度,提出一种基于tetrolet变换的多尺度几何变换图像融合算法。方法 首先,将红外与可见光图像映射到tetrolet变换域,并将二者分解为低频系数和高频系数。然后,对低频系数,将区域能量理论与传统的加权法相结合,利用区域能量的多变性和区域像素的相关性,自适应地选择加权系数进行融合;对高频系数,利用改进的多方向拉普拉斯算子方法计算拉普拉斯能量和,再引入区域平滑度为阈值设定高频系数融合规则。最后,将融合所得新的低频和高频系数进行图像重建得到融合结果。结果 在kaptein、street和road等3组红外与可见光图像上,与轮廓波变换（contourlet transformation,CL）、离散小波变换（discrete wavelet transformation,DWT）和非下采样轮廓波变换（nonsubsampled contourlet transformation,NSCT）等3种方法的融合结果进行比较,主观评判上,本文算法融合结果在背景、目标物以及细节体现方面均优于其他3种方法;客观指标上,本文算法相较于其他3种方法,运行时间较NSCT方法提升了0.37 s,平均梯度（average gradient,AvG）值和空间频率（spatial frequency,SF）值均有大幅提高,提高幅度最大为5.42和2.75,峰值信噪比（peak signal to noise ratio,PSNR）值、信息熵（information entropy,IE）值和结构相似性（structural similarity index,SSIM）值分别提高0.25、0.12和0.19。结论 本文提出的红外与可见光图像融合算法改善了融合图像的细节刻画,使观察者对场景的理解能力有所提升。     

基于改进的NSCT红外可见光图像融合算法

针对在红外可见光图像融合过程中目标细节信息容易丢失的问题,提出一种使用非下采样轮廓波变换（NSCT）和主成分分析法（PCA）相结合的图像融合算法。首先应用NSCT将源图像分解分别得到低频和高频的子带图像。在低频子带系数中,由于PCA能够突出图像的主要信息,所以选用主成分分析法融合规则。高频子带中,相对来说较高层次系数表达的是源图像中最为细节的信息,可选用绝对最大值法融合规则,而相比之下低层次系数代表了较为粗糙的信息,可选用绝对最大值与区域标准差融合规则。从实验结果可以得出,在红外可见光图像目标信息和细节信息融合效果上该算法优于其他算法,有更好的图像视觉效果。     

采用shearlet变换的多聚焦图像融合

相对传统多尺度分析工具,shearlet变换更适于提取图像细节信息。采用shearlet变换进行图像融合,对源图像进行shearlet域分解,对低频子带采用SML算子作为融合依据,高频子带采取区域能量与单个像素相结合的方式选择系数,对融合后的系数进行逆shearlet变换得到融合图像。仿真实验表明,算法在视觉效果和量化结果上均有提高。     

利用NSCT域邻域特性区域化方法融合红外与微光图像

针对同一场景的红外与微光(可见光)图像融合问题,提出了一种利用邻域特性区域化处理的非下采样Contourlet变换(NSCT)融合方法.首先,对红外和微光源图像进行多尺度、多方向分解;然后对低频系数采用邻域能量上改进的区域化加权融合规则,高频系数采用邻域能量区域化匹配的系数选择方案与邻域方差上的区域方差取大融合规则;最后利用NSCT反变换进行重构得到融合图像.实验结果表明,本文方法信息熵略低于亮度过度增大的参考文献中的方法,由于传统方法引入虚假细节信息导致空间频率略高于所提方法,但其互信息与边缘保持度(Q)指标值较好,其融合图像整体效果优于对比方法.本文方法在保留源图像主要信息及捕捉细节信息方面效果显著,且融合的图像具有较好的视觉效果.     

自适应PCNN与信息提取的红外与可见光图像融合

提出基于非采样Contourlet变换（NSCT）的红外与可见光图像融合方法,用于有效地保留目标信息与空间背景信息,提高融合图像的可观测性与视觉效果。首先,基于NSCT方法对红外与可见光图像进行第一次融合,采用自适应PCNN方法提取目标信息融合低频子带系数,采用区域方差取大的规则融合高频子带系数,通过逆NSCT得到初次融合图像。然后,通过信息提取,得到初次融合图像和源图像的边缘保持度与信息熵。最后,依据信息熵与边缘保持度,采用不同的融合策略对红外与可见光图像进行第二次融合。实验结果表明,所述方法从主观视觉效果和客观评价都优于几个流行的基于多尺度变换的图像融合方法,与基于NSCT融合图像对比,两组实验融合质量指标分别提高了261.06%、48.31%、5.15%、142.95%、21.62%和372.85%、54.62%、4.73%、163.07%、25.40%。融合图像不仅边缘等细节纹理更加清晰,且视觉上更符合人眼视觉特性。