基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于多尺度分解和显著性区域提取的可见光红外图像融合方法北大核心CSCD

可见光红外图像融合技术对于提升成像区域的信息丰富程度具有重要意义。提出了一种基于多尺度分解和显著性区域提取的可见光红外图像融合算法。利用边缘保持的图像平滑算法,构建了多尺度图像分解框架,将图像分解为不同尺度的基础层图像和若干细节层图像,同时结合导向滤波器,在每个分解图层实施显著性区域提取。通过加权重建进行融合信息的视觉增强,得到最终的融合结果。针对不同融合算法和图像库开展了主客观评价对比实验,结果表明:所提出的算法具有较好的主客观评价结果,算法融合效果表现优异,适用性较好。     

基于目标增强的红外与可见光图像融合技术研究

针对红外和可见光图像融合算法中存在背景模糊和目标不清晰等问题,提出一种基于目标增强的红外与可见光图像融合算法。首先,利用均值滤波的方法获得透射率的粗估计,通过图像统计信息实现粗透射率的细化,依据大气散射模型实现红外图像的目标增强;然后,对目标增强的红外图像和可见光图像采用改进的Prewitt算子进行边缘检测,并将检测结果二值化,对边缘部分采用基于二值信息的融合规则,对非边缘部分采用比值加权分析的融合规则。实验结果表明,采用基于目标增强的图像融合算法不仅能凸显红外图像的目标信息,还能尽可能多的保留可见光图像丰富的细节信息,具有更好的视觉效果和更高的客观质量评价指标。     

交互信息加权的红外与可见光图像融合评价方法

红外与可见光图像融合质量评价问题的研究是其图像融合中一项重要而且急需解决的工作。综合考虑人眼的视觉特性及源图像和融合图像的边缘信息,在无标准参考图像条件下,提出一种基于交互信息加权的改进结构相似度和边缘信息保留值的图像融合质量评价指标。通过对红外与可见光图像采用不同融合算法进行的质量评价结果分析表明,评价结果与人眼主观相一致,是一种有效的图像融合质量评价方法。     

夜视抗晕光融合图像自适应分区质量评价

针对夜视晕光场景中,高亮度晕光信息导致现有红外与可见光融合图像评价方法失效的问题,该文提出一种自适应分区的融合图像质量评价方法。该方法根据可见光图像的晕光程度自动确定自适应系数,并通过迭代计算可见光灰度图像的晕光临界灰度值,将融合图像自动分为多个晕光区和非晕光区;在晕光区由设计的晕光消除度指标评价融合图像的晕光消除效果;在非晕光区从融合图像自身特性、对原始图像信息保留程度以及人眼视觉效果3方面评价融合图像纹理色彩等细节信息的增强效果;通过对4种不同抗晕光算法的融合图像进行评价分析,甄选出9种客观评价指标构成夜视抗晕光融合图像质量评价体系。不同夜视晕光场景下的实验结果表明,所提方法能够全面、合理地评价红外与可见光融合的抗晕光图像质量,解决了融合图像晕光消除越彻底客观评价结果反而越差的问题,也适于评判不同抗晕光融合算法的优劣。     

一种新颖的红外与可见光图像融合方法

为了提升红外和可见光图像融合效果,提出了一种新颖的融合方法。对可见光图像利用支持向量机和腐蚀膨胀算法在图像分块的基础上进行分割获取含有重要场景信息的特征子图像和灰度场景子图像;对红外图像进行热目标边缘提取并增强,结合前述特征子图像和最大类间方差法获取边缘增强的目标子图像,特征子图像和灰度场景子图像。利用小波包分别对两特征子图像,两场景子图像进行融合。融合过程中,根据子图像特点择取不同融合准则,并对高频融合系数进行系数修正使其更为准确可靠。将红外热目标注入到前述融合结果中获取最终融合图像。实验结果表明,提出算法从主、客观评价上都要优于对比算法。     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。     

基于区域分割和非采样Contourlet变换的红外和可见光图像融合

针对同一场景的红外和可见光图像,提出一种基于OTSU递归分割算法的区域分割和非采样Contourlet变换的红外和可见光图像融合算法。首先,对红外和可见光图像进行区域分割和区域关联,关联映射图分为目标区域、背景区域和灰度区域。随后,应用NSCT变换对图像进行多尺度、多方向分解,按照关联映射图中三个区域对NSCT分解后的高低频子带系数进行区域划分,根据不同区域的特性在NSCT域设计不同的融合规则。最后,进行重构得到融合图像。对三组不同场景图像的实验结果进行主观目视判别和客观性能评价,对比基于像素和邻域能量的融合算法,本文算法不仅能较全面的保持可见光图像中的光谱信息,而且能够有效、准确的提取红外图像的热目标信息,优于传统的基于像素和邻域能量的融合算法,可获得较理想的融合图像。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

深度学习框架下的红外与可见光图像融合算法综述

红外与可见光图像融合是图像融合领域的重要分支。将红外与可见光传感器获取的图像进行互补融合,融合后的图像既具有红外图像的整体信息又具有可见光图像的细节信息,并广泛应用于日常生活和军事领域。由于深度学习在计算机视觉和图像处理领域具有显著优势,因此将深度学习框架应用于红外与可见光图像融合领域成为近年来的研究热点。本文首先根据融合算法的特点及原理,对现有基于深度学习框架的融合算法进行分类概述,并详细介绍算法的研究进展;其次,对图像融合领域的评价指标进行介绍;再次,选取不同分类中的典型算法进行融合试验,利用六种评价指标对实验结果进行评价;最后,分析总结融合算法存在的缺陷,对红外与可见光图像融合算法的发展方向进行展望。     

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重。因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法。该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像。同时,根据底层视觉特征构建新活性度量方法来融合高频子带,最后对高、低频部分进行NSCT反变换重建。实验结果表明:该算法有效结合了源图像的边缘纹理信息,在主观和客观评价上皆优于现有的大部分算法。     

一种基于非采样Contourlet变换红外图像与可见光图像融合算法

针对同一场景红外图像与可见光图像的融合问题,提出了一种基于非采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)图像融合算法.算法首先采用NSCT对源图像进行多尺度、多方向分解,得到低频子带系数和各带通方向子带系数.然后,针对低频子带系数的选择,提出了一种基于红外图像与可见光图像物理特征的"加权平均"系数选择方案;针对各带通方向子带系数的选择,结合人眼视觉特性,提出了一种基于区域能量匹配的系数选择方案,得到融合图像的NSCT系数.最后经过NSCT逆变换得到融合图像.实验结果表明该算法可获得较理想的融合图像,其融合效果优于传统的基于离散小波变换以及离散小波框架变换的图像融合算法.     

马氏距离与引导滤波加权的红外与可见光图像融合

为使红外与可见光融合图像获得更好的分辨率和清晰度,提出基于非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)的马氏距离加权拉普拉斯能量和与引导滤波改进(frequency tuned,FT)结合的红外与可见光图像融合算法.首先,对可见光图像进行对比度受限的自适应直方图...     

低照度背景下弱小目标的成像实验研究

无人机等弱小目标具有飞行高度低、反射截面小、热信息弱等特点,尤其在低照度背景下,单一成像方式难以实现对弱小目标的探测和识别。实验对比了可见光成像、微光夜视成像、长波红外成像、激光主动照明成像等对弱小目标的成像效果,目的是研究适用于不同照度背景下弱小目标的探测识别方法。外场实验中,被测目标为小型四旋翼无人机,尺寸为290 mm×290 mm×196 mm,实验环境照度在10?2~10?4 lx之间,作用距离范围0.5~2 km。成像实验结果表明:普通可见光系统无法在环境照度低于10?2 lx时成像;环境照度为10?3 lx时,微光夜视和长波红外热系统的识别距离仅为0.5 km;近红外激光（中心波长808 nm）主动照明与微光夜视结合的主动成像方式可增加对弱小目标的识别距离,同等条件下主动照明成像作用距离是被动成像的3倍。     

基于NSCT的自适应多判决图像融合方法

针对传统的融合方法对于红外图像目标信息和可见光图像丰富的背景信息无法有效地保留到融合图像的问题,提出一种基于NSCT变换的自适应多判决红外与可见光图像融合方法。首先,将来自同一场景配准后的红外与可见光图像进行NSCT多尺度、多方向分解;然后,分别对高低频系数采取不同的融合规则：低频系数采用基于区域能量调节因子自适应加权的方法,对高频系数采用混合的融合方法,即对于高层,采用像素点绝对值选大的融合方法,对于低层采用基于对比度的多判决融合方法;最后,将得到的高低频融合系数进行逆NSCT变换得到融合图像。实验结果表明,经主客观评价,本文提出的融合方法优于文中其他基于多尺度分析的图像融合方法,可得到更理想的融合图像。     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法.通过NSCT(non-subsampled contourlet transform)变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红...     

A novel image fusion framework for night-vision navigation and surveillance

The night-vision image fusion plays a critical role in detecting targets and obstructions in low light or total darkness, which has great importance for pedestrian recognition, vehicle navigation, surveillance and monitoring applications. The central idea is to fuse low-light visible and infrared imagery into a single output. In this paper, we describe a new fusion framework for spatially registered visual and infrared images. The proposed framework utilizes the properties of fractal dimension and phase congruency in the non-subsampled contourlet transform (NSCT) domain. The proposed framework applies multiscale NSCT on visual and IR images to get low- and high-frequency bands. The varied frequency bands of the transformed images are then fused while exploiting their characteristics. Finally, the inverse NSCT is performed to get the fused image. The performance of the proposed framework is validated by extensive experiments on different scene imaginary, where the definite advantages are demonstrated subjectively and objectively.     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于方向导波增强的红外与可见光图像融合

为提高融合图像的视觉效果,并解决可见光图像受光线、天气等影响而成像不清导致的夜视背景弱的问题,本文基于方向导波提出了一种可见光与红外线图像的融合方法。首先,利用方向导波对可见光图像的内容进行增强,然后,利用方向导波的多尺度分解将可见光和红外线图像进行分解后再分别合成为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用视觉基础上的正则参数将红外线图像的信息加入到可见光图像中去;在基础层的融合过程中采用基于能量保护与细节提取的融合规则。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高夜视背景、细节处理、能量保护等方面都有良好的效果。