基于NSCT和PCNN的可见光与红外图像融合算法

提出了一种基于Contourlet变换的非下采样变换(Nonsubsampled ContourletTransform,NSCT)和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的可见光与红外图像融合算法。该算法首先对源图像进行NSCT分解,得到低频子带系数和各带通方向子带系数。然后对低频子带系数提出一种基于可见光与红外图像自身特性的加权平均融合方法,再对各带通子带系数提出基于PCNN的融合方法。最后经过NSCT逆变换得到融合图像。实验证明,该方法优于小波方法和传统的NSCT方法。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特...     

基于压缩感知的红外与可见光图像融合算法

压缩感知是一种新的信号采样理论,突破了传统的Nyquist采样率须为信号最高频率的2倍以上的定理。对于稀疏信号,它能够以远低于Nyquist采样速率对信号进行采样,并通过重构算法恢复出原信号。提出了一种基于压缩感知的红外与可见光图像融合算法,对图像进行测量,并通过融合算法对测量值进行融合。仿真实验显示,压缩感知能较好地实现图像的融合。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

基于红外与可见光图像融合技术发展与性能评价

红外图像可以全天候且不受光照条件影响的根据目标和背景热辐射差异来区分目标和背景。可见光图像可以通过人的视觉系统的高空间分辨率和清晰度来提供景物的质地和结构细节。因此将红外图像和可见光图像融合可以结合两种图像优势,融合后的图像效果预期良好。本文对传统经典方法和目前较新融合方法进行综述。首先回顾了红外和可见光图像的融合方法,其次选取了一些融合图像的性能评价指标,然后选择具有代表性的具体算法进行图像融合,根据融合图像结果获取评测指标,最后根据指标进行分析并对现状进行总结讨论,及对以后的工作发展方向进行展望。     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

基于深度学习的无监督红外图像与可见光图像融合算法

卷积神经网络(CNN)由于出色的性能,被逐渐应用于图像融合领域.对于红外图像和可见光图像的融合任务而言,由于没有标签数据,对其进行无监督的学习建模具有重要意义.针对这个问题,提出了一种无监督的端到端的深度融合算法,该算法可以由输入的红外源图像和可见光源图像,直接预测出包含源图像显著信息的融合图像.所提算法构建了一个自编...     

基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题,提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层,对细节层使用基于结构相似性和L2范数的融合规则融合并增强;然后提出一种结构均值法,将结构层分解为亮度层和基础层,对亮度层使用绝对值取大融合,对基础层设计了一种基于多指标的融合规则进行融合;最后重构各子融合图像得到最终融合图像。为验证算法的有效性,与9种红外与可见光图像融合算法进行对比,使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标,在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明,本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节,且在客观评价指标上取得了更好的效果。     

可见光与红外图像增强融合算法研究

提出了自适应图像增强算法，用于可见光和红外图像的融合。首先对输入的可见光图像和红外图像进行自适应增强，然后采用基于图像空间能量窗及归一化互相关测度构造融合图像，利用图像的信息熵评估算法的融合效果，最后给出了一组可见光和红外图像融合的试验结果，表明该算法十分有效，融合图像有丰富的互补信息，有利于人眼观察和目标识别。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于梯度方向直方图的红外与可见光融合网络的损失函数

基于深度学习的图像融合方法实现了良好的图像融合性能,近年来经过快速发展,被广泛应用于生物特征识别、自动驾驶和目标追踪等方面。深度学习网络在提取图像的重要纹理细节和保存重要信息等方面依然存在许多挑战。因此,提出了一种适用于红外与可见光图像融合网络的损失函数,在损失函数中引入了梯度方向直方图（HOG）损失,HOG特征可以反映图像局部的梯度方向和梯度大小,用HOG特征作损失函数可以提升网络提取图像细节信息的能力。将HOG损失与多尺度结构相似性损失相结合,用设计的损失函数训练了NestFuse、Res2Fusion和UNFusion 3个红外与可见光图像融合网络。在TNO数据集上,所提模型将融合图像的标准差（SD）分别提高2.1476%、1.2273%和1.4444%,将融合图像的视觉信息保真度（VIF）分别提高1.6529%、1.4936%和1.2902%;在RoadScene数据集上,所提模型将融合图像的SD分别提高1.0083%、1.1669%和0.7214%,将融合图像的VIF分别提高1.8093%、1.8063%和1.0406%。实验结果表明,所提损失函数可以从源图像中提取更多有效信...     

基于改进灰狼优化的红外与可见光图像融合

将图像融合运用于检测与跟踪领域需要融合图像显示清晰的目标,传统的优化类融合算法存在目标信息不完整的问题,对此本文提出一种基于改进灰狼优化(Gray Wolf Optimization,GWO)结合边缘特征的图像融合方法。将图像分解为细节层与粗糙层后,对细节图像使用优化权重进行融合,再融合细节层与粗糙层,最后执行对比度有限自适应直方图均衡增强融合图像。其中优化权重通过改进的灰狼优化获得,通过融合边缘信息获得权重取值范围,并且对灰狼优化引入交叉操作改进优化效果。实验对比图像全局与目标局部的标准差、信息熵、平均梯度、空间频率,本文方法的性能在目标局部熵、标准差上大大优于其他方法,在全局指标上也有很好的表现。     

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。     

基于目标增强的红外与可见光图像融合算法研究

针对传统多尺度变换融合方法不能有效保留红外图像中热辐射信息及高对比度特征,本文提出了一种基于目标增强多尺度变换的红外和可见光图像融合算法。首先,对可见光图像进行预处理,自适应地提高其对比度。其次,对红外和可见光图像分别使用拉普拉斯金字塔(LP)分解为高频以及低频分量。然后,使用分解后的红外低频信息确定低频段融合权重,并引入参数λ控制融合图像中红外信息比例。最后,使用拉普拉斯金字塔逆变换重构融合图像。实验结果表明,所提出的方法可以生成具有明显突出目标和丰富细节的融合图像,并在主观视觉和客观指标上具有更好的表现。     

基于SCM和CST的红外与可见光图像融合算法

针对红外与可见光图像的成像特点及目前红外与可见光图像融合中融合图像信息量不足的问题,结合复剪切波变换（Complex Shearlet transform,CST）及脉冲发放皮层模型（Spiking cortical model,SCM）的优点,本文提出了一种新的红外与可见光图像融合算法。首先,利用红外图像目标与背景灰度的显著差异,通过区域生长方法从红外图像提取目标区域;然后用CST对源图像进行分解,对源图像的目标区域和背景区域系数分别采用不同的融合规则进行融合,其中背景区域的高频子带系数利用SCM进行选择;最后,经过CST逆变换重构融合图像。研究结果表明,与其它的红外与可见光图像融合算法相比,本方法在视觉效果和客观评价指标上都得到了提升。     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息,在生产生活、军事监视等场景得到广泛应用,已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比,并综述了红外与可见光图像融合在各领域内的应用现状,以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标,应用于六个不同场景,验证各方法的优势与不足。最后,实验分析并总结现有红外与可见光图像融合方法存在的问题,对红外与可见光图像融合技术的发展趋势进行展望。