基于改进生成对抗网络模型的红外与可见光图像融合

为增强融合图像的视觉效果,减少计算的复杂度,解决传统红外与可见光图像融合算法存在的背景细节丢失问题,提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先,在生成器中对源图像进行深度卷积与逐点卷积运算,得到源图像的特征映射信息;其次,通过前向传播的方式更新网络参数,得到初步的单通道融合图像;再次,在红外及可见光判别器中,使用深度可分离卷积分别对源图像与初步融合图像进行像素判别;最后,在损失函数的约束下,双判别器不断将更多的细节信息添加到融合图像中。实验结果表明,相比于传统的融合算法,该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量,丰富了背景的细节信息。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于互信息特征分离表达的红外与可见光图像融合

针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network,ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex,SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMIdct)、小波特征互信息(FMIw)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

采用HOG特征的下视景象匹配算法

红外实时图像和可见光参考图像的差异给下视景象匹配技术带来挑战,如何寻找并提取红外实时图像与可见光基准图像间稳定和可靠的共性特征是进行特征匹配的重要研究课题。在分析红外图像和可见光基准图像成像机制基础上,提出了以HOG特征作为匹配的特征、以相关系数作为相似性测度的匹配算法,并研究了梯度方向范围、梯度方向划分、标准化等计算HOG特征相关参数对于匹配性能的影响,给出了性能较优的一组参数。实验表明:该匹配算法与互相关和Hausdorff距离法相比具有更高的正确匹配率。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

基于SURF-HOG与显著性特征的红外可见光图像配准融合北大核心CSCD

针对现有红外与可见光图像配准不精确,边缘及细节纹理缺失,融合时间较长,不能突出重点目标等不足,提出一种基于SURF-HOG描述符与红外显著性特征的红外与可见光图像融合方法。首先,在红外与可见光图像配准阶段,在SURF(Speed-Up Robust Features,SURF)框架内构建基于HOG(Histogram of Oriented Gradient,HOG)的特征点描述符,并通过NNDR(Nearest Neighbor Distance Ratio,NNDR)进行红外与可见光图像的特征点匹配;其次,在显著特征提取阶段,先通过四叉树算法对源红外图像分解,然后通过贝塞尔插值法重建红外图像背景,接着分别对红外图像中的背景及目标进行自适应抑制以提取目标红外显著性特征;最后,结合已配准的可见光图像与重建后的红外图像以获取最终融合结果。实验结果表明,所提方法对不同场景下的红外与可见光图像具有较高的配准精度,不同场景下的融合结果不但主观视觉上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间最短,并且在客观评价指标上也取得了较好的效果。     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于结构-纹理分解和VGG深层网络的红外与可见光图像融合

针对当前红外与可见光图像融合方法中存在低频信息未充分利用，以及高频细节易混入噪声等问题，提出一种基于结构-纹理（ST）分解和VGG深层网络的红外与可见光图像融合方法。首先用均值滤波将输入图像分解为高-低频子带，并引入ST对低频子带二次分解，采用平均法则与邻域空间频率分别对结构和纹理进行预融合；同时，将输入图像送入VGG网络得到多层特征映射，并用Sigmiod函数实现高频子带的归一化预融合；最后利用预融合的高频、低频结构和低频纹理3个频带进行图像融合重建。实验结果表明，提出的方法能够融合图像的深层细节特征，有效保留纹理细节并抑制噪声，且在噪声评估、结构相似性、均方误差、峰值信噪比等客观指标方面具有明显优势。     

基于显著性图的红外与可见光图像融合

为使红外图像与可见光图像融合后的图像能获得更多目标信息和细节信息,本文提出了一种基于显著性图的图像融合方法。使用改进的Frequency Tuned(FT)算法提取红外图像的显著性图,并使用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histgram Equalization,CLAHE)算法增强可见光图像的对比度。将红外图像与增强后的可见光图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)后,根据所设定的融合规则分别对红外与可见光图像的低频部分与高频部分进行融合,最后对融合系数进行NSCT逆变换操作后获到融合图像。实验表明,该融合方法相较于其他方法而言,保留了更多的目标信息和细节信息,可以取得更好的视觉效果。     

基于SLPP-SHOG的红外图像车辆检测方法

针对红外图像的车辆检测,结合梯度方向直方图(HOG)特征与监督保局投影(SLPP),提出单帧图像车辆检测算法。首先,为增强特征描述能力、提高检测性能,在不增加特征维数的情况下,利用图像分割将区域的轮廓信息、灰度信息融入HOG特征中;其次,针对传统HOG特征维度过高,影响车辆检测效率以及准确率的问题,采用SLPP对提取的SHOG特征进行降维;最后,利用极限学习机(ELM)对样本图像的低维特征进行训练得到ELM分类器,实现车辆检测。本文以实拍红外图像作为实验数据,实验结果显示:针对红外图像的车辆检测,本文算法的检测性能较好,与原始HOG特征相比,本文所提SLPP-SHOG特征的特征维数由1764降至30,检测准确率升高16.03%,F1-measure提高了8.79%,检测时间由5.7 ms降至2.6 ms。     

联合卷积神经网络和转换器的红外与可见光图像融合

为解决在红外与可见光图像融合领域中，卷积神经网络（CNN）无法建模源图像内部的全局语义相关性，对图像上下文信息利用不充分等问题，创新性地提出了一种联合CNN和转换器（Transformer）的图像融合模型。首先，为了弥补CNN无法建立长程依赖关系的缺陷，提出了联合CNN和Transformer的编码器，加强了对多个局部区域间相关性的特征提取，提高了模型对图像局部细节信息的提取能力。其次，提出了一种基于模态最大差异度的融合策略，强化融合过程中对源图像不同区域信息的自适应表达，提高了融合图像的对比度。最后，在TNO公开数据集上，联合多种对比算法对所提融合模型进行了实验验证。实验结果表明，在主观视觉效果和客观评价指标两方面的评估上，所提模型与现有融合方法相比都具有明显优势。此外，通过消融实验，分别对提出的联合编码器和融合策略进行了有效性分析，实验结果证明所提出的设计思想在红外可见光图像融合任务上是有效的。     

基于图像增强和滚动引导滤波的红外与可见光图像融合

针对红外与可见光图像融合易发生热目标亮度损失、可见光图像细节信息丢失的问题，提出一种基于图像增强和滚动引导滤波的多尺度融合算法。首先，提出一种自适应图像增强方法，提高可见光图像的整体亮度，并保持细节处的对比度。然后，根据特征的不同将源图像分解为三层，采用基于引导滤波的显著性提取方法得到亮度层；利用滚动引导滤波良好的尺度感知和边缘保持特性，并结合高斯滤波得到基础层和细节层。最后，对亮度层采用像素值取大的融合规则，提出一种新的最小二乘优化方案对基础层进行融合，使用修正拉普拉斯能量和作为清晰度的度量对细节层进行融合。实验结果表明，与其他融合方法相比，所提方法在主观评价和客观评价上都有较好的表现。     

一种基于DexiNed改进的红外图像边缘检测算法

相对于可见光图像边缘检测,目前针对红外图像边缘检测的研究较少,且大多基于传统方法,如边缘检测算子、数学形态学等,其本质上都是只考虑红外图像局部的急剧变化来检测边缘,因而始终受限于低层次特征。本文提出了一种基于深度学习的红外图像边缘检测算法,在DexiNed（Dense Extreme Inception Network for Edge Detection）的基础上,缩减了网络规模,并在损失函数中引入了图像级的差异,精心设置了损失函数的参数,进而优化了网络性能。此外,还通过调整自然图像边缘检测数据集来近似模拟红外图像边缘检测数据集,对改进后的模型进行训练,进一步提高了网络对红外图像中边缘信息的提取能力。定性评价结果表明,本文方法提取的红外图像边缘定位准确、层次清晰、细节丰富、贴合人眼视觉,使用了SSIM（Structural Similarity Index Measure）和FSIM（Feature Similarity Index Measure）指标的定量评价结果进一步体现了本文方法相比于其他方法的优越性。     

改进生成对抗网络实现红外与可见光图像融合

红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息,在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理,如何融合各自图像的优点并保证图像不失真是融合技术的关键,传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题,提出了一种改进的生成对抗网络,生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息;在判别器中引入谱归一化模块,解决传统生成对抗网络不易训练的问题,加速网络收敛;引入了感知损失,保持融合图像与源图像的结构相似性,进一步提升了融合精度。实验结果表明,提出的方法在主观评价与客观指标上均优于其他代表性方法,对比基于全变分模型方法,平均梯度和空间频率分别提升了55.84%和49.95%。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于自注意力深度网络的图像超分辨率重建方法

针对现有图像超分辨重建方法难以充分重建图像的细节信息且易出现重建的图像缺乏层次的问题,提出一种基于自注意力深度网络的图像超分辨重建方法。以深度神经网络为基础,通过提取低分辨率图像特征,建立低分辨率图像特征到高分辨率图像特征的非线性映射,重建高分辨率图像。在进行非线性映射时,引入自注意力机制,获取图像中全部像素间的依赖关系,利用图像的全局特征指导图像重建,增强图像层次。在训练深度神经网络时,使用图像像素级损失和感知损失作为损失函数,以强化网络对图像细节信息的重建能力。在3类数据集上的对比测试结果表明,所提方法能够提升图像超分辨重建结果的细节信息,且重建图像的视觉效果更好。