基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于卷积神经网络的红外与可见光图像融合

非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息.针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法.首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图.然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式.最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合.实验结果表明:该算法QAB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42％、14.25％、7.91％以及61.67％,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷.     

基于NSCT和PCNN的可见光与红外图像融合算法

提出了一种基于Contourlet变换的非下采样变换(Nonsubsampled ContourletTransform,NSCT)和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的可见光与红外图像融合算法。该算法首先对源图像进行NSCT分解,得到低频子带系数和各带通方向子带系数。然后对低频子带系数提出一种基于可见光与红外图像自身特性的加权平均融合方法,再对各带通子带系数提出基于PCNN的融合方法。最后经过NSCT逆变换得到融合图像。实验证明,该方法优于小波方法和传统的NSCT方法。     

基于局部能量的NSCT域红外与可见光图像融合算法

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合方法。首先对红外和可见光源图像进行多尺度、多方向分解;在低频系数上,采用基于局部能量比与基于局部能量加权相结合的方法进行融合;在高频系数上,定义了局部尺度方差的概念,并以局部尺度方差为测度进行取大融合;最后对融合系数进行重构得到融合图像。使用该算法对两类不同目的的红外与可见光图像进行了融合实验,实验结果表明,文中提出的算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

结合方向边缘检测的红外与可见光图像融合算法

针对现有红外与可见光融合算法中存在边缘模糊与目标不清晰等问题,通过对红外图像与可见光图像的研究,提出一种基于方向边缘检测的红外与可见光的图像融合算法。通过在传统的边缘检测算法基础上,引入一个方向因子,提出了一种新的方向边缘检测算法;并根据高频子带与低频子带中小波系数的不同特性,分别对其采用了不同的融合规则。实验结果表明,该算法能够有效的提取图像中的边缘信息与目标信号,具有可靠性高、清晰度高的市场优势。     

联合卷积神经网络和转换器的红外与可见光图像融合

为解决在红外与可见光图像融合领域中,卷积神经网络（CNN）无法建模源图像内部的全局语义相关性,对图像上下文信息利用不充分等问题,创新性地提出了一种联合CNN和转换器（Transformer）的图像融合模型。首先,为了弥补CNN无法建立长程依赖关系的缺陷,提出了联合CNN和Transformer的编码器,加强了对多个局部区域间相关性的特征提取,提高了模型对图像局部细节信息的提取能力。其次,提出了一种基于模态最大差异度的融合策略,强化融合过程中对源图像不同区域信息的自适应表达,提高了融合图像的对比度。最后,在TNO公开数据集上,联合多种对比算法对所提融合模型进行了实验验证。实验结果表明,在主观视觉效果和客观评价指标两方面的评估上,所提模型与现有融合方法相比都具有明显优势。此外,通过消融实验,分别对提出的联合编码器和融合策略进行了有效性分析,实验结果证明所提出的设计思想在红外可见光图像融合任务上是有效的。     

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。     

结合图像特征比的红外与可见光图像融合算法

针对现有图像融合算法得到的融合图像清晰度不高以及边缘模糊等问题,提出了一种结合图像特征比的红外与可见光的图像融合算法,通过小波变换将图像进行分解,并通过计算低频分量中空间频率比与能量比,来对低频分量中的有效信号进行保留,而对高频分量则是通过边缘检测算法计算出高频分量中的边缘信号比,来对高频分量的边缘信号进行保留;实验结果表,该算法能够得到相比其他算法更为清晰的融合图像,具有一定的实用价值。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

卷积神经网络结合显著性目标掩图的红外与可见光图像融合

传统的基于多尺度变换理论的红外与可见光融合,提取特征单一,融合规则需要手动设计,难以应对多场景的需求,而深度学习的方法具有良好的特征提取能力,能够对多种特征进行学习.使用基于卷积神经网络的方法对图像融合进行研究,将网络分为特征提取网络和特征融合网络2个部分.首先使用图像处理软件获得红外图像的显著性目标掩图,然后以目标掩...     

基于QPSO和统计特征的红外与可见光图像融合

为解决红外图像与可见光图像融合中融合图像质量不高问题,提出了一种结合量子粒子群优化和邻域统计的图像融合方法。红外和可见光源图像经过多尺度分解成为低频和高频子带。对低频子带,采用系数加权平均的融合策略,并通过量子粒子群优化方法搜索最优的融合权值;对于高频子带,采用受邻域统计信息调制的系数比较取大融合策略,通过逆变换重构图像得到融合结果。实验结果表明该算法能够很好地将红外图像与可见光图像进行融合,且融合效果优于其它一些算法。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

基于非抽样Contourlet变换的红外图像和可见光图像融合算法

分析了非抽样Contourlet交换(nonsubsampled contourlet transform,NSCT)的原理和优点,针对红外图像和可见光图像的特征,提出了一种新的基于NSCT图像融合算法,应用NSCT对图像进行多尺度、多方向分解,低频子带采取区域能量加权法融合,带通子带采取区域方差加权法融合,最后将融合的系数进行NSCT逆变换得到融合图像.实验表明,与其它融合算法比较,该算法融合图像效果较好.     

基于NSCT红外与可见光图像融合算法优化研究

为了在一定程度上为后续图像处理提供更为有效的信息,针对红外与可见光图像融合,提出了一种改进的算法.NSCT用于分解红外图像和可见光图像,采用像素特征能量加权融合规则和邻域方差特征信息融合规则得到其低频和高频系数,最后通过逆NSCT进行图像重构得到融合图像.优化后的算法在融合图像清晰度上比Contourlet算法提高了2.22%,在图像信息丰富程度上提高近3.1%.实验结果表明,该算法可以有效地提高图像融合质量.     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

一种新颖的红外与可见光图像融合方法

为了提升红外和可见光图像融合效果,提出了一种新颖的融合方法。对可见光图像利用支持向量机和腐蚀膨胀算法在图像分块的基础上进行分割获取含有重要场景信息的特征子图像和灰度场景子图像;对红外图像进行热目标边缘提取并增强,结合前述特征子图像和最大类间方差法获取边缘增强的目标子图像,特征子图像和灰度场景子图像。利用小波包分别对两特征子图像,两场景子图像进行融合。融合过程中,根据子图像特点择取不同融合准则,并对高频融合系数进行系数修正使其更为准确可靠。将红外热目标注入到前述融合结果中获取最终融合图像。实验结果表明,提出算法从主、客观评价上都要优于对比算法。     

基于深度卷积神经网络的红外场景理解算法

采用深度学习的方法实现红外图像场景语义理解.首先,建立含有4类别前景目标和1个类别背景的用于语义分割研究的红外图像数据集.其次,以深度卷积神经网络为基础,结合条件随机场后处理优化模型,搭建端到端的红外语义分割算法框架并进行训练.最后,在可见光和红外测试集上对算法框架的输出结果进行评估分析.实验结果表明,采用深度学习的方法对红外图像进行语义分割能实现图像的像素级分类,并获得较高的预测精度.从而可以获得红外图像中景物的形状、种类、位置分布等信息,实现红外场景的语义理解.