基于NSST 域隐马尔可夫树模型的SAR 和灰度可见光图像融合

针对合成孔径雷达(SAR) 图像和可见光图像融合问题, 提出一种基于非下采样剪切波变换域的隐马尔可夫树模型的图像融合方法(NHMM), 图像经过非下采样剪切波变换(NSST) 分解形成一个低频子带和多个高频子带.在NSST 域中, 对低频系数采用基于标准差的融合策略; 针对高频子带, 建立NSST 域隐马尔可夫树(HMT) 模型对高频系数进行训练, 并根据梯度能量对训练后的高频系数进行选择, 最后通过NSST 逆变换得到融合图像. 实验结果表明, 所提出的方法可提高图像的融合质量, 并能降低图像噪声, 具有一定的有效性和实用性.

     

基于Curvelet变换的红外与彩色可见光图像融合算法

提出了基于二代Curvelet变换的红外与彩色可见光图像的融合算法。首先对彩色可见光图像进行IV1V2颜色空间变换提取亮度分量,然后对彩色图像的亮度分量和红外图像应用Curvelet变换,对低频系数应用亮度重映射技术后采用加权平均的融合规则,高频系数则采用取大融合规则,再对融合系数应用Curvelet逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验对比表明,相对于对传统融合算法中强度较高的源图像会淹没另一方背景纹理及细节的问题,该算法能有效提高红外光谱信息的充分融合,获得了视觉效果更好、综合指标更优的融合图像。     

基于二代Curvelet变换与MPCA的可见光与红外图像融合

针对同一场景红外图像与可见光图像的融合问题,提出了一种基于二代Curvelet变换与模块化主成分分析(MPCA)的图像融合新方法。首先对原始图像分别进行快速离散Curvelet变换,得到不同尺度和方向下的粗细尺度系数;根据红外图像与可见光图像的不同物理特性以及人类视觉系统特性,对粗尺度系数的选择,采用基于模块化主成分分析(MPCA)的融合规则,确定融合权值,而对不同尺度与方向下的细尺度系数的选择,采用基于局部区域能量的融合规则;最后经Curvelet逆变换得到融合结果。实验结果表明,该方法能够更加有效、准确地提取图像中的特征,在主观视觉效果与客观评价指标上均取得了较好的融合效果,是一种可行有效的图像融合算法。     

基于非降采样Contourlet变换（NSCT）的红外与可见光图像融合及稳健性分析

提出一种基于区域显著性融合规则的非降采样Contourlet 变换的红外与可见光图像融合方法. 首先, 对来自同一场景图像的红外与可见光图像的??分量进行非降采样Contourlet变换; 然后, 依照区域匹配度量和显著性度量规则进行融合, 而融合图像通过非降采样Contourlet反变换即可得到. 最后, 针对此方法进行大量实验, 并将其融合结果与基于小波变换及拉普拉斯金子塔变换的融合结果进行比较, 同时分析它们在不同噪声条件下的性能指标.     

基于NSCT变换的红外与可见光图像融合技术研究

提出了一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像的融合算法。采用对低频系数取平均,对高频系数中最大分解尺度选择系数最大值,其他尺度系数采用局部方差最大的规则,通过对所得到的融合系数进行逆变换即可得到融合后的图像。实验表明:该算法结合了NSCT的多尺度、多方向和平移不变性的优点,能够更好地提取源图像特征,增强融合图像的空间细节表现能力。融合后的图像具有较好的主观视觉效果,标准差和熵值较传统的融合方法有所提高。     

基于加权核独立成分分析的故障检测方法

针对核独立成分分析故障检测时忽略各独立成分分量对系统故障贡献度的差异, 提出一种基于加权核独立成分分析的故障检测方法. 使用核独立成分分析提取过程变量的独立成分, 根据核密度估计衡量各独立成分分量对系统故障的贡献度, 对各独立成分分量赋予不同权重, 突出包含有用信息的独立成分分量, 引入局部离群因子在特征空间构造统计量进行故障检测. 基于数值仿真和Tennessee Eastman 数据集的仿真结果表明了所提出方法的优越性.

     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

基于深度学习的红外可见光图像融合综述

如何将多张图像中的互补信息保存到一张图像中用于全面表征场景是具有挑战性的课题。基于此课题,大量的图像融合方法被提出。红外可见光图像融合（IVIF）作为图像融合中一个重要分支,在语义分割、目标检测和军事侦察等实际领域都有着广泛的应用。近年来,深度学习技术引领了图像融合的发展方向,研究人员利用深度学习针对IVIF方向进行了探索。相关实验工作证明了应用深度学习方法来完成IVIF相较于传统方法有着显著优势。对基于深度学习的IVIF前沿算法进行了详细的分析论述。首先,从网络架构、方法创新以及局限性等方面报告了领域内的方法研究现状。其次,对IVIF方法中常用的数据集进行了简要介绍并给出了定量实验中常用评价指标的定义。对提到的一些具有代表性的方法进行了图像融合和语义分割的定性评估、定量评估实验以及融合效率分析实验来全方面地评估方法的性能。最后,给出了实验结论并对领域内未来可能的研究方向进行了展望。     

基于FPDE的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.     

基于非下采样轮廓波变换和压缩感知的图像融合方法

针对基于非下采样轮廓波变换(NSCT)的图像融合算法存在计算复杂度较高的问题,提出一种基于NSCT和压缩感知的图像融合方法.首先根据压缩感知理论的特点将其应用于图像融合领域,并采用Min-TV的方法重构图像;然后对NSCT进行分解,其计算量较大的带通子带系数采用基于压缩感知理论的图像融合方法;最后对低通融合图像和带通融合图像进行NSCT逆变换,得到最终的融合图像.通过仿真实验,从主观感知和客观数据的对比分析上验证了所提出方法的有效性.     

基于改进型NSCT 变换的灰度可见光与红外图像融合方法

针对灰度可见光与红外图像融合,提出一种基于改进型非下采样轮廓波变换(NSCT)的图像融合方法.不同于经典NSCT模型,改进型NSCT变换摈弃了细节捕捉能力不强的非下采样金字塔分解机制,采用冗余提升不可分离小波变换实现对源图像的多尺度分解;然后,分别采用基于区域平均能量匹配度、邻域系数差和信息熵的融合规则,得到融合图像的低频系数和高频系数;最后,通过改进型NSCT逆变换得到了融合图像.实验结果验证了该方法的有效性.     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。     

基于NSCT的红外与可见光图像融合

提出一种基于非下采样Contourlet变换的红外与可见光图像融合方法。该方法对源图像经非下采样Contourlet变换分解后的高频系数,考虑不同传感器的成像机理进行活性度量,并结合多分辨率系数间相关性来实现加权融合;低频系数则通过一种局部梯度进行活性度量,再采用加权与选择相结合的规则实现融合。最后,通过非下采样Contourlet逆变换重构获得融合图像。实验结果表明了该方法的有效性和可行性。     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared （IR） and visible image fu- sion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis （ICA） is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can de- press the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fu- sion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the pro- posed method can provide better perception effect.     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared (IR) and visible image fusion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis (ICA) is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can depress the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fusion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the proposed method can provide better perception effect.     

基于注意力机制的红外与可见光图像融合网络

针对现有融合方法缺乏通用性的问题,提出一种结合空间注意力和通道注意力的特征融合网络,设计一个端到端融合框架,采用两阶段的训练策略进行训练。在第一个阶段,训练一个自编码器用来提取图像的特征;在第二个阶段,使用提出的融合损失函数对融合网络进行训练。实验结果表明,该算法既能保留红外图像显著目标特征,还能在保留可见光图像细节上有很好的特性。主观和客观的实验分析验证了该算法的有效性。