改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

红外图像的动态范围压缩和细节增强

红外图像动态范围压缩和细节增强可有效地提高人眼对图像关键细节信息的获取能力,是红外成像的重要研究课题.针对传统双边滤波器不能最优划分细节层和基础层的问题,设计了区域约束双边滤波器,并提出一种基于该滤波器的红外图像动态范围压缩和细节增强方法.首先通过区域约束双边滤波器将原始红外图像分解为基础层和细节层;然后对基础层进行压缩,对细节层进行增强;最后将这2部分重新合成得到结果图像.实验结果表明,文中设计的滤波器可以更合理地划分图像信息,该方法在压缩图像动态范围的同时可有效地增强不同尺度细节,具有较强的鲁棒性.     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。     

结合视觉显著性与Dual PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

自适应PCNN与信息提取的红外与可见光图像融合

提出基于非采样Contourlet变换（NSCT）的红外与可见光图像融合方法,用于有效地保留目标信息与空间背景信息,提高融合图像的可观测性与视觉效果。首先,基于NSCT方法对红外与可见光图像进行第一次融合,采用自适应PCNN方法提取目标信息融合低频子带系数,采用区域方差取大的规则融合高频子带系数,通过逆NSCT得到初次融合图像。然后,通过信息提取,得到初次融合图像和源图像的边缘保持度与信息熵。最后,依据信息熵与边缘保持度,采用不同的融合策略对红外与可见光图像进行第二次融合。实验结果表明,所述方法从主观视觉效果和客观评价都优于几个流行的基于多尺度变换的图像融合方法,与基于NSCT融合图像对比,两组实验融合质量指标分别提高了261.06%、48.31%、5.15%、142.95%、21.62%和372.85%、54.62%、4.73%、163.07%、25.40%。融合图像不仅边缘等细节纹理更加清晰,且视觉上更符合人眼视觉特性。     

基于互导滤波和显著性映射的红外可见光图像融合

为了解决传统多尺度红外可见光融合图像边缘模糊、对比度低和目标不显著的问题,提出一种基于互导滤波和显著性映射的红外可见光图像融合算法。由于互导滤波器能将图像一致结构和不一致结构分离并且具有尺度和保边意识,因此首先利用互导滤波器将原图像分解为具有冗余信息的结构层和不同尺度上具有互补信息的纹理层;其次根据过明或过暗区域更容易引起注意的视觉特点构造图像显著性映射函数对结构层和不同尺度的纹理层进行显著性映射;最后根据不同尺度的结构和纹理特性对图像进行融合重构。在两个数据集上的实验结果表明与传统的多尺度融合方法相比提出的方法在保持图像边缘、增强图像对比度、突出目标方面具有较好的主客观评价效果。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于改进的BEMD的红外与可见光图像融合方法

将红外图像与可见光图像融合在一起,可增强视觉效果,使人产生更完整的场景感知。基于二维经验模态分解(Bidimensional Empirical Mode Decomposition,BEMD)的图像融合方法运行时间较长,因此,文中提出了一种基于改进的二维经验模态分解的红外与可见光图像快速自适应融合方法,采用顺序统计滤波器和高斯滤波器直接生成均值包络曲面,从而加速图像的分解过程。首先,将可见光图像转化到HIS(Hue-Intensity-Saturation)颜色空间;然后,用改进的BEMD对强度分量I和红外图像进行分解,生成高频分量和低频分量,高频分量和低频分量分别采用自适应局部加权融合规则和算术平均融合规则;最后,将强度分量I与红外图像的融合结果图经过逆HIS变换到RGB颜色空间,从而得到融合图像。仿真实验表明,该融合算法不仅运行速度快,而且融合效果最佳,最大程度地保留了红外图像的边缘细节特征和可见光图像的光谱信息。     

基于内生长机制和卷积稀疏表示的红外与可见光图像融合

为了提升红外与可见光图像融合视觉效果,克服融合结果的伪影效应,提出一种基于内生长机制结合卷积稀疏表示的图像融合方法.首先,采用符合人类大脑推理的内生长机制对源图像进行分解,获取预测层和细节层;其次,对细节层采用卷积稀疏表示进行二次分解,获取二次细节层和基本层,并分别对其采用活动水平测度取大以及加权平均规则进行融合;再次,针对预测层定义ISR混合算子融合规则,并进行融合;最后,将融合后的预测层和细节层相加获取最终融合结果.实验中,采用3组具有代表性的红外与可见光图像进行算法测试,实验结果表明所提出的方法具有较好的主观视觉效果,并且客观评价指标更好,具有有效性.     

基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架.首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层.然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利...     

卷积稀疏与细节显著图解析的图像融合

目的 针对图像融合中信息量不够丰富和边缘细节模糊问题,结合多尺度分析、稀疏表示和显著性特征等图像表示方法,提出一种卷积稀疏与细节显著图解析的图像融合方法。方法 首先构造一种自适应样本集,训练出契合度更高的字典滤波器组。然后将待融合图像进行多尺度分析得到高低频子图,对低频子图进行卷积稀疏表示,通过权重分析构建一种加权融合规则,得到信息量更加丰富的低频子图;对高频子图构造细节显著图,进行相似性分析,建立一种高频融合规则,得到边缘细节更加凸显的高频子图。最后进行相应逆变换得到最终图像。结果 实验在随机挑选的3组灰度图像集和4组彩色图像集上进行,与具有代表性的7种融合方法进行效果对比。结果表明,本文方法的视觉效果明显较优,平均梯度上依次平均提高39.3%、32.1%、34.7%、28.3%、35.8%、28%、30.4%;在信息熵上依次平均提高6.2%、4.5%、1.9%、0.4%、1.5%、2.4%、2.9%;在空间频率上依次平均提高31.8%、25.8%、29.7%、22.2%、28.6%、22.9%、25.3%;在边缘强度上依次平均提高39.5%、32.1%、35.1%、28.8%、36.6%、28.7%、31.3%。结论 本文方法在一定程度上解决了信息量不足的问题,较好地解决了图像边缘细节模糊的问题,使图像中奇异性更加明显的内容被保留下来。     

基于卷积神经网络模型的医学图像融合

提出了一种新的基于卷积神经网络（CNN）和加权最小二乘法（WLS）的医学图像融合算法。算法主要步骤如下：利用滚动导向滤波（RGF）和高斯滤波（GF）构成的混合多尺度分解工具将源图像分解为基础层和一系列细节层,从而能够更好地保留尺度信息和边缘信息。基于卷积神经网络给出基础层融合规则,该规则能够更好地提取图像特征,使融合图像能够很好继承源图像结构信息、能量信息和强度信息。利用绝对值取大规则和加权最小二乘法优化策略,对细节层进行融合,使融合图像中包含更多的视觉细节信息和具有更高对比度。实验结果表明所提算法在视觉评价和客观评价方面与其他算法相比具有较好的优势,且在急性中风、致命性中风和脑膜瘤这三类疾病图像融合效果更为突出。     

Multi-focus Image Fusion Based on the Improved PCNN and Guided Filter

This paper proposes a novel multi-focus image fusion method based on pulse coupled neural networks (PCNN) and guided filter. PCNN matches human visual perception very well. And guided filter is an edge-preserving filter which is proposed in recent years. In our method, the fusion process consists of the following steps: firstly, the source images are preliminarily fused with the guided filter. Then the intermediate fused image is employed to motivate the improved PCNN to generate a fusion map. Finally, the source images are fused according to the fusion map. Six contrast methods are employed to evaluate the performance of the proposed approach in six groups of experiments. The experimental results show that the proposed method outperforms the most existing methods in both subjective visual effect and objective evaluation criteria.     

基于潜在低秩表示及导向滤波的红外与可见光图像融合方法

针对红外与可见光图像融合过程中出现的细节损失严重等问题,提出一种基于潜在低秩表示与导向滤波的红外与可见光图像融合方法.首先,采用潜在低秩表示方法将源图像分解为低秩图层和显著图层,为了更多地提取低秩图层中细节信息,采用导向滤波将低秩图层分解基础图层和细节图层;并针对基础图层、细节图层和显著图层的特性,分别采用视觉显著度加权法、梯度显著度加权法、绝对值最大选择法作为融合规则.特别地,为了解决初始权重具有噪声且不与物体边界对齐问题,采用导向滤波优化初始权重.最后,将基础融合图层、细节融合图层和显著融合图层经叠加运算得到融合图像.通过对比多组融合图像主、客观评价结果表明,该方法能有效挖掘源图像的细节信息,在视觉质量和客观评价方法优于其他图像融合方法.     

The multiscale directional bilateral filter and its application to multisensor image fusion

In this paper, a novel multiscale geometrical analysis called the multiscale directional bilateral filter (MDBF) which introduces the nonsubsampled directional filter bank into the multiscale bilateral filter is proposed. Through combining the characteristic of preserving edge of the bilateral filter with the ability of capturing directional information of the directional filter bank, the MDBF can better represent the intrinsic geometrical structure of images. The MDBF, which is a multiscale, multidirectional and shift-invariant image decomposition scheme, is used to fuse multisensor images in this paper. The source images are first decomposed into the directional detail subbands and the approximation subbands via the MDBF. Then, the directional detail subbands and the approximation subbands are fused according to the given fusion rule, respectively. Finally, the inverse MDBF is applied to the fused subbands to obtain the fused image. Experimental results over visible and infrared images and medical images demonstrate the superiority of our method compared with conventional methods in terms of visual inspection and objective measures.     

基于非下采样剪切波变换和特征合成的医学图像融合算法

针对融合后的医学图像时常存在细节纹理不够清晰的问题,本文提出一种新的基于非下采样剪切波变换（Non-Subsampled Shearlet Transform,NSST）的医学图像融合算法,对多模态医学影像进行融合,增强细节结构提取的能力,提高图像融合质量,为医疗诊断提供依据.首先,将已配准的源图像进行NSST分解,得到低频子带和一系列高频子带;其次,对于低频子带系数,提出利用局域平均能量与局域标准差的合成值进行子带之间选择的融合策略,有利于完整保存基础信息,对于高频子带系数,利用改进的拉普拉斯能量和（New Sum of Modified Laplacian,NSML）的方法进行融合;接着,将融合过后的低、高频子带进行NSST的逆过程变换,从而得到融合之后的图像;最后,在灰度和彩色医学多模态图像上进行大量的实验,并选择信息熵（IE）,空间频率（SF）,标准差（SD）和平均梯度（AG）对融合后的图像进行质量评价.仿真结果表明,本文算法在主观视觉效果以及客观评价指标上均取得较大改善.与其他算法相比,信息熵,标准差,空间频率和平均梯度的平均值分别提高了2.99%,4.06%,1.78%和1.37%,融合后的图像包含更丰富的细节纹理信息,视觉效果更好.     

基于双残差超密集网络的多模态医学图像融合

针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法。DRHDNs分为特征提取和特征融合两部分。特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合。特征融合部分则进行最终的融合。通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较。结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断。     

基于NSCT和卷积稀疏表示的红外与可见光图像融合

针对红外与可见光图像融合时出现的细节模糊、对比度降低等问题,论文提出了一种基于非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)和卷积稀疏表示(Convolutional Sparse Representation,CSR)的图像融合方法.首先,分别对红外图像和可见光图...