基于卷积神经网络与视觉显著性的图像融合

传统的红外与可见光图像融合方法,多数需要手动提取特征且特征提取单一。而深度学习可以自动选择图像特征,改善特征提取的单一性,因此提出一种基于卷积神经网络与视觉显著性的红外和可见光图像融合方法。利用卷积神经网络获得红外目标与背景的二分类图;利用条件随机场对分类图进行精分割得到显著性目标提取图;采用非下采样轮廓波变换并结合目标提取图,得到融合图像。实验结果表明,该方法在主观视觉和客观评价方面均优于传统非智能方法,并且5个客观评价指标(边缘信息保留量,结构相似度,互信息,信息熵和标准差)均有显著提高。     

基于GhostNet的端到端红外和可见光图像融合方法

现有的基于深度学习的红外和可见光图像融合方法大多基于人工设计的融合策略,难以为复杂的源图像设计一个合适的融合策略.针对上述问题,文中提出基于GhostNet的端到端红外和可见光图像融合方法.在网络结构中使用Ghost模块代替卷积层,形成一个轻量级模型.损失函数的约束使网络学习到适应融合任务的图像特征,从而在特征提取的同时完成融合任务.此外,在损失函数中引入感知损失,将图像的深层语义信息应用到融合过程中.源图像通过级联输入深度网络,在经过带有稠密连接的编码器提取图像特征后,通过解码器的重构得到融合结果.实验表明,文中方法在主观对比和客观图像质量评价上都有较好表现.     

基于结构重参数化的红外与可见光图像融合

红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息,然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题.对此,提出一种基于结构重参数化的红外与可见光图像融合算法.首先,通过带权重共享的双分支残差连接型网络分别对两种源图像进行特征提取,分别得到的特征级联后图像重建;然后,用结构相似性损失与双边滤波去噪的内容损失联合指导网络的训练;最后,在训练完成后进行结构重参数化将训练网络优化成直连型网络.在多个公共数据集上与7种领先的深度学习融合算法进行了定性与定量的实验对比,所提出的融合算法在更低的资源耗费下能够实现多个评价指标的提升,融合结果具有更丰富的场景信息、更强的对比度以及更符合人眼的视觉效果.     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法...     

基于内生长机制和卷积稀疏表示的红外与可见光图像融合

为了提升红外与可见光图像融合视觉效果,克服融合结果的伪影效应,提出一种基于内生长机制结合卷积稀疏表示的图像融合方法.首先,采用符合人类大脑推理的内生长机制对源图像进行分解,获取预测层和细节层;其次,对细节层采用卷积稀疏表示进行二次分解,获取二次细节层和基本层,并分别对其采用活动水平测度取大以及加权平均规则进行融合;再次,针对预测层定义ISR混合算子融合规则,并进行融合;最后,将融合后的预测层和细节层相加获取最终融合结果.实验中,采用3组具有代表性的红外与可见光图像进行算法测试,实验结果表明所提出的方法具有较好的主观视觉效果,并且客观评价指标更好,具有有效性.     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于潜在低秩表示及导向滤波的红外与可见光图像融合方法

针对红外与可见光图像融合过程中出现的细节损失严重等问题,提出一种基于潜在低秩表示与导向滤波的红外与可见光图像融合方法.首先,采用潜在低秩表示方法将源图像分解为低秩图层和显著图层,为了更多地提取低秩图层中细节信息,采用导向滤波将低秩图层分解基础图层和细节图层;并针对基础图层、细节图层和显著图层的特性,分别采用视觉显著度加权法、梯度显著度加权法、绝对值最大选择法作为融合规则.特别地,为了解决初始权重具有噪声且不与物体边界对齐问题,采用导向滤波优化初始权重.最后,将基础融合图层、细节融合图层和显著融合图层经叠加运算得到融合图像.通过对比多组融合图像主、客观评价结果表明,该方法能有效挖掘源图像的细节信息,在视觉质量和客观评价方法优于其他图像融合方法.     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

Self-supervised feature adaption for infrared and visible image fusion

Benefitting from the strong feature extraction capability of deep learning, infrared and visible image fusion has made a great progress. Since infrared and visible images are obtained by different sensors with different imaging mechanisms, there exists domain discrepancy, which becomes stumbling block for effective fusion. In this paper, we propose a novel self-supervised feature adaption framework for infrared and visible image fusion. We implement a self-supervised strategy that facilitates the backbone network to extract features with adaption while retaining the vital information by reconstructing the source images. Specifically, we preliminary adopt an encoder network to extract features with adaption. Then, two decoders with attention mechanism blocks are utilized to reconstruct the source images in a self-supervised way, forcing the adapted features to contain vital information of the source images. Further, considering the case that source images contain low-quality information, we design a novel infrared and visible image fusion and enhancement model, improving the fusion method’s robustness. Experiments are constructed to evaluate the proposed method qualitatively and quantitatively, which show that the proposed method achieves the state-of-art performance comparing with existing infrared and visible image fusion methods. Results are available at https://github.com/zhoafan/SFA-Fuse.     

结合结构重参数化方法与空间注意力机制的图像融合模型

针对深度学习在红外与可见光图像融合时无法同时满足运算效率和融合效果的问题,提出了一种无监督端到端的红外与可见光图像融合模型。该模型的图像特征提取模块采用结构重参数化方法,有效提升了算法的运行效率;同时引入了注意力机制,减小了冗余信息对融合结果的干扰;损失函数基于结构相似度设计。对比实验结果表明,该模型保证了融合效果并提升了运行速度,相比于不使用结构重参数化的方法,运行速度提升了34%。     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

Multi-focus image fusion with deep residual learning and focus property detection

Multi-focus image fusion methods can be mainly divided into two categories: transform domain methods and spatial domain methods. Recent emerged deep learning (DL)-based methods actually satisfy this taxonomy as well. In this paper, we propose a novel DL-based multi-focus image fusion method that can combine the complementary advantages of transform domain methods and spatial domain methods. Specifically, a residual architecture that includes a multi-scale feature extraction module and a dual-attention module is designed as the basic unit of a deep convolutional network, which is firstly used to obtain an initial fused image from the source images. Then, the trained network is further employed to extract features from the initial fused image and the source images for a similarity comparison, aiming to detect the focus property of each source pixel. The final fused image is obtained by selecting corresponding pixels from the source images and the initial fused image according to the focus property map. Experimental results show that the proposed method can effectively preserve the original focus information from the source images and prevent visual artifacts around the boundary regions, leading to more competitive qualitative and quantitative performance when compared with the state-of-the-art fusion methods.     

基于NSCT和卷积稀疏表示的红外与可见光图像融合

针对红外与可见光图像融合时出现的细节模糊、对比度降低等问题,论文提出了一种基于非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)和卷积稀疏表示(Convolutional Sparse Representation,CSR)的图像融合方法.首先,分别对红外图像和可见光图...