Multi-focus image fusion using dictionary-based sparse representation

Multi-focus image fusion has emerged as a major topic in image processing to generate all-focus images with increased depth-of-field from multi-focus photographs. Different approaches have been used in spatial or transform domain for this purpose. But most of them are subject to one or more of image fusion quality degradations such as blocking artifacts, ringing effects, artificial edges, halo artifacts, contrast decrease, sharpness reduction, and misalignment of decision map with object boundaries. In this paper we present a novel multi-focus image fusion method in spatial domain that utilizes a dictionary which is learned from local patches of source images. Sparse representation of relative sharpness measure over this trained dictionary are pooled together to get the corresponding pooled features. Correlation of the pooled features with sparse representations of input images produces a pixel level score for decision map of fusion. Final regularized decision map is obtained using Markov Random Field (MRF) optimization. We also gathered a new color multi-focus image dataset which has more variety than traditional multi-focus image sets. Experimental results demonstrate that our proposed method outperforms existing state-of-the-art methods, in terms of visual and quantitative evaluations.     

Multi-focus image fusion based on sparse decomposition and background detection

The goal of image fusion is to accurately and comprehensively describe complementary information of multiple source images in a new scene. Traditional fusion methods are easy to produce side-effects which cause artifacts and blurred edges. To solve these problems, a novel fusion algorithm based on robust principal component analysis (RPCA) and guided filter is proposed. The guided filter can preserve the edges effectively, which is often used to enhance the images without distort the details. Considering edges and flat area are treated differently by the guided filter, in this paper, sparse component of the source image is filtered by the guided filter to generate the enhanced image which contains the preserved edges and the enhanced background. And then the focused regions of the source images are detected by spatial frequency map of the difference images between the enhanced image and the corresponding source image. Finally, morphological algorithm is used to obtain precise fusion decision map. Experimental results show that the proposed method improves the fusion performance obviously which outperforms the current fusion methods.     

利用局部极值点特性的多聚焦图像快速融合

目的：多聚焦图像融合技术一个关键问题是如何准确地判断待融合图像的清晰度。本文提出了基于归一化结构极值点数目的清晰度判断准则。方法：本文基于图像的局部极值点特性,定义了归一化结构极值点数目这个指标作为清晰度判断准则,同时还给出了利用该准则和融合决策矩阵快速估计技术的多聚焦图像快速融合方法。结果：利用本文提出的清晰度判断准则和融合方法,实验表明上述问题得到了很好的解决。结论：本文提出了一个新的图像清晰度判断准则,该准则判断准确率高,且对脉冲噪声有好的鲁棒性。通过与传统融合方法对两组实验图像融合结果的主客观比较表明,该方法的融合速度和效果比现有多聚焦图像融合方法有明显提高。     

结合小波变换和自适应分块的多聚焦图像快速融合

提出一种基于小波变换和自适应分块相结合的多聚焦图像快速融合算法。该算法以小波变换为框架,对小波低频系数采用自适应尺寸分块的方法进行融合,图像块的尺寸由差分进化算法优化求解,然后对此低频融合结果进行精细化处理,得到一幅能精确到每个系数来源的标签图,再利用局部小波能量与该标签图相结合的方法对小波高频系数进行融合,最后重构得到融合结果。实验表明,该算法的融合结果在主观视觉效果和客观评价准则两方面均可以接近甚至达到图像融合领域的最好水平,且在提高融合质量和降低运算代价间取得较好的折衷。     

Multi-focus image fusion: Transformer and shallow feature attention matters

The depth of field (DOF) of camera equipment is generally limited, so it is very difficult to get a fully focused image with all the objects clear after taking only one shot. A way to obtain a fully focused image is to use a multi-focus image fusion method, which fuses multiple images with different focusing depths into one image. However, most of the existing methods focus too much on the fusion accuracy of a single pixel, ignoring the integrity of the target and the importance of shallow features, resulting in internal errors and boundary artifacts, which need to be repaired after a long time of post-processing. In order to solve these problems, we propose a cascade network based on Transformer and attention mechanism, which can directly obtain the decision map and fusion result of focusing/defocusing region through end-to-end processing of source image, avoiding complex post-processing. For improving the fusion accuracy, this paper introduces the joint loss function, which can optimize the network parameters from three aspects. Furthermore, In order to enrich the shallow features of the network, a global attention module with shallow features is designed. Extensive experiments were conducted, including a large number of ablation experiments, 6 objective measures and a variety of subjective visual comparisons. Compared with 9 state-of-the-art methods, the results show that the proposed network structure can improve the quality of multi-focus fusion images and the performance is optimal.     

自适应字典学习的多聚焦图像融合

基于人类视觉系统及信号的过完备稀疏表示理论,提出一种新的多聚焦图像融合算法。首先从待融合图像中随机取块构成训练样本集,经迭代运算获取过完备字典;然后由正交匹配追踪算法完成图像块的稀疏分解;再按分解系数的显著性选择融合系数并完成图像块的重构;重构块经重新排列并取平均后获得最后的融合图像。实验结果表明:该算法继承了目前较为优秀的多尺度几何分析方法的融合效果;在噪声存在的情况下,该算法表现出较好的噪声抑制能力,随噪声方差的升高,融合图像的主观质量及客观评价指标均要好于传统方法。     

RXDNFuse: A aggregated residual dense network for infrared and visible image fusion

This study proposes a novel unsupervised network for IR/VIS fusion task, termed as RXDNFuse, which is based on the aggregated residual dense network. In contrast to conventional fusion networks, RXDNFuse is designed as an end-to-end model that combines the structural advantages of ResNeXt and DenseNet. Hence, it overcomes the limitations of the manual and complicated design of activity-level measurement and fusion rules. Our method establishes the image fusion problem into the structure and intensity proportional maintenance problem of the IR/VIS images. Using comprehensive feature extraction and combination, RXDNFuse automatically estimates the information preservation degrees of corresponding source images, and extracts hierarchical features to achieve effective fusion. Moreover, we design two loss function strategies to optimize the similarity constraint and the network parameter training, thus further improving the quality of detailed information. We also generalize RXDNFuse to fuse images with different resolutions and RGB scale images. Extensive qualitative and quantitative evaluations reveal that our results can effectively preserve the abundant textural details and the highlighted thermal radiation information. In particular, our results form a comprehensive representation of scene information, which is more in line with the human visual perception system.     

基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法

为了提高基于多尺度变换的多聚焦图像融合中聚焦区域的准确性,提出了一种基于非下采样Shearlet变换(NSST)与聚焦区域检测的多聚焦图像融合算法。首先,通过基于非下采样Shearlet变换的融合方法得到初始融合图像;其次,将初始融合图像与源多聚焦图像作比较,得到初始聚焦区域;接着,利用形态学开闭运算对初始聚焦区域进行修正;最后,在修正的聚焦区域上通过改进的脉冲耦合神经网络(IPCNN)获得融合图像。与经典的基于小波变换、Shearlet变换的融合方法以及当前流行的基于NSST和脉冲耦合神经网络(PCNN)的融合方法相比,所提算法在客观评价指标互信息(MI)、空间频率和转移的边缘信息上均有明显的提高。实验结果表明,所提出的算法能更准确地识别出源图像中的聚焦区域,能从源图像中提取出更多的清晰信息到融合图像。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

多聚焦图像融合的Contourlet变换方法

Contourlet变换（Contourlet Transform,CT）是一种新的多尺度变换,具有良好的多尺度性和多方向性。提出了一种基于Contourlet变换的多聚焦图像融合算法,同时引入Cycle Spinning来有效地消除由于Contourlet变换缺乏平移不变性而产生的图像失真。实验结果表明该算法可获得较理想的融合图像,取得了优于laplacian塔型方法和小波变换方法的融合效果。     

焦点区域的检测实现多聚焦图像融合

针对传统像素级图像融合方法割裂像素间联系的问题,提出一种基于区域检测的图像融合方法。首先,通过像素点在其邻域内的方差来区分是清晰点还是模糊点,其次,以当前像素为中心的浮动窗口统计相应窗口区域的清晰点数,消除清晰点数少的中心像素,以同样的方式统计局部窗口区域的清晰点数,清晰点数多的中心像素点设置成清晰点,由此得到清晰区域,最后,通过检测出的区域结果进行图像融合。实验结果表明提出的方法是有效的。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

基于图像分解和稀疏表示的多聚焦图像融合

针对多聚焦图像融合中缺乏细节保护和结构不连续的不足,提出了一种基于图像分解的多聚焦图像融合算法.首先,源图像采用卡通纹理图像分解得到卡通部分和纹理部分;其次,卡通部分采用卷积稀疏表示的方法进行融合,纹理部分采用字典学习进行融合;最后,将卡通和纹理部分融合得到融合图像.实验建立在标准的融合数据集中,并与传统和最近的融合方法进行比较.实验结果证明,该算法所获得的融合结果在方差和信息熵上具有更好的表现,该算法能够有效克服多聚焦图像融合中缺乏细节保护和结构不连续的缺点,同时有更好的视觉效果.     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

深度学习时代图像融合技术进展

为提升真实场景视觉信号的采集质量,往往需要通过多种融合方式获取相应的图像,例如,多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性,图像融合技术旨在利用同一场景不同视觉信号的优势,生成单图像信息描述,提升视觉低、中、高级任务的性能。目前,依托端对端学习强大的特征提取、表征及重构能力,深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比,基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入,一些新颖的理论和方法也促进了图像融合技术的发展,如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展,本文首先介绍了图像融合问题建模,并从传统方法视角逐渐向深度学习视角过渡。具体地,从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外,还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后,根据现有技术的缺陷,提出目前图像融合技术存在的挑战,并对未来发展趋势给出了展望。     

基于区域分割和非下采样Contourlet变换的多聚焦图像融合算法

针对基于神经网络分割算法计算复杂、运算量大等问题,提出一种根据单焦距图像聚焦区域和失焦区域局部相对清晰度的不同进行区域分割的多聚焦图像融合算法。该算法有效结合了非下采样Contourlet变换(NSCT)在图像分解中的多尺度、方向性、各向异性和平移不变性等特点,利用各方向高频分量的聚类来对低频分量进行分割、融合。实验表明该算法是一种有效的多聚焦图像融合方法。     

基于深度学习的图像边缘检测算法综述

边缘检测是将图像中的突变的重要信息提取出来的过程，是计算机视觉领域研究热点，也是图像分割、目标检测与识别等多种中高层视觉任务的基础。近几年来，针对边缘轮廓线过粗以及检测精度不高等问题，业内提出了谱聚类、多尺度融合、跨层融合等基于深度学习的边缘检测算法。为了使更多研究者了解边缘检测的研究现状，首先，介绍了传统边缘检测的实现理论及方法；然后，总结了近年来基于深度学习的主要边缘检测方法，并依据实现技术对这些方法进行了分类，对其涉及的关键技术进行分析，发现对多尺度多层次融合与损失函数的选择是重要的研究方向。通过评价指标对各类方法进行了比较，可知边缘检测算法在伯克利大学数据集（BSDS500）上的最优数据集规模（ODS）经过多年研究从0.598提高到了0.828，接近人类视觉水平。最后，展示了边缘检测算法研究的发展方向。     

一种新的结合SVM和FNN的多聚焦图像融合算法

针对基于分块的图像融合中分块裂痕和实际融合特征的不确定等问题,提出一种结合支持向量机(SVM)和模糊神经网络(FNN)的多聚焦图像融合新方法。首先,通过模糊C均值聚类(FCM)和SVM获得FNN的网络参数,利用构建的模糊神经网络,将分割的图像块分成清晰区域、模糊区域和过渡区域三类;然后用模糊神经网络的反模糊化输出作为权值因子对三类区域进行加权融合,输出融合的多聚焦图像。最后,通过均方根误差、平均绝对误差和峰值信噪比等指标对多种融合算法进行融合质量评价。实验结果表明,提出的融合算法鲁棒性和计算性能较好,基本满足实际图像融合的需求,且融合质量评价也表明本文方法优于现有的融合算法。