结合线性稀疏表示和图像抠图的多聚焦图像融合方法

针对现有的多聚焦图像融合方法对聚焦/散焦边界（FDB）信息捕捉不准确的问题,提出了一种新的基于线性稀疏表示和图像抠图的多聚焦图像融合方法。首先,引入一种基于线性稀疏表示的焦点测度,它利用自然图像形成的字典与输入图像在局部窗口上的线性关系,通过求解线性系数来表示图像的焦点信息。然后,利用焦点测度获取源图像的焦点图和一个由聚焦区域、散焦区域以及包含FDB的未知区域组成的三元图,并将三元图作为一个输入,采用图像抠图技术处理源图像的FDB区域,从而得到较精确的全聚焦图像。最后,为了进一步提高融合图像的质量,将得到的全聚焦图像作为新字典实现融合过程的迭代进行,在经过设定的更新次数后得到最终的全聚焦融合图像。实验结果表明,相比于11种最先进的多聚焦图像融合方法,该方法具有较好的融合性能和视觉效果,且有较高的计算效率。     

基于SML特征检测的RPCA域多聚焦图像融合

针对多聚焦图像融合中难以有效检测聚焦点的问题,提出了一种基于鲁棒主成分分析（RPCA）和区域检测的多聚焦图像融合方法。将RPCA理论运用到多聚焦图像融合中,把源图像分解为稀疏图像和低秩图像;对稀疏矩阵采用区域检测的方法得到源图像的聚焦判决图;对聚焦判决图进行三方向一致性和区域生长法处理得到最终决策图;根据最终决策图对源图像进行融合。实验结果表明,在主观评价方面,所提出的方法在对比度、纹理清晰度、亮度等几方面都有显著的提高;在客观评价方面,用标准差、平均梯度、空间频率和互信息四项评价指标说明了该方法的有效性。     

基于导向滤波和聚焦区域局部标准差的多聚焦图像融合

针对目前多聚焦图像融合存在着在融合图像边缘处容易出现伪影和光环等问题,提出了一种新的基于导向滤波和聚焦区域局部标准差的多聚焦图像融合方法。首先,设计了一种新的聚焦区域检测策略,它将导向滤波后的源图像与均值滤波后的源图像相减得到绝对差值图像,并以此作为高频信息而生成粗略聚焦图;粗略聚焦图进一步经过导向滤波增强其高频细节信息,从而得到对应源图像的聚焦区域。然后,根据聚焦区域的局部标准差,利用像素级最大化规则得到初始决策图。最后,通过小区域去除策略和导向滤波优化生成最终决策图,并据此利用像素加权平均规则得到融合后的图像。实验结果表明,论文提出的多聚焦图像融合方法在主观视觉效果和客观评价指标方面的综合性能都优于现有的典型融合方法,且其计算效率也较高。     

基于联合最佳基小波包的图像融合方法

基于联合最佳基小波包理论提出了一种新的图像融合方法。该方法首先将所有图像进行小波包分解,得到各自对应的四叉树,将各四叉树节点对应系数平方相加得到一个新的四叉树,利用此平方和四叉树搜索联合最佳基。将待融合图像基于联合最佳基分解,把分解系数加权处理得到融合系数,利用融合系数进行逆变换即得到融合图像。该方法对所有待融合图像的分解都是最佳分解,解决了先前最佳小波包融合方法只能最佳分解一方待融合图像的问题。将该方法与其他主要图像融合方法进行了比较分析,结果表明基于联合最佳小波包基的图像融合方法是非常有效的。     

基于区域锐度的多聚焦图像融合

为了获得同一场景内所有物体都清晰的图像,提出一种新的多聚焦图像融合算法。把待融合图像进行分块,构造融合块的清晰度评价函数（区域锐度）,根据其区域锐度值,判断融合块应取自哪幅源图像。采用投票选举的方法对融合图像进行一致性校验,对相邻但来自不同聚焦图像的融合块进行加权融合。实验结果证明,与基于小波分解的融合算法相比,该算法速度快、效果好。     

多视觉特征和引导滤波的鲁棒多聚焦图像融合

为建立一个有效的活跃度测量模型来检测多聚焦图像的聚焦区域,针对多数融合方法效率不高和处理源图像未配准问题的不足,提出一种基于多视觉特征和引导滤波的快速鲁棒多聚焦图像融合方法.首先通过分别测量对比度显著性、清晰度和结构显著性这3个互补的视觉特征对源图像聚焦区域进行检测,获得初始的融合决策图;为了充分利用空间一致性并有效抑制融合结果中伪影的产生,利用形态学滤波和引导滤波对初始决策图进行优化,从而获得最终的融合权重图;最后根据优化的权重图对源图像进行加权融合,获得融合图像.实验结果表明,无论是主观视觉效果还是客观定量评价,该方法均优于一些主流的多聚焦图像融合方法.     

一种自适应分块图像压缩算法的研究

自适应分块图像压缩是存四叉树分解图像压缩原理批础上研究设计的一种新的算法。将图像中像素值相同的相邻像素点尽可能划分到同一个图像块中,采用稀疏矩阵三元组存储方式对图像块参数进行存储,从而达到图像爪缩的目的。使用MATLAB对算法进行了仿真,成功地完成了图像压缩和重建,并在不同条件下,对图像压缩过程中的各个参数与四又树分解进行了分析比较。结果表明新方法分块自适应度高,提高了图像压缩比。     

基于嵌入式多尺度变换的多波段图像融合

针对序贯式融合方法常常会降低多波段图像间原有差异的问题,提出了基于嵌入式多尺度变换（embedded multi‐scale transform ,EM T ）和局部差异特征的多波段图像融合方法．利用支持度变换法（support value transform ,SVT）分别分解多波段图像;再采用四叉树（quad‐tree ,QT）法分解灰度值较分散的某波段图像的最后一层低频成分图像,以分解得到的块图像为标准分别分割其他波段的最后一层低频成分图像;采用可能性理论的析取融合规则对多波段低频块图像进行特征级融合;遍历所有块得到低频融合图像块;将拼接得到的低频融合图像与像素级逐层融合得到的支持度图像序列进行逆变换,获得最终融合图像．实验结果表明：四叉树分解融合有显著效果,与单纯的四叉树融合相比,嵌入式多尺度分解融合图像的边缘强度提高了13．31％,对比度提升了2．63％,熵提高了4．26 ％,运行时间下降了87．11％,证明了所提出方法的有效性．     

基于NSCT和分数阶微分的多聚焦图像融合方法

为了增加图像的细节信息,提出了一种基于NSCT和分数阶微分的多聚焦图像融合方法。首先采用NSCT将源图像分解为低频子带和高频子带,低频融合规则以基于局部对比度的变化显著度最大为决策图,高频融合规则以基于分数阶微分算法的梯度最大为决策图。最后通过逆NSCT得到融合图像。通过对比多组融合图像主、客观评价结果表明,该方法能有效保留边缘信息。     

基于双子代差分演化和自适应分块机制的多聚焦图像融合算法

基于分块的多聚焦图像融合算法是多聚焦图像融合领域中的一个重要算法。基于差分演化的多聚焦图像融合算法将图像分块大小作为差分演化算法的种群,通过多次演化,最后获得使融合图像效果最好的图像分块。为克服标准差分演化算法由于丢失父代种群的部分信息导致收敛速度变慢、全局搜索范围较小,以及当对应图像块的清晰度相等时该算法的处理方式会改变源图像的像素值的缺点,在原算法的基础上,引入双子代机制和自适应分块机制,提出一种基于双子代差分演化和自适应分块机制的多聚焦图像融合算法。在演化过程中生成两个子代种群,最大程度上保留父代种群的信息,扩大全局搜索范围,提高算法的收敛性能;利用自适应分块机制,当出现图像块清晰度相等的情况时,将图像块分解成更小的图像块,然后再进行清晰度的比较,使改进算法获得的融合图像比原算法获得的效果更好,而且不会改变源图像的像素值。实验结果表明,基于双子代差分演化和自适应分块机制的多聚焦图像融合算法可以获得比原算法效果更好的融合图像,而且收敛性能更好。     

基于引导滤波和差分图像的多聚焦图像融合方法

针对传统的多聚焦图像的空间域融合容易出现边缘模糊的问题,提出了一种基于引导滤波(GF)和差分图像的多聚焦图像融合方法.首先,将源图像进行不同水平的GF,并对滤波后图像进行差分,从而获得聚焦特征图像;随后,利用聚焦特征图像的梯度能量(EOG)信息获得初始决策图,对初始决策图进行空间一致性检查以及形态学操作以消除因EOG相...     

基于可协调经验小波变换的多聚焦图像融合

提出了可协调经验小波变换,并将其应用于多聚焦图像融合。经验小波变换（EWT）是一种自适应信号分解方法,具有比经验模态分解和传统小波分解更好的特性。其核心思想是通过构造自适应的滤波器实现对信号的自适应分解。但是若直接对两幅多聚焦图像分别进行EWT分解,因各自生成的经验小波互不相关,将出现分解所得对应子带不匹配的情况,影响融合图像的质量。针对这一问题,提出了一种可协调的经验小波变换（C-EWT）,C-EWT分解下的两个多聚焦图像的对应子带是完全匹配的。基于此,利用C-EWT提出了一种新的多聚焦图像融合算法。每幅源图像经过C-EWT分解后,得到一个低频分量和多个高频分量; 对低频分量采用基于改进Laplacian能量和的阈值匹配选择与加权规则进行融合,对高频分量则采用局部Log-Gabor能量取大的融合规则;将融合之后的各子带分量进行重构得到融合图像。仿真实验表明：与其他六种融合算法相比,所提算法在融合聚焦区域、保留边缘和细节信息方面具有优势,融合图像具有更好的视觉效果,且客观评价指标与标准图像最为接近。     

基于NSST域的自适应区域和SCM相结合的多聚焦图像融合

为了提高多聚焦图像的融合效果,结合多源图像之间的共享相似性,提出了一种基于非下采样Shearlet变换(Nonsubsampled Shearlet Transform,NSST)域的自适应区域与脉冲发放皮层模型(Spiking Cortical Model,SCM)结合的新型图像融合算法。首先用NSST分解源图像,然后计算边缘能量(Energy Of Edge,EOE),在自适应区域用投票加权法融合低频系数,高频系数由边缘能量作为输入的SCM点火图融合,最后通过逆NSST获得该融合图像。该算法既可以很好地保持源图像的信息,又可以抑制在变换域因非线性运算产生的像素失真。实验结果表明,该方法优于最新的变换域和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)融合方法。     

利用局部极值点特性的多聚焦图像快速融合

目的：多聚焦图像融合技术一个关键问题是如何准确地判断待融合图像的清晰度。本文提出了基于归一化结构极值点数目的清晰度判断准则。方法：本文基于图像的局部极值点特性,定义了归一化结构极值点数目这个指标作为清晰度判断准则,同时还给出了利用该准则和融合决策矩阵快速估计技术的多聚焦图像快速融合方法。结果：利用本文提出的清晰度判断准则和融合方法,实验表明上述问题得到了很好的解决。结论：本文提出了一个新的图像清晰度判断准则,该准则判断准确率高,且对脉冲噪声有好的鲁棒性。通过与传统融合方法对两组实验图像融合结果的主客观比较表明,该方法的融合速度和效果比现有多聚焦图像融合方法有明显提高。     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

MFF-GAN: An unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion

Multi-focus image fusion is an enhancement method to generate full-clear images, which can address the depth-of-field limitation in imaging of optical lenses. Most existing methods generate the decision map to realize multi-focus image fusion, which usually lead to detail loss due to misclassification, especially near the boundary line of the focused and defocused regions. To overcome this challenge, this paper presents a new generative adversarial network with adaptive and gradient joint constraints to fuse multi-focus images. In our model, an adaptive decision block is introduced to determine whether source pixels are focused or not based on the difference of repeated blur. Under its guidance, a specifically designed content loss can dynamically guide the optimization trend, that is, force the generator to produce a fused result of the same distribution as the focused source images. To further enhance the texture details, we establish an adversarial game so that the gradient map of the fused result approximates the joint gradient map constructed based on the source images. Our model is unsupervised without requiring ground-truth fused images for training. In addition, we release a new dataset containing 120 high-quality multi-focus image pairs for benchmark evaluation. Experimental results demonstrate the superiority of our method over the state-of-the-art in terms of both subjective visual effect and quantitative metrics. Moreover, our method is about one order of magnitude faster compared with the state-of-the-art.     

Multi-focus image fusion using dictionary-based sparse representation

Multi-focus image fusion has emerged as a major topic in image processing to generate all-focus images with increased depth-of-field from multi-focus photographs. Different approaches have been used in spatial or transform domain for this purpose. But most of them are subject to one or more of image fusion quality degradations such as blocking artifacts, ringing effects, artificial edges, halo artifacts, contrast decrease, sharpness reduction, and misalignment of decision map with object boundaries. In this paper we present a novel multi-focus image fusion method in spatial domain that utilizes a dictionary which is learned from local patches of source images. Sparse representation of relative sharpness measure over this trained dictionary are pooled together to get the corresponding pooled features. Correlation of the pooled features with sparse representations of input images produces a pixel level score for decision map of fusion. Final regularized decision map is obtained using Markov Random Field (MRF) optimization. We also gathered a new color multi-focus image dataset which has more variety than traditional multi-focus image sets. Experimental results demonstrate that our proposed method outperforms existing state-of-the-art methods, in terms of visual and quantitative evaluations.