多视觉特征和引导滤波的鲁棒多聚焦图像融合

为建立一个有效的活跃度测量模型来检测多聚焦图像的聚焦区域,针对多数融合方法效率不高和处理源图像未配准问题的不足,提出一种基于多视觉特征和引导滤波的快速鲁棒多聚焦图像融合方法.首先通过分别测量对比度显著性、清晰度和结构显著性这3个互补的视觉特征对源图像聚焦区域进行检测,获得初始的融合决策图;为了充分利用空间一致性并有效抑制融合结果中伪影的产生,利用形态学滤波和引导滤波对初始决策图进行优化,从而获得最终的融合权重图;最后根据优化的权重图对源图像进行加权融合,获得融合图像.实验结果表明,无论是主观视觉效果还是客观定量评价,该方法均优于一些主流的多聚焦图像融合方法.     

基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法

为了提高基于多尺度变换的多聚焦图像融合中聚焦区域的准确性,提出了一种基于非下采样Shearlet变换(NSST)与聚焦区域检测的多聚焦图像融合算法。首先,通过基于非下采样Shearlet变换的融合方法得到初始融合图像;其次,将初始融合图像与源多聚焦图像作比较,得到初始聚焦区域;接着,利用形态学开闭运算对初始聚焦区域进行修正;最后,在修正的聚焦区域上通过改进的脉冲耦合神经网络(IPCNN)获得融合图像。与经典的基于小波变换、Shearlet变换的融合方法以及当前流行的基于NSST和脉冲耦合神经网络(PCNN)的融合方法相比,所提算法在客观评价指标互信息(MI)、空间频率和转移的边缘信息上均有明显的提高。实验结果表明,所提出的算法能更准确地识别出源图像中的聚焦区域,能从源图像中提取出更多的清晰信息到融合图像。     

各向异性扩散与高斯差分模型的多聚焦图像融合方法

利用各向异性扩散模型具有良好的边缘保持特性,提出一种基于各向异性扩散滤波与高斯滤波差分规则的图像融合算法。各向异性扩散方程对图像进行滤波操作,在图像的同质区域实施正向扩散以平滑图像,而在图像边缘实行较弱平滑以保护边缘细节信息。将通过各向异性扩散模型处理的图像与经过高斯函数滤波的结果图像进行差分操作,可以得到图像的高频系数信息。为提高健壮性,对高频系数进行小窗口累加,其作为像素选择准则,再分别从原始图像中直接获取对应的像素值组成融合结果图像。实验结果表明,所提出的方法可以有效地融合源图像信息,非常适合多聚焦     

基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。     

改进径向基函数插值法的多聚焦图像滤波融合

由于受到拍摄设备、光学镜头景深以及噪声等不同因素的影响,多聚焦图像往往存在边缘弱化问题。为了使多聚焦图像更加清晰,提出基于改进径向基函数插值法的多聚焦图像滤波融合方法。通过能量函数计算图像边缘细节估计误差,建立空间同性误差准则,去除图像边缘噪声,实行滤波保护。利用径向基函数各层网络建立多聚焦图像抑噪模型,减少图像的噪声污染。通过非线性函数恢复像素,在图像空间坐标下分离图像纹理、清晰程度和图像局部特征,提取图像高频信息。利用径向基函数插值引导高频信息,在决策引导下实现图像滤波融合。经过实验证明,所提方法的多聚焦图像融合效果较好,减少了残余噪声,能够实现图像去噪和边缘特征保护,清晰度较高,图像结构性相似度高。     

基于冗余小波变换与引导滤波的多聚焦图像融合

针对传统多尺度变换在多聚焦图像融合中存在的边缘晕圈问题,提出了一种基于冗余小波变换与引导滤波的多聚焦图像融合算法。首先,利用冗余小波变换对图像进行多尺度分解,将源图像分解为一个相似平面和一系列小波平面,该多尺度分解能够有效地提取源图像中的细节信息;然后,对相似平面和小波平面分别采用引导滤波的加权融合规则来构造加权映射,从而得到相似平面和小波平面的加权融合系数;最后,进行冗余小波逆变换,即可得到融合结果图。实验结果表明,与传统融合算法相比,所提算法能够更好地体现图像边缘的细节特征,取得了较好的融合效果。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

基于NSCT和分数阶微分的多聚焦图像融合方法

为了增加图像的细节信息,提出了一种基于NSCT和分数阶微分的多聚焦图像融合方法。首先采用NSCT将源图像分解为低频子带和高频子带,低频融合规则以基于局部对比度的变化显著度最大为决策图,高频融合规则以基于分数阶微分算法的梯度最大为决策图。最后通过逆NSCT得到融合图像。通过对比多组融合图像主、客观评价结果表明,该方法能有效保留边缘信息。     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

基于SML特征检测的RPCA域多聚焦图像融合

针对多聚焦图像融合中难以有效检测聚焦点的问题,提出了一种基于鲁棒主成分分析（RPCA）和区域检测的多聚焦图像融合方法。将RPCA理论运用到多聚焦图像融合中,把源图像分解为稀疏图像和低秩图像;对稀疏矩阵采用区域检测的方法得到源图像的聚焦判决图;对聚焦判决图进行三方向一致性和区域生长法处理得到最终决策图;根据最终决策图对源图像进行融合。实验结果表明,在主观评价方面,所提出的方法在对比度、纹理清晰度、亮度等几方面都有显著的提高;在客观评价方面,用标准差、平均梯度、空间频率和互信息四项评价指标说明了该方法的有效性。     

Multi-focus image fusion with deep residual learning and focus property detection

Multi-focus image fusion methods can be mainly divided into two categories: transform domain methods and spatial domain methods. Recent emerged deep learning (DL)-based methods actually satisfy this taxonomy as well. In this paper, we propose a novel DL-based multi-focus image fusion method that can combine the complementary advantages of transform domain methods and spatial domain methods. Specifically, a residual architecture that includes a multi-scale feature extraction module and a dual-attention module is designed as the basic unit of a deep convolutional network, which is firstly used to obtain an initial fused image from the source images. Then, the trained network is further employed to extract features from the initial fused image and the source images for a similarity comparison, aiming to detect the focus property of each source pixel. The final fused image is obtained by selecting corresponding pixels from the source images and the initial fused image according to the focus property map. Experimental results show that the proposed method can effectively preserve the original focus information from the source images and prevent visual artifacts around the boundary regions, leading to more competitive qualitative and quantitative performance when compared with the state-of-the-art fusion methods.     

Multi-focus image fusion based on sparse decomposition and background detection

The goal of image fusion is to accurately and comprehensively describe complementary information of multiple source images in a new scene. Traditional fusion methods are easy to produce side-effects which cause artifacts and blurred edges. To solve these problems, a novel fusion algorithm based on robust principal component analysis (RPCA) and guided filter is proposed. The guided filter can preserve the edges effectively, which is often used to enhance the images without distort the details. Considering edges and flat area are treated differently by the guided filter, in this paper, sparse component of the source image is filtered by the guided filter to generate the enhanced image which contains the preserved edges and the enhanced background. And then the focused regions of the source images are detected by spatial frequency map of the difference images between the enhanced image and the corresponding source image. Finally, morphological algorithm is used to obtain precise fusion decision map. Experimental results show that the proposed method improves the fusion performance obviously which outperforms the current fusion methods.     

Multi-focus image fusion using dictionary-based sparse representation

Multi-focus image fusion has emerged as a major topic in image processing to generate all-focus images with increased depth-of-field from multi-focus photographs. Different approaches have been used in spatial or transform domain for this purpose. But most of them are subject to one or more of image fusion quality degradations such as blocking artifacts, ringing effects, artificial edges, halo artifacts, contrast decrease, sharpness reduction, and misalignment of decision map with object boundaries. In this paper we present a novel multi-focus image fusion method in spatial domain that utilizes a dictionary which is learned from local patches of source images. Sparse representation of relative sharpness measure over this trained dictionary are pooled together to get the corresponding pooled features. Correlation of the pooled features with sparse representations of input images produces a pixel level score for decision map of fusion. Final regularized decision map is obtained using Markov Random Field (MRF) optimization. We also gathered a new color multi-focus image dataset which has more variety than traditional multi-focus image sets. Experimental results demonstrate that our proposed method outperforms existing state-of-the-art methods, in terms of visual and quantitative evaluations.     

结合线性稀疏表示和图像抠图的多聚焦图像融合方法

针对现有的多聚焦图像融合方法对聚焦/散焦边界（FDB）信息捕捉不准确的问题,提出了一种新的基于线性稀疏表示和图像抠图的多聚焦图像融合方法。首先,引入一种基于线性稀疏表示的焦点测度,它利用自然图像形成的字典与输入图像在局部窗口上的线性关系,通过求解线性系数来表示图像的焦点信息。然后,利用焦点测度获取源图像的焦点图和一个由聚焦区域、散焦区域以及包含FDB的未知区域组成的三元图,并将三元图作为一个输入,采用图像抠图技术处理源图像的FDB区域,从而得到较精确的全聚焦图像。最后,为了进一步提高融合图像的质量,将得到的全聚焦图像作为新字典实现融合过程的迭代进行,在经过设定的更新次数后得到最终的全聚焦融合图像。实验结果表明,相比于11种最先进的多聚焦图像融合方法,该方法具有较好的融合性能和视觉效果,且有较高的计算效率。     

A scheme for edge-based multi-focus Color image fusion

In this paper, a novel region-based multi-focus color image fusion method is proposed, which employs the focused edges extracted from the source images to obtain a fused image with better focus. At first, the edges are obtained from the source images, using two suitable edge operators (Zero-cross and Canny). Then, a block-wise region comparison is performed to extract out the focused edges which have been morphologically dilated, followed by the selection of the largest component to remove isolated points. Any discontinuity in the detected edges is removed by consulting with the edge detection output from the Canny edge operator. The best reconstructed edge image is chosen, which is later converted into a focused region. Finally, the fused image is constructed by selecting pixels from the source images with the help of a prescribed color decision map. The proposed method has been implemented and tested on a set of real 2-D multi-focus image pairs (both gray-scale and color). The algorithm has a competitive performance with respect to the recent fusion methods in terms of subjective and objective evaluation.

     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

一种基于小波变换的多聚焦图像融合方法

提出了一种改进的基于小波变换的多聚焦图像融合方法。该方法采用小波变换对源图像进行多尺度分解,得到高频和低频图像;对高频分量采用基于邻域方差加权平均的方法得到高频融合系数,对低频分量采用基于局部区域梯度信息的方法得到低频融合系数;进行小波反变换得到融合图像。采用均方根误差、信息熵以及峰值信噪比等评价标准,将该方法与传统融合方法的融合效果进行了比较。实验结果表明,该方法所得融合图像的效果和质量均有明显提高。     

动静态联合滤波器在多聚焦图像融合中的应用

动静态联合滤波器具有良好的边缘平滑特性,对梯度反转和全局强度迁移等伪影具有很强的鲁棒性。为了保留源图像的结构信息,提出了基于动静态联合滤波器的多聚焦图像融合方法。首先采用动静态联合滤波器将源图像分解为结构分量和纹理分量,以视觉显著度加权法对结构分量进行融合,综合相位一致性和清晰度信息对纹理分量进行融合;将两分量叠加获得初始融合图像,并通过计算源图像与初始融合图像间的结构相似度作为决策矩阵,获得最终的融合图像。通过对比多组融合图像主、客观评价结果发现,该方法能有效保留边缘信息。