基于视觉特性的多聚焦图像融合新算法

提出了一种基于视觉特性的快速、高精度的多聚焦图像融合新算法。根据多聚焦图像的特点,采用基于视觉对比度的快速间隔块扫描算法对聚焦离焦区域在整幅图像内进行粗定位,然后在粗定位的基础上通过基于块视觉对比度的比对进行聚焦离焦区域的精确定位,并且将图像划分为3个部分:聚焦区、离焦区与边界。取两幅图像各自的聚焦区,而后将两幅图像离焦与聚焦的边界区域加权融合即得融合图像。实验结果证明,该算法与基于小波分解的融合算法和基于视觉的块分解融合算法相比不仅速度快而且效果好。     

采用渐进像素提取和形态学检测的多聚焦图像融合

针对某些源图像中局部配准不理想区域易产生人工副效应、块效应或错误提取的问题,经分析配准不理想区域对现有方法的制约,提出了一种融合方法.首先以源图像中清晰的边缘、轮廓为提取依据,以像素点为中心的邻域内高频系数绝对值和为提取条件,采用邻域由小到大渐进增长的策略对清晰像素点进行提取,较好地解决了精确提取与完全提取之间的矛盾;...     

基于PCA与小波变换的彩色图像融合算法

针对多聚焦彩色图像融合问题,提出了一种基于PCA与小波变换的多聚焦图像融合算法.首先,利用主元分析和离散小波框架变换算法,将图像分为清晰块与模糊块;然后对于清晰块,直接选取该块作为融合后的相应块区域;对于模糊块,则建立了基于点特征值的像素选取方法,分别从两幅待融合图像中选取特征值较大的点作为融合结果的像素点,从而得到最终的融合结果图.实验结果表明,所提出的方法能够较好地解决彩色多聚焦彩色图像融合问题,融合效果较为理想.     

基于图像块能量梯度的多聚焦图像融合

针对多聚焦图像,提出一种基于图像分块的融合方法。将源图像分为大小相同数量相等的子块,采用能量梯度算子作为对焦评价函数,计算各个图像子块能量梯度匹配度,设置匹配度阈值分离出源图像中的清晰区域。源图像中的清晰区域直接作为融合图像相应的区域,其它区域的处理中,构造与相应子块能量梯度大小相关的图像序列,以及像素点到各个子块中心距离相关的融合函数,然后用融合函数对图像序列融合。实验结果表明该方法有效性和合理性。     

小波变换和清晰块搜索结合的图像融合算法

在基于小波变换的多聚焦图像融合中,低频系数选取决定融合图像的轮廓,同时影响融合图像的边缘细节,因此小波变换法是以损失图像的局部清晰来换取整幅图像的平均清晰;而基于空域块选择的融合方法能很好地保留利用聚焦图像的清晰部分,但是图像模糊区域效果不佳。因此提出一种新的融合算法,先对图像进行小波变换融合,之后对原图像进行清晰块搜索,进行基于清晰块选择的图像融合。实验结果表明,该算法融合结果优于单一的小波变换算法。     

基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法

为了提高基于多尺度变换的多聚焦图像融合中聚焦区域的准确性,提出了一种基于非下采样Shearlet变换(NSST)与聚焦区域检测的多聚焦图像融合算法。首先,通过基于非下采样Shearlet变换的融合方法得到初始融合图像;其次,将初始融合图像与源多聚焦图像作比较,得到初始聚焦区域;接着,利用形态学开闭运算对初始聚焦区域进行修正;最后,在修正的聚焦区域上通过改进的脉冲耦合神经网络(IPCNN)获得融合图像。与经典的基于小波变换、Shearlet变换的融合方法以及当前流行的基于NSST和脉冲耦合神经网络(PCNN)的融合方法相比,所提算法在客观评价指标互信息(MI)、空间频率和转移的边缘信息上均有明显的提高。实验结果表明,所提出的算法能更准确地识别出源图像中的聚焦区域,能从源图像中提取出更多的清晰信息到融合图像。     

基于相对清晰度的多焦距图像融合算法

针对现有图像域融合算法难以合理度量区域清晰度,导致融合结果出现"振铃"现象的问题,提出一种基于图像区域相对清晰度的多焦距图像融合算法.该算法定义了图像区域的相对清晰度判定指标,并根据多焦距图像像素邻域的相对清晰度来逐个选取聚焦清晰的像素点从而构成融合图像.实验表明,所提算法能取得优于其它算法的融合效果;特别是,它能较好保留源图像包含的细节信息,从而显著减弱融合结果中的"振铃"现象.     

基于区域锐度的多聚焦图像融合

为了获得同一场景内所有物体都清晰的图像,提出一种新的多聚焦图像融合算法。把待融合图像进行分块,构造融合块的清晰度评价函数（区域锐度）,根据其区域锐度值,判断融合块应取自哪幅源图像。采用投票选举的方法对融合图像进行一致性校验,对相邻但来自不同聚焦图像的融合块进行加权融合。实验结果证明,与基于小波分解的融合算法相比,该算法速度快、效果好。     

基于模糊相似度融合的图像复原算法

传统的图像复原技术主要是通过单一的方法对图像进行复原,而图像融合技术主要集中于对多聚焦图像融合和多源图像融合.文中从图像融合的基本思路出发,基于局部特征信息的模糊相似度的融合策略将多幅复原图像进行融合,提出基于模糊相似度融合的图像复原算法.首先依据区域特征(方差、梯度和均值)确定模糊相似度,然后将具有一定相似性的复原图像进行基于像素点加权平均,权系数由该像素点处的区域特征确定,最后获得融合图像;对不具有一定相似性的复原图像按照“最大值选取”原则,依据“区域特征较明显者提取像素点”来获得融合图像.实验结果表明,该算法复杂度小,融合后复原图像改善的信噪比比融合前提高了0.1～1 dB;同时,比经典算法的效果有明显改善.     

基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。     

PCA分块结合高通滤波的多聚焦图像融合研究

针对传统像素级图像融合方法割裂像素间联系的问题,提出了一种新的基于区域检测的图像融合方法。该算法主要利用PCA与高通瘛波进行区域的检测。首先,将图像分块;其次,对每块利用高通滤波和主分量分析算法判断其是清晰块还是模糊块。最后选择相应的清晰块重构图像,从而得到最终的融合结果图。实验结果表明,此方法优于传统的PCA和小波方法。     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

Multi-scale convolutional neural network for multi-focus image fusion

In this study, we present new deep learning (DL) method for fusing multi-focus images. Current multi-focus image fusion (MFIF) approaches based on DL methods mainly treat MFIF as a classification task. These methods use a convolutional neural network (CNN) as a classifier to identify pixels as focused or defocused pixels. However, due to unavailability of labeled data to train networks, existing DL-based supervised models for MFIF add Gaussian blur in focused images to produce training data. DL-based unsupervised models are also too simple and only applicable to perform fusion tasks other than MFIF. To address the above issues, we proposed a new MFIF method, which aims to learn feature extraction, fusion and reconstruction components together to produce a complete unsupervised end-to-end trainable deep CNN. To enhance the feature extraction capability of CNN, we introduce a Siamese multi-scale feature extraction module to achieve a promising performance. In our proposed network we applied multiscale convolutions along with skip connections to extract more useful common features from a multi-focus image pair. Instead of using basic loss functions to train the CNN, our model utilizes structure similarity (SSIM) measure as a training loss function. Moreover, the fused images are reconstructed in a multiscale manner to guarantee more accurate restoration of images. Our proposed model can process images with variable size during testing and validation. Experimental results on various test images validate that our proposed method yields better quality fused images that are superior to the fused images generated by compared state-of-the-art image fusion methods.     

改进的多聚焦图像融合方法研究

主要论述了图像融合的基本知识,对多聚焦图像传统的基于空间频率的融合算法进行了改进。分别计算多聚集图像对应位置上每个像素所在窗口的空间频率,然后根据空间频率的大小对该位置像素进行处理,最后生成同一场景中所有物体都清晰的融合结果图像。通过仿真实验验证了算法的有效性,结果表明,该算法在多聚焦图像融合上要优于传统算法。     

Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure

Multi-focus image fusion aims to extract the focused regions from multiple partially focused images of the same scene and then combine them together to produce a completely focused image. Detecting the focused regions from multiple images is key for multi-focus image fusion. In this paper, we propose a novel boundary finding based multi-focus image fusion algorithm, in which the task of detecting the focused regions is treated as finding the boundaries between the focused and defocused regions from the source images. According to the found boundaries, the source images could be naturally separated into regions with the same focus conditions, i.e., each region is fully focused or defocused. Then, the focused regions can be found out by selecting the regions with greater focus-measures from each pair of regions. To improve the precision of boundary detection and focused region detection, we also present a multi-scale morphological focus-measure, effectiveness of which has been verified by using some quantitative evaluations. Different from the general multi-focus image fusion algorithms, our algorithm fuses the boundary regions and non-boundary regions of the source images respectively, which helps produce a fusion image with good visual quality. Moreover, the experimental results validate that the proposed algorithm outperforms some state-of-the-art image fusion algorithms in both qualitative and quantitative evaluations.     

一种基于小波方向对比度的多聚焦图像融合方法

人类视觉系统对于图像的局部对比度非常敏感,如果把小波变换和方向对比度结合起来,融合效果可能更好。在研究了方向对比度后提出了一种新的基于小波方向对比度的多聚焦图像融合方法。首先对参加融合的两幅图像进行小波多尺度分解,然后在每幅图像的每个分解层上,分别计算高频子带每个像素的邻域均值和低频子带的邻域均值之比,其中该分解层的低频子带是由上个分解层的低频子带和高频子带求2维离散小波逆变换得到,采用两者之比较大者所对应的高频子带系数作为融合后对应的小波系数,然后从最高分解层到最低分解层依次对得到的高频小波系数和该分解层的低频小波系数求2维离散小波逆变换,最终得到融合后的图像。这种方法考虑了邻域内像素的相关性,减少了融合像素的错误选取。实验结果表明,该方法的融合效果比针对每个像素求小波方向对比度的多聚焦图像融合方法的融合效果得到提高。     

多聚焦图像融合算法

多聚焦图像融合,是将两幅(或多幅)对同一场景的各个目标,聚焦不同的图像融合成一幅清晰的新图像.在多聚焦图像融合中,典型的群智能算法图像融合方法取得了较好的效果,如遗传算法、粒子群算法等.目前,对群智能算法的优化改进,加快图像的融合速度是一个主要的研究方向.     

基于遗传算法和形态学运算的多焦点图像融合

目前大多数图像融合算法将每个像素都独立对待,使像素之间关系割裂开来。本文提出了一种基于形态学算法和遗传算法的多焦点图像融合方法,此种方法有效地结合了像素级融合方法和特征级融合方法。其基本思想是先检测出原始图像中清晰聚焦的区域,再将这些区域提取出来,组成各部分都清晰聚焦的结果图像。实验结果证明,此方法优于Haar小波融合方法和形态学小波融合方法。特别是在原始图像没有完全配准的情况下,此种方法更为有效。     

基于局部Gabor能量的多聚焦图像融合*

利用全局搜索策略,设计适用于图像融合的最佳Gabor滤波器组,并提出了一种基于局部Gabor能量的多聚焦图像融合方法：通过利用最佳Gabor滤波器组对局部图像进行滤波,从而提取出该局部图像的Gabor能量,比较对应局部图像的Gabor能量,以挑选出其中清晰的像素并进行一致性检验,重构图像。本方法真正保留了原始的清晰图像,实现了高精度融合。通过实验,证明了该方法对于多聚焦图像的融合具有很好的效果,明显提高了运行效率。