基于加权Chebyshev距离的融合图像评价指标

针对目前单因素评价指标的局限性和评价结果的不一致性,从模糊集理论出发,提出了一种基于加权Chebyshev距离的图像评价方法.该方法将两幅图像映射到两个模糊集中,通过隶属度和权重的选择来确定模糊集的Chebyshev距离,该距离值可以综合反映融合图像性能的优劣.仿真实验表明该评价指标与多数单因素评价指标一致,对极少数差异较大的像素点不敏感,并且与目视效果有很好的一致性.     

基于模糊积分的融合图像评价方法

针对多光谱、高分辨图像融合的评价问题,提出了一种利用模糊积分进行综合评价的研究方法。该评价方法定义了反映融合图像与多光谱图像和高分辨图像之间相关程度的单因素评价指标,利用模糊积分定义了相应的综合评价指标。理论分析和实验结果表明,文中提出的评价方法可以用于多光谱、高分辨图像的融合图像评价问题,其评价更符合人的主观评价特点。     

基于EI优化权值的多聚焦图像融合方法

针对图像融合空间域方法中权值确定的问题,提出了一种基于图像融合客观评价准则中的边缘信息E(IEdge Information)的优化权值方法,通过寻找最优权值使得融合图像的EI最大,从而获得最好的融合效果。该方法采用适应度函数为EI的遗传算法实现,并且结合分块加权融合方法融合多聚焦图像,得到最优融合结果。实验结果表明,该方法有良好的融合效果且优于传统的融合方法。     

基于SML特征检测的RPCA域多聚焦图像融合

针对多聚焦图像融合中难以有效检测聚焦点的问题,提出了一种基于鲁棒主成分分析(RPCA)和区域检测的多聚焦图像融合方法。将RPCA理论运用到多聚焦图像融合中,把源图像分解为稀疏图像和低秩图像;对稀疏矩阵采用区域检测的方法得到源图像的聚焦判决图;对聚焦判决图进行三方向一致性和区域生长法处理得到最终决策图;根据最终决策图对源图像进行融合。实验结果表明,在主观评价方面,所提出的方法在对比度、纹理清晰度、亮度等几方面都有显著的提高;在客观评价方面,用标准差、平均梯度、空间频率和互信息四项评价指标说明了该方法的有效性。     

基于小波包变换的多聚焦图像融合

由于可见光成像系统的聚焦范围有限,很难获得同一场景内所有物体都清晰的图像。多聚焦图像融合技术可有效地解决这一问题。在分析了小波包变换的概念和原理后,提出了一种基于区域统计融合规则的小波包变换多聚焦图像融合方法,先对不同聚焦图像分别进行小波包变换,采用低频系数取平均,高频系数根据区域统计值决定的融合规则,再进行小波包反变换得到融合结果。仿真试验表明,相比小波变换法,本文方法可有效综合多聚焦图像,获得了更好的融合效果。     

基于具有对称性不可分小波的多聚焦图像融合

针对可分小波多聚焦图像融合方法存在的不足,提出一种基于四通道不可分小波的多聚焦图像融合方法。首先根据不可分小波理论,构造出一组二维四通道4×4具有对称性的不可分小波滤波器组;然后利用此滤波器组对参加融合的图像进行滤波,低频部分采用简单的加权平均算法,高频部分采用局部窗口能量取大的融合算法对分解后的系数图像进行融合;最后对图像进行重构,并采用熵、平均梯度等指标对融合结果图像进行了评价。实验结果表明,该方法对多聚焦图像的融合有较好的融合效果,与采用相同融合算法的基于可分小波的融合方法相比,能更好地突出低频域边缘细节信息,得到更为清晰的融合结果图像。     

基于区域锐度的多聚焦图像融合

为了获得同一场景内所有物体都清晰的图像,提出一种新的多聚焦图像融合算法。把待融合图像进行分块,构造融合块的清晰度评价函数（区域锐度）,根据其区域锐度值,判断融合块应取自哪幅源图像。采用投票选举的方法对融合图像进行一致性校验,对相邻但来自不同聚焦图像的融合块进行加权融合。实验结果证明,与基于小波分解的融合算法相比,该算法速度快、效果好。     

基于联合卷积自编码网络的多聚焦图像融合方法

受相机景深的限制,单次成像无法对不同景深的内容全部清晰成像.多聚焦图像融合技术可以将不同聚焦层次的图像融合为一幅全聚焦的图像,其中如何得到准确的聚焦映射是多聚焦图像融合中的关键问题.对此,利用卷积神经网络强大的特征提取能力,设计具有公共分支和私有分支的联合卷积自编码网络以学习多源图像的特征,公共分支学习多幅图像之间的公共特征,每幅图像的私有分支学习该图像区别于其他图像的私有特征.基于私有特征计算图像的活动测度,得到图像聚焦区域映射,据此设计融合规则以融合两幅多聚焦图像,最终得到全聚焦的融合图像.在公开数据集上的对比实验结果显示:主观评测上,所提出的方法能够较好地融合聚焦区域,视觉效果自然清晰;客观指标上,该方法在多个评价指标上优于对比方法.     

图像融合算法的综合性能评价指标

图像融合算法性能评价是图像融合工程的重要组成部分,现有的融合评价指标从不同方面评价融合图像质量,这些指标在评价图像融合算法性能时存在片面性,难以对融合算法的综合性能作出评价。为此,运用多指标决策技术,提出一种加权总分指标,将多个指标评价值综合为单一值,从而对图像融合算法进行综合性能评价。将加权总分指标的评价结果同逼近理想解排序指标以及秩和比指标的结果相比较,实验结果表明,该指标的评价结果和主观评价结果一致,其综合评价能力与其他2种指标相近,提高了融合算法综合性能评价结果的可靠性和准确性。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

一种基于PCNN的多聚焦图像融合改进算法

为提高图像融合质量和融合效率,提出一种基于脉冲耦合神经网络的多聚焦图像融合改进算法。对待融合的源图像作分块处理,选取合理的图像质量评价指标,计算每个分块的指标值,归一化后相减得到指标差值。把指标差值作为外部刺激输入到PCNN模型中,得到脉冲输出结果。用脉冲输出与给定的阈值作比较,若输出脉冲超过阈值则选择指标值大的源图像块作为融合图像块,否则取指标值小的源图像块。选取互信息、交叉熵、均方根误差、峰值信噪比、结构相似度以及相关系数6个客观质量评价指标进行评价,实验结果表明,该算法可获得较好的图像融合效果。     

基于可协调经验小波变换的多聚焦图像融合

提出了可协调经验小波变换,并将其应用于多聚焦图像融合。经验小波变换（EWT）是一种自适应信号分解方法,具有比经验模态分解和传统小波分解更好的特性。其核心思想是通过构造自适应的滤波器实现对信号的自适应分解。但是若直接对两幅多聚焦图像分别进行EWT分解,因各自生成的经验小波互不相关,将出现分解所得对应子带不匹配的情况,影响融合图像的质量。针对这一问题,提出了一种可协调的经验小波变换（C-EWT）,C-EWT分解下的两个多聚焦图像的对应子带是完全匹配的。基于此,利用C-EWT提出了一种新的多聚焦图像融合算法。每幅源图像经过C-EWT分解后,得到一个低频分量和多个高频分量; 对低频分量采用基于改进Laplacian能量和的阈值匹配选择与加权规则进行融合,对高频分量则采用局部Log-Gabor能量取大的融合规则;将融合之后的各子带分量进行重构得到融合图像。仿真实验表明：与其他六种融合算法相比,所提算法在融合聚焦区域、保留边缘和细节信息方面具有优势,融合图像具有更好的视觉效果,且客观评价指标与标准图像最为接近。     

一种自适应的多聚焦图像融合方法

为了对不同的多聚焦图像进行有效融合，提出了一种小波域中基于区域特征的自适应多聚焦图像融合方法。该方法首先对参加融合的两幅图像进行小波分解，然后针对低频部分，在保留源图像共同特征的基础上，将待融合的两图像各自所具有的特征添加到融合图像中，而对于高频部分，则根据区域的小波能量进行融合；最后通过小波逆变换来重构融合图像。该方法不仅能够完全自适应地对多聚焦图像进行有效的融合，而且对于各种不同的源图像具有通用性。实验表明，该算法能够得到良好的融合效果，是一种有效的多聚焦图像融合方法。     

基于快速清晰度估计的多聚焦图像融合

为了准确地估计源图像的清晰区域,提高多聚焦图像融合的效率,本文提出了一种新的基于清晰度估计的图像融合方法。首先,利用基于离散小波的清晰度估计方法获取源图像的聚焦区域,然后使用均值滤波和空洞填充进一步优化该聚焦区域,最后结合清晰度估计和相似性特性,将不同聚焦区域合并生成融合图像。该方法获得的融合图像在客观评价和主观质量上都优于以往基于清晰度的图像融合方法。     

基于M带小波变换的多聚焦图像融合

针对目前小波域内多聚焦图像融合所存在的问题,提出一种基于M带小波变换的图像融合方案。由于M带小波变换域在能量紧致性和方向选择性等方面都比传统二带小波更有优势,综合考虑图像在M带小波变换域的多尺度和多方向性信息以及局部区域的相关特性,提出了一种新的小波域图像融合策略——基于多子带联合窗口特性的图像融合。仿真实验分析表明,该文算法的结果不论在视觉效果还是在信息量指标方面都优于传统的二带小波。     

利用局部极值点特性的多聚焦图像快速融合

目的：多聚焦图像融合技术一个关键问题是如何准确地判断待融合图像的清晰度。本文提出了基于归一化结构极值点数目的清晰度判断准则。方法：本文基于图像的局部极值点特性,定义了归一化结构极值点数目这个指标作为清晰度判断准则,同时还给出了利用该准则和融合决策矩阵快速估计技术的多聚焦图像快速融合方法。结果：利用本文提出的清晰度判断准则和融合方法,实验表明上述问题得到了很好的解决。结论：本文提出了一个新的图像清晰度判断准则,该准则判断准确率高,且对脉冲噪声有好的鲁棒性。通过与传统融合方法对两组实验图像融合结果的主客观比较表明,该方法的融合速度和效果比现有多聚焦图像融合方法有明显提高。     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

彩色多聚焦图像融合演示平台

针对多聚焦图像融合演示和源图像获取手段单一的问题,应用Visual C++和Matlab混合编程的方法为彩色多聚焦图像融合设计了一个演示平台。该平台增加了多聚焦图像素材的获取途径和融合算法效果的演示手段,并且采用了基于小波变换的彩色多聚焦图像改进融合算法,充分利用到区域相关性和高频方向特性。实验演示结果表明,演示平台操作简单方便,融合演示效果较好,具有较强的实用性。     

像素级分块逼近的多聚焦图像融合方法

针对近年在对多聚焦图像融合领域中存在图像融合效果好的方法运算量大、实现起来复杂的问题,在传统的像素级分块融合方法和数学微分中逼近原理的启发下,提出了多聚焦图像在像素级分块逼近的图像融合方法。实验结果表明:该方法在融合效果上已经到达甚至略优于一些文献中提出的方法,而在运算量和运算时间方面要明显优于这些方法,更有利于实际应用中多聚焦图像融合的快速实现。     

基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。