采用改进平均梯度与自适应PCNN的图像融合

为了改善对多聚焦图像融合的视觉效果和时效性.借助非下抽样剪切波(NSST)变换的平移不变性和较强的方向选择性,提出改进的融合策略.通过NSST变换对源图像进行分解,获得与源图像大小相同但尺度不同的低频子带和高频子带,再采用改进平均梯度的策略对低频子带进行融合,对高频子带则利用改进的自适应PCNN策略进行融合.对融合后的高低频子带进行NSST逆变换,重构出整体更自然明亮和细节纹理更清晰的融合图像.仿真结果表明:改进融合策略较好地提取出了源图像的细节信息,在主观视觉和五种客观评价指标上均优于其他几种比较算法,且由于NSST引入了快速傅里叶变换,明显提高了运算的时效性.     

采用改进平均梯度与自适应PCNN的图像融合

为了改善对多聚焦图像融合的视觉效果和时效性.借助非下抽样剪切波(NSST)变换的平移不变性和较强的方向选择性,提出改进的融合策略.通过NSST变换对源图像进行分解,获得与源图像大小相同但尺度不同的低频子带和高频子带,再采用改进平均梯度的策略对低频子带进行融合,对高频子带则利用改进的自适应PCNN策略进行融合.对融合后的高低频子带进行NSST逆变换,重构出整体更自然明亮和细节纹理更清晰的融合图像.仿真结果表明:改进融合策略较好地提取出了源图像的细节信息,在主观视觉和五种客观评价指标上均优于其他几种比较算法,且由于NSST引入了快速傅里叶变换,明显提高了运算的时效性.     

基于改进的稀疏表示和PCNN的图像融合算法研究

为提高图像融合的清晰度,本文提出一种基于改进的稀疏表示和脉冲耦合神经网络（pulse coupled neural network,PCNN）的图像融合。利用非下采样剪切波变换（non-subsampled shearlet transform,NSST）对源图像进行分解变换,得到相应的低频子带和高频子带具有不同的信息。对于低频子带,采用改进的稀疏表示进行融合,利用K奇异值分解（K-singular value decomposition,K-SVD）算法,并对源图像进行自适应学习的多个子字典构造成联合词典。对于高频子带,则改进PCNN融合系数的选择方法,利用改进的空间频率作为神经元反馈输入来激励PCNN模型,并根据点火输出的总幅度最大的融合规则选择高频系数。最后,将融合后的低频子带和高频子带系数进行NSST逆变换,重构出融合图像。实验结果表明:该算法很好地保留了图像的边缘信息,并且得到的图像在相关的客观评价标准上也取得了良好的效果,表明了本算法的有效性。     

基于非下采样Shearlet变换与聚焦区域检测的多聚焦图像融合算法

为了提高基于多尺度变换的多聚焦图像融合中聚焦区域的准确性,提出了一种基于非下采样Shearlet变换(NSST)与聚焦区域检测的多聚焦图像融合算法。首先,通过基于非下采样Shearlet变换的融合方法得到初始融合图像;其次,将初始融合图像与源多聚焦图像作比较,得到初始聚焦区域;接着,利用形态学开闭运算对初始聚焦区域进行修正;最后,在修正的聚焦区域上通过改进的脉冲耦合神经网络(IPCNN)获得融合图像。与经典的基于小波变换、Shearlet变换的融合方法以及当前流行的基于NSST和脉冲耦合神经网络(PCNN)的融合方法相比,所提算法在客观评价指标互信息(MI)、空间频率和转移的边缘信息上均有明显的提高。实验结果表明,所提出的算法能更准确地识别出源图像中的聚焦区域,能从源图像中提取出更多的清晰信息到融合图像。     

基于NSST 域隐马尔可夫树模型的SAR 和灰度可见光图像融合

针对合成孔径雷达(SAR) 图像和可见光图像融合问题, 提出一种基于非下采样剪切波变换域的隐马尔可夫树模型的图像融合方法(NHMM), 图像经过非下采样剪切波变换(NSST) 分解形成一个低频子带和多个高频子带.在NSST 域中, 对低频系数采用基于标准差的融合策略; 针对高频子带, 建立NSST 域隐马尔可夫树(HMT) 模型对高频系数进行训练, 并根据梯度能量对训练后的高频系数进行选择, 最后通过NSST 逆变换得到融合图像. 实验结果表明, 所提出的方法可提高图像的融合质量, 并能降低图像噪声, 具有一定的有效性和实用性.

     

基于非抽样Contourlet变换的多聚焦图像融合算法

文中研究了非抽样Contourlet变换（NSCT）的原理,以及其多尺度、局部化、方向性和各向异性等优点。提出了一种基于NSCT的多聚焦图像融合新算法。本算法将多聚焦图像进行NSCT分解,不同子带采用不同的融合规则,低频子带采用新的基于灰度形态学梯度算子的融合算法,并做一致性检测,带通子带采用基于区域能量的融合算法。最后将融合得到的系数进行NSCT反变换得到融合图像。实验结果表明,与其他融合算法相比较,该算法可以更有效地保留源图像信息和细节特征。     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

基于非下采样Contourlet变换多聚焦图像融合

针对同一场景多聚焦图像的融合问题,本文提出了一种基于非下采样Contourlet变换(NSCT)多聚焦图像融合算法。首先,采用NSCT对源图像进行多尺度、多方向分解,得到低频子带系数和各带通方向子带系数;其后,针对低频子带系数的选择,提出了一种基于方向向量模和加权平均相结合的融合规则;然后,针对带通方向子带系数的选择,提出了一种基于改进的方向对比度和局部区域能量相结合的融合规则;最后,经NSCT逆变换得到融合图像。实验结果表明,该算法能够有效地保留源图像的有用信息,避免噪声、虚影等效应,是一种有效可行的图像融合算法。     

基于改进型NSST变换的图像融合方法

为了进一步提高捕获图像细节的能力,提高运算效率,提出一种改进型NSST变换,采用冗余提升不可分离小波替换经典NSST中的非下采样金字塔分解.针对改进型NSST分解得到的不同子带,对低频子 带选用区域能量和融合规则,高频子带选用简化型PCNN融合规则,提出基于改进型NSST的图像融合方法.实验结果表明,所提出的方法在主观视觉评价和客观指标评价中具有很大优势.