基于改进拉普拉斯能量和的快速图像融合

为了得到优质的融合图像,提出了一种改进的拉普拉斯能量和（New Sum of Modified Laplacian,NSML）多聚焦图像融合算法。该算法在传统SML计算每个像素点的变步长拉普拉斯算子值仅有的水平和垂直方向的基础上,增加了斜对角线上的四个方向。同时通过分析NSML算法的计算过程,发现存在大量的重复计算,从而提出了基于积分图像的快速NSML图像融合方法。该方法通过简化NSML的计算过程,大大减少了图像融合处理过程消耗的时间,提高了图像融合的效率。实验结果表明,快速NSML方法在达到极佳融合图像质量的同时,提升了算法的实时性。     

基于灰色关联度的聚焦形貌恢复

针对目前鲜有聚焦评价函数能同时满足聚焦形貌恢复多个性能指标的问题,从邻域像素的灰度级差异性入手,提出基于灰色关联度的聚焦评价函数,并用于恢复表面形貌。采集部分聚焦序列图像,计算图像序列每一个像素点的聚焦评价值,最后重构表面形貌和全聚焦图像。实验表明,提出的算法能够恢复低纹理物体的形貌,精度较高,且具有较好的时间效率,可用于实际测量。     

基于局部特征的智能图像融合

对衡量图像清晰程度的局部特征参数进行了对比研究,得出了拉普拉斯能量（EOL）最优参数。提出一种使用拉普拉斯局部特征的智能化图像融合算法。算法首先对已配准的图像集进行分割,对分割图像分块并计算EOL,将EOL作为网络输入进行训练,根据EOL比对自动决定训练的目标向量。将测试图像进行分割并计算局部EOL,将EOL作为测试输入进行粗融合,最后进行一致性校验得到最终融合结果。实验研究表明,本算法对不同传感器的图像均取得了良好的融合效果。     

利用模糊认知度从图像纹理中提取情感语义

图像的低层视觉特征（颜色、纹理和形状等）中包含着大量人类可感知的情感语义信息。利用纹理特征,提出一种新的索引方法-FRD（Fuzzy Recognize Degree,模糊认识度）聚类法,用来描述与情感相关联的语义图像。FRD聚类法使用三个感性的纹理特征：方向性、对比度和粗糙度,生成FRD值。从高层的情感概念进行图像检索。实验图像采用自然景观图片,验证了新方法的良好性能。     

非下采样剪切波变换的医学图像融合

目的 由于单模态医学图像所提供的信息有限,不能反映相关组织所有细节信息,可能会造成临床医学误诊。针对这一问题,提出一种基于非下采样剪切波变换（NSST）的医学图像融合算法,对多模态医学图像进行融合,丰富融合图像信息,提高图像质量,为临床诊断提供依据。方法 首先,将源图像进行NSST变换得到低频子带和若干高频方向子带;其次,根据低频子带图像的特点,提出低频系数与脉冲耦合神经网络PCNN （pulse coupled neural network）相结合的方法;根据高频子带间结构相似度SSIM （structure similarity）不同,分为低相似和高相似子带图像;对低相似子带系数采用视觉敏感度系数VSC （visual sensitivity coefficient）与改进梯度能量相结合的策略;高相似子带系数采用VSC与区域能量相结合的方法;进而,选取结构相似度与边缘信息评价因子Q^ABF（edge based similarity measure）之和作为目标函数,自适应地优化可调参数;最后,经逆NSST变换重构图像。结果 对灰度图像和彩色图像进行实验仿真,并与其他4种融合方法进行比较,在主观视觉效果和客观评价标准,本文方法取得良好的融合效果,其中边缘评价因子和标准差都是最好的,其他指标相对较好;与靳珍怡提出的基于非下采样轮廓波变换的多模态医学图像融合相比,5组实验空间频率分别提高了11.8%、24.7%、83.4%、11.9%、30.3%;边缘评价因子分别提高了6.7%、15%、40%、50%、12%;结构相似度分别提高了0.7%、7.3%、2.4%、-3.6%、2.1%;交叉熵分别降低了16.9%、1.6%、-27.4%、6.1%、0.4%。结论 本文算法有效提高多模态医学图像融合质量,增加不同模态间的互补信息;与现有医学图像融合算法相比,本文算法更加优越。融合图像细节信息更为突出,整体信息更丰富,更符合人眼视觉特性。     

基于证据理论的小波域多特征医学图像融合

针对多源医学图像融合过程中融合权值选择的不确定性,根据DS证据理论,采用证据理论中的基本概率分配函数来描述判决结果的不确定性。利用图像的区域方差、区域能量、区域信息熵三个特征,然后对特征进行归一化,将各个特征值作为基本概率分配的依据,在小波域内对高频分量采用基于DS证据理论的多特征融合规则进行图像融合。利用拉普拉斯能量,在小波域内对低频分量采用拉普拉斯能量自适应融合规则。实验结果表示：所提算法综合了多个特征的优势,降低了融合过程中的不确定性,较大程度地保留了图像信息。     

Enhancing effective depth-of-field by image fusion using mathematical morphology

Reduced depth-of-field (DOF) poses a problem in the light optical imaging system, since the objects present outside this zone appear blurry in the recorded image. The effective DOF of the sensor may be enhanced considerably without compromising the quality of the image by fusing images captured with different focused regions. This paper presents an image fusion technique suitable for combining multifocus images of a scene. The method employs morphological filters to select sharply focused regions from various images and then combines them together to reconstruct the image in which all the regions are properly focused. A performance measure based on image gradients is used to compare the results obtained by the proposed method with those obtained by other image fusion techniques.     

From binary to grey tone image processing using fuzzy logic concepts

The concept of fuzzy logic was introduced by Zadeh in 1965 as a tool for analysing complex systems and decision processes. In fuzzy set theory, the binary Boolean operations of OR and AND generalise to the min and max functions. Nakagawa(⁸) later introduced the idea of local min and max operators to image processing as the grey equivalents to the parallel binary operations of shrinking and expanding. In this paper the ideas of min and max are further investigated and their usefulness in image processing assessed by extending some already well known binary processes into grey level algorithms. The functions of min_π and max_π are introduced (deleted neighbourhood min_π and max_π) as the analogues of nearest neighbour “propagation” signals of binary images. Examples of grey edge detection, spatial filtering, object labelling and grey thinning algorithms are given.     

多目标粒子群优化PCNN参数的图像融合算法

目的 脉冲耦合神经网络（PCNN）在图像融合上往往因为参数设置问题而达不到最佳效果,为了提高图像融合的质量,提出了一种基于多目标粒子群优化PCNN参数的图像融合算法。方法 首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN参数模型,然后利用双复树小波（DTCWT）对图像多尺度分解,将高频分量通过优化好的PCNN模型进行高频融合,低频分量通过拉普拉斯分量绝对和（SML）来进行低频融合,最后通过DTCWT逆变换实现图像的融合。结果 分别与DTCWT,拉普拉斯金字塔变换（LP）以及非下采样Contourlet变换（NSCT）进行实验对比,融合图像Clock,Lab的融合结果在客观指标上的互信息（8.062 3,7.908 5）、图像的品质因数（0.716 2,0.714 2）和标准差（51.213,47.671）都优于其他方法,熵和其他方法差不多,融合结果能够获得更好的视觉效果以及较大的互信息值和边缘信息保留值。结论 该方法有较好融合图像的能力,可适用于计算机视觉、医学、遥感等领域。     

可解译深度网络的多光谱遥感图像融合

目的 多光谱图像融合是遥感领域中的重要研究问题,变分模型方法和深度学习方法是目前的研究热点,但变分模型方法通常采用线性先验构建融合模型,难以描述自然场景复杂非线性关系,导致成像模型准确性较低,同时存在手动调参的难题;而主流深度学习方法将融合过程当做一个黑盒,忽视了真实物理成像机理,因此,现有融合方法的性能依然有待提升。为了解决上述问题,提出了一种基于可解译深度网络的多光谱图像融合方法。方法 首先构建深度学习先验描述融合图像与全色图像之间的关系,基于多光谱图像是融合图像下采样结果这一认知构建数据保真项,结合深度学习先验和数据保真项建立一种新的多光谱图像融合模型,提升融合模型准确性。采用近端梯度下降法对融合模型进行求解,进一步将求解步骤映射为具有明确物理成像机理的可解译深度网络架构。结果 分别在Gaofen-2和GeoEye-1遥感卫星仿真数据集,以及QuickBird遥感卫星真实数据集上进行了主客观对比实验。相对于经典方法,本文方法的主观视觉效果有了显著提升。在Gaofen-2和GeoEye-1遥感卫星仿真数据集,相对于性能第2的方法,本文方法的客观评价指标全局相对无量纲误差(relat...     

基于四叉树分解和自适应焦点测度的多聚焦图像融合

为了克服基于块的融合方法对块的大小敏感以及融合图像中存在伪影等问题,提出一种新的基于四叉树分解和自适应焦点测度的多聚焦图像融合方法。首先,设计一种新的基于修正拉普拉斯能量和（SML）和导向滤波的自适应焦点测度,用于获得源图像的焦点图。然后,采用一种新的四叉树分解策略,并结合已经得到的焦点图,进一步将源图像分解成最优大小的树块;同时,从树块中检测出聚焦区域,并构成决策图。最后,对决策图进行优化和一致性验证,并重构出一幅全聚焦图像。通过公共多聚焦图像数据集进行实验,与11种先进的融合方法进行视觉质量和客观指标比较。实验结果表明,本文所提出的融合方法取得了更好的性能。     

Infrared and visible image fusion using fuzzy logic and population-based optimization

This paper presents a new wavelet-based algorithm for the fusion of spatially registered infrared and visible images. Wavelet-based image fusion is the most common fusion method, which fuses the information from the source images in the wavelet transform domain according to some fusion rules. We specifically propose new fusion rules for fusion of low and high frequency wavelet coefficients of the source images in the second step of the wavelet-based image fusion algorithm. First, the source images are decomposed using dual-tree discrete wavelet transform (DT-DWT). Then, a fuzzy-based approach is used to fuse high frequency wavelet coefficients of the IR and visible images. Particularly, fuzzy logic is used to integrate the outputs of three different fusion rules (weighted averaging, selection using pixel-based decision map (PDM), and selection using region-based decision map (RDM)), based on a dissimilarity measure of the source images. The objective is to utilize the advantages of previous pixel- and region-based methods in a single scheme. The PDM is obtained based on local activity measurement in the DT-DWT domain of the source images. A new segmentation-based algorithm is also proposed to generate the RDM using the PDM. In addition, a new optimization-based approach using population-based optimization is proposed for the low frequency fusion rule instead of simple averaging. After fusing low and high frequency wavelet coefficients of the source images, the final fused image is obtained using the inverse DT-DWT. This new method provides improved subjective and objectives results as compared to previous image fusion methods.     

基于PCA和广义高斯建模的多聚焦图像融合

为了提高多聚焦图像的融合性能,针对统计图像融合方法中像素间融合参数估计的不足,提出一种基于小波变换域主成分分析（PCA）和广义高斯建模的多聚焦图像融合方法。将高频子带系数建模为广义高斯分布,并通过改进的最大似然估计法获取融合参数。结合低频子带系数的区域PCA融合方法,最终实现有效的图像融合。实验结果表明,该方法与传统的多聚焦图像融合方法相比,可使融合图像的信息量更丰富,具有更佳的视觉效果。     

基于空谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络（SSF-Net）的高光谱图像分类方法。首先,利用双通道卷积神经网络（Two-CNN）同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化（MCB）将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。     

不可分拉普拉斯金字塔构造及其在多光谱图像融合中的应用

针对拉普拉斯塔形（LP）变换在图像融合中具有高频信息损失严重且缺乏平移不变性的问题，利用不可分小波具有平移不变性和能够准确描述图像细节信息的特点，提出一种新的非采样不可分拉普拉斯金字塔构造方法，并将该构造方法应用于多光谱图像融合中。首先，构造六通道不可分低通滤波器，利用该滤波器构造多光谱图像和全色图像的非采样不可分小波塔形分解，进而对图像进行非采样不可分拉普拉斯塔形分解；然后，针对不同的分解层采用不同的融合规则进行融合；最后，根据不可分拉普拉斯重构算法进行重构，即可得到融合后的图像。实验结果表明，与离散小波变换（DWT）的融合方法、基于Contourlet变换（CT）的融合方法以及基于直方图中轴化（MHE）的融合方法对比，所提方法在保持原全色图像空间分辨率的评价指标空间相关系数上分别提高了1.84%、1.56%和11.06%，在光谱信息保持程度的评价指标相对整体维数综合误差上分别降低了49.26%、48.15%和89.19%。该方法所得图像在获得好的光谱信息的同时有效地提高了空间分辨率，较好地保留了图像的边缘信息与结构信息。     

基于提升静态小波变换与联合结构组稀疏表示的多聚焦图像融合

为抑制传统小波变换在多聚焦图像融合中产生的伪吉布斯现象,以及克服传统稀疏表示的融合方法容易造成融合图像的纹理与边缘等细节特征趋于平滑的缺陷,提高多聚焦图像融合的效率与质量,采用一种基于提升静态小波变换（LSWT）与联合结构组稀疏表示的图像融合算法。首先对实验图像进行提升静态小波变换,根据分解后得到的低频系数与高频系数各自不同的物理特征,采用不同的融合方式。选择低频系数时,采用基于联合结构组稀疏表示的系数选择方案;选择高频系数时,采用方向区域拉普拉斯能量和（DRSML）与匹配度相结合的系数选择方案。最后经逆变换重构得到最终融合图像。实验结果表明,改进的算法有效地提高了图像的互信息量、平均梯度等指标,完好地保留图像的纹理与边缘等细节信息,融合图像效果更好。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

基于稀疏表示的医学图像融合

针对传统基于K阶奇异值分解(KSVD)的字典学习算法时间复杂度高,学习字典对源图像的表达能力不理想,应用于医学图像融合效果差的问题,提出了一种新的字典学习方法:在字典学习之前对医学图像的特征信息进行筛选,选取能量和细节信息丰富的图像块作为训练集学习字典;根据学习得到的字典建立源图像的稀疏表示模型,运用正交匹配追踪算法(OMP)求解每个图像块的稀疏系数,采用"绝对值最大"策略构造融合图像的稀疏表示系数,最终得到融合图像.实验结果表明:针对不同的医学图像,提出的方法有效.     

各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

利用局部极值点特性的多聚焦图像快速融合

目的：多聚焦图像融合技术一个关键问题是如何准确地判断待融合图像的清晰度。本文提出了基于归一化结构极值点数目的清晰度判断准则。方法：本文基于图像的局部极值点特性,定义了归一化结构极值点数目这个指标作为清晰度判断准则,同时还给出了利用该准则和融合决策矩阵快速估计技术的多聚焦图像快速融合方法。结果：利用本文提出的清晰度判断准则和融合方法,实验表明上述问题得到了很好的解决。结论：本文提出了一个新的图像清晰度判断准则,该准则判断准确率高,且对脉冲噪声有好的鲁棒性。通过与传统融合方法对两组实验图像融合结果的主客观比较表明,该方法的融合速度和效果比现有多聚焦图像融合方法有明显提高。