多聚焦图像焦深扩展分解融合算法仿真

多聚焦图像在融合过程中，若源图像分辨率过低会直接影响图像的融合效果。为提升图像融合效果，提出基于焦深扩展的多聚焦图像融合算法。采用焦深扩展方法对光学系统实施优化，通过优化后的光学系统生成聚焦图像，并对获取的聚焦图像中的退化图像实施修复处理，提升源聚焦图像质量；使用双三次插值的单帧超分辨率法对图像实施分解处理，获取源聚焦图像的高分辨率图像，结合滤波处理算法，获取聚焦图像的细节系数；利用逆小波变换方法对图像细节系数，依据计算结果实现多聚焦图像融合。实验结果表明，使用上述方法开展图像融合时，融合效果较好，图像融合质量较高。     

显微视觉系统对柱状微零件自动聚焦技术研究

针对显微视觉中的柱状物体图像的清晰度问题,提出了一种实时检测图像特征并跟踪特征区域进行自动聚焦的方法。该聚焦算法包括聚焦评价函数、聚焦搜索算法和聚焦区域选择。该聚焦搜索算法实现了显微视觉系统下快速准确的聚焦,克服了爬山搜索算法的缺点,有效避免搜索结果陷入局部极大值。显微视觉中对聚焦区域的选择尤为重要,以图像特征区域作为聚焦区域,实时检测该特征区域进行聚焦,实现了在景深小于柱状物体半径的情形下对柱状物体边缘的精确聚焦。粗聚焦后电机位置的标准差为205μm,精聚焦后电机位置的标准差为37μm。实验结果表明,该自动聚焦方法能够满足微装配系统对显微视觉的聚焦需求。     

人眼视觉感知特性的非下采样Contourlet变换域多聚焦图像融合

目的针对传统的单特征融合方法不足以衡量像素清晰度的问题,同时综合考虑非下采样Contourlet变换(NSCT)系数特点及人眼视觉感知特性,提出一种基于NSCT的多聚焦图像融合方法。方法首先对来自同一场景待融合的源图像进行NSCT变换;然后对低频分量采用基于局部可见度、局部视觉特征对比度和局部纹理特征的综合特征信息进行融合;对高频分量采用基于邻域和兄弟信息归一化的关联权重局部视觉特征对比度进行融合;最后进行逆NSCT变换得到融合图像。结果将本文方法与传统离散小波变换(DWT)、移不变小波变换(SIDWT)、CT(Contottral变换)、NSCT及基于邻域和兄弟信息的NSCT域多聚焦图像融合方法进行了实验对比,本文方法能获得更好的视觉效果以及较大的边缘信息保留值和互信息值。结论定性和定量的实验结果表明了本文方法的有效性。     

基于小波包变换的多聚焦图像融合

由于可见光成像系统的聚焦范围有限,很难获得同一场景内所有物体都清晰的图像。多聚焦图像融合技术可有效地解决这一问题。在分析了小波包变换的概念和原理后,提出了一种基于区域统计融合规则的小波包变换多聚焦图像融合方法,先对不同聚焦图像分别进行小波包变换,采用低频系数取平均,高频系数根据区域统计值决定的融合规则,再进行小波包反变换得到融合结果。仿真试验表明,相比小波变换法,本文方法可有效综合多聚焦图像,获得了更好的融合效果。     

一种基于小波变换边缘保护的图像融合算法

提出一种基于小波变换的像素级图像融合算法。采用小波系数局部模极大和加权局部能量分析相结合的方法融合高频成分;用加权局部能量分析融合尺度系数。算法获得的融合图像具有很强的视觉表现能力。此算法不需要设置阈值,具有较强的泛化能力。对多聚焦图像进行的融合实验结果表明,基于小波系数局部模极大和局部能量分析相结合的高频融合策略较好地再现了图像中各种边缘信息;基于加权局部能量估计的低频融合策略有效地去除了原图像的模糊。融合后的图像在客观评价和主观视觉效果上均有显著提高。     

基于相干性的多聚焦图像融合算法

为提高多聚焦图像的融合效果,提出一种基于相干性的融合算法。该算法对源图像进行离散小波变换,利用高频小波系数构造结构张量矩阵,通过矩阵特征值定义反映局部几何信息的相干性并建立融合策略。实验结果表明,该算法得到的融合图像在主观视觉效果和客观量化指标方面均有良好的表现,提高了融合的视觉效果。     

深度学习多聚焦图像融合方法综述

多聚焦图像融合是一种以软件方式有效扩展光学镜头景深的技术,该技术通过综合同一场景下多幅部分聚焦图像包含的互补信息,生成一幅更加适合人类观察或计算机处理的全聚焦融合图像,在数码摄影、显微成像等领域具有广泛的应用价值。传统的多聚焦图像融合方法往往需要人工设计图像的变换模型、活跃程度度量及融合规则,无法全面充分地提取和融合图像特征。深度学习由于强大的特征学习能力被引入多聚焦图像融合问题研究,并迅速发展为该问题的主流研究方向,多种多样的方法不断提出。鉴于国内鲜有多聚焦图像融合方面的研究综述,本文对基于深度学习的多聚焦图像融合方法进行系统综述,将现有方法分为基于深度分类模型和基于深度回归模型两大类,对每一类中的代表性方法进行介绍;然后基于3个多聚焦图像融合数据集和8个常用的客观质量评价指标,对25种代表性融合方法进行了性能评估和对比分析;最后总结了该研究方向存在的一些挑战性问题,并对后续研究进行展望。本文旨在帮助相关研究人员了解多聚焦图像融合领域的研究现状,促进该领域的进一步发展。     

改进径向基函数插值法的多聚焦图像滤波融合

由于受到拍摄设备、光学镜头景深以及噪声等不同因素的影响,多聚焦图像往往存在边缘弱化问题。为了使多聚焦图像更加清晰,提出基于改进径向基函数插值法的多聚焦图像滤波融合方法。通过能量函数计算图像边缘细节估计误差,建立空间同性误差准则,去除图像边缘噪声,实行滤波保护。利用径向基函数各层网络建立多聚焦图像抑噪模型,减少图像的噪声污染。通过非线性函数恢复像素,在图像空间坐标下分离图像纹理、清晰程度和图像局部特征,提取图像高频信息。利用径向基函数插值引导高频信息,在决策引导下实现图像滤波融合。经过实验证明,所提方法的多聚焦图像融合效果较好,减少了残余噪声,能够实现图像去噪和边缘特征保护,清晰度较高,图像结构性相似度高。     

基于超分辨率的多聚焦图像融合算法研究

针对传统小波变换在图像融合过程中出现边缘模糊、图像失真等问题,提出了一种基于超分辨率的多聚焦图像融合算法。对所有的源图像进行了双三次插值的单帧超分辨率处理,增强源图像对比度等细节信息,采用的源图像为分别进行左右聚焦处理的同一场景中的两幅图像。对这些高分辨率源图像实现了平稳小波变换（SWT）,并将源图像划分为四个子带。针对这些子带所包含源图像细节信息混乱、结构信息冗余等问题,采用了主成分分析（PCA）,分别选取源图像各子带的最大信噪比进行图像融合。利用逆平稳小波变换（ISWT）对融合子带进行重构,得到高质量融合图像。为了评定融合后图像的质量,选择了无参考图像和全参考图像的两种度量方法来检测融合后的图像质量。经实验结果表明,提出的算法克服了传统小波变换算法在图像融合上的缺点,具有边缘清晰、视觉感知好、清晰度好、失真小等优点。     

基于复数小波变换的边缘保护融合算法

如何保护局部对比度信息是图像融合的关键问题,而图像边缘是基于人类视觉系统(HVS)最敏感的局部对比度信息.基于对偶树复数小波变换(DT-CWT),提出一种保护图像边缘信息的加权系数融合算法.对于低频部分,使用邻域熵极大值准则将系数添加到融合图像中;而对于高频部分,首先分别对各小波子图像进行边缘提取并对其特征增强,接下来使用边缘信息优先的加权系数融合策略进行特征信息融合.实验结果表明,同传统多分辨率图像融合方法相比,能得到更好的融合效果.     

Multi-focus image fusion with a deep convolutional neural network

As is well known, activity level measurement and fusion rule are two crucial factors in image fusion. For most existing fusion methods, either in spatial domain or in a transform domain like wavelet, the activity level measurement is essentially implemented by designing local filters to extract high-frequency details, and the calculated clarity information of different source images are then compared using some elaborately designed rules to obtain a clarity/focus map. Consequently, the focus map contains the integrated clarity information, which is of great significance to various image fusion issues, such as multi-focus image fusion, multi-modal image fusion, etc. However, in order to achieve a satisfactory fusion performance, these two tasks are usually difficult to finish. In this study, we address this problem with a deep learning approach, aiming to learn a direct mapping between source images and focus map. To this end, a deep convolutional neural network (CNN) trained by high-quality image patches and their blurred versions is adopted to encode the mapping. The main novelty of this idea is that the activity level measurement and fusion rule can be jointly generated through learning a CNN model, which overcomes the difficulty faced by the existing fusion methods. Based on the above idea, a new multi-focus image fusion method is primarily proposed in this paper. Experimental results demonstrate that the proposed method can obtain state-of-the-art fusion performance in terms of both visual quality and objective assessment. The computational speed of the proposed method using parallel computing is fast enough for practical usage. The potential of the learned CNN model for some other-type image fusion issues is also briefly exhibited in the experiments.     

基于非子采样Contourlet变换的遥感图像融合算法

针对人类视觉特性, 以及全色高分辨图像和多光谱遥感自身的特点, 提出一种非下采样 Contourlet (NSCT) 域的图像融合新策略. NSCT 具有好的多分辨、移不变和多方向等特性, 能对图像中的边缘和围线信息给出渐近最优表示. 为了更好地保持空间分辨率和颜色分量, 引入基于 LHS 变换的亮度成分叠加策略. 实验结果表明: 本文提出的融合方法在提高空间分辨率的同时较好地保持了光谱信息. 与传统的 PCA 方法、基于 IHS 的融合方法、基于小波加权的融合方法, 以及同样采用本文的融合策略、分别基于小波变换和基于 Contourlet 变换的融合策略相比较, 本文方法在视觉效果和客观衡量指标两方面都有所改善.     

基于双正交小波提升机制的图像融合方法

为了从不同源图像中获取更多的互补信息,提出了一种基于提升机制的图像融合方法.在分析图像融合近几年研究成果的基础上,对融合图像进行双正交小波变换,获得不同尺度下的小波金字塔图像,再对低频系数取加权平均值,高频系数进行局部梯度运算,采用局部梯度值最大值作为高频系数,最后对处理的小波域的高低频系数反变换得到融合后图像.通过分析实验结果表明,提出的算法适合两幅及多幅图像的自主融合,而且可以获得视觉效果更好、细节更为丰富的融合图像,消除块效应.     

基于局部方差和高通滤波的小波变换图像融合

在利用小波变换进行图像融合的基础上,针对局部方差和高通滤波各自的优缺点,研究了一种新的融合规则的选择方法,提出了基于局部方差和高通滤波的小波变换图像融合算法.先对各源图像进行小波分解,然后采用局部方差准则融合源图像各分解层的高频信息,再针对参与融合的全色波段图像各分解层的低频信息进行高通滤波,用滤波后的低频细节信息叠加多光谱相应层的低频分量,最后通过小波逆变换得到融合图像.实验结果表明,该方法确实有效,相对单一的利用局部方差,提高了保持细节的能力;相对只用高通滤波,提高了保持光谱信息的能力.     

基于Contourlet变换的多波段SAR图像融合

针对不同波段SAR图像的融合,该文提出了一种在Contourlet变换域融合的方法,利用Contourlet变换的充分表示图像边缘信息的能力,将图像分解为低通系数和不同方向的高频系数,对方向高频系数定义一个边缘信息量测指标,选择量测指标大的系数作为融合系数,解决了小波变换融合中图像边缘信息容易丢失的问题。通过对两波段SAR图像进行融合实验并与小波变换融合结果比较,在视觉特性与统计因子客观评价上均取得了更好的效果。     

基于提升小波变换的医学图像融合

目的 将不同模态的医学图像(如CT/MRI图像)进行科学融合,可以有效地丰富图像的信息,提高信息的利用效能,这对于医学临床诊断具有重要的理论研究意义和应用价值。方法 基于提升小波变换的特性,对多模态医学图像的融合算法进行研究。首先,对已配准的源图像进行多尺度分解,得到低频子带和多层高频子带;进而,根据低频子带的特点和各层高频子带的噪声含量不同,提出了低频子带系数采用基于区域平均能量的加权融合规则;对噪声含量较低的低层高频子带采用基于计盒分维法获取分维数,而对噪声含量较高的高层高频子带提出了基于区域梯度能量加权融合规则。结果 分别对灰度图像和彩色图像进行了大量融合实验,并分别在主观视觉特性及客观评价指标下对不同融合算法产生的融合图像的质量进行了分析对比,表明本文算法具有较好的边缘保持度。结论 实验结果表明,较现有算法产生的融合图像,应用本文融合算法得到的图像具有更丰富的信息,更能使图像灰度级分散,具有更良好的视觉特性和评价指标。     

Infrared and visible image fusion using fuzzy logic and population-based optimization

This paper presents a new wavelet-based algorithm for the fusion of spatially registered infrared and visible images. Wavelet-based image fusion is the most common fusion method, which fuses the information from the source images in the wavelet transform domain according to some fusion rules. We specifically propose new fusion rules for fusion of low and high frequency wavelet coefficients of the source images in the second step of the wavelet-based image fusion algorithm. First, the source images are decomposed using dual-tree discrete wavelet transform (DT-DWT). Then, a fuzzy-based approach is used to fuse high frequency wavelet coefficients of the IR and visible images. Particularly, fuzzy logic is used to integrate the outputs of three different fusion rules (weighted averaging, selection using pixel-based decision map (PDM), and selection using region-based decision map (RDM)), based on a dissimilarity measure of the source images. The objective is to utilize the advantages of previous pixel- and region-based methods in a single scheme. The PDM is obtained based on local activity measurement in the DT-DWT domain of the source images. A new segmentation-based algorithm is also proposed to generate the RDM using the PDM. In addition, a new optimization-based approach using population-based optimization is proposed for the low frequency fusion rule instead of simple averaging. After fusing low and high frequency wavelet coefficients of the source images, the final fused image is obtained using the inverse DT-DWT. This new method provides improved subjective and objectives results as compared to previous image fusion methods.     

基于小波Contourlet变换和区域能量融合规则的图像融合算法*

利用小波-Contourlet变换的多尺度和多方向性特征以及基于区域能量的融合规则在选取融合系数上的优势,提出了一种基于小波-Contourlet变换和区域能量融合规则的图像融合算法,并引入Cycle Spinning来消除变换缺乏平移不变性而引起的图像失真。实验结果表明,该算法明显降低了融合图像的RMSE值,减少了运算时间,达到了良好的视觉效果。     

图像融合的非负矩阵分解算法

提出一种将非负矩阵分解思想用于图像融合的算法．在非负矩阵分解过程中,适当地选取特征空间的维数可以获取原始数据的局部特征．首先分析了使用非负矩阵分解算法提取图像综合特征的原理,并给出了一个可视化实例;将参与融合的图像作为原始数据,特征空间的维数选为1,利用非负矩阵分解得到的特征基包含了原始图像的整体特征,这个特征基图像就是原始图像的融合结果．多类不同模态图像融合的实验结果表明,文中算法比小波变换的方法具有更好的融合效果．     

基于小波域信息融合的MSR改进算法

针对MSR(multi-scale Retinex)算法对雾天彩色图像增强时,不能同时有效地保持细节增强与色彩保真的问题,通过将基于小波变换域的信息融合策略取代MSR算法中线性加权策略,提出一种新的MSR改进算法。融合的基本思路是：首先将待融合图像经四层小波分解,然后将高频分量取绝对值最大值来突出图像的细节,低频分量采用基于局部方差的技术调节色彩,实现保真的效果。通过主观观测和客观评价表明：在对雾天图像进行增强时,MSR改进算法比传统的MSR算法在细节增强和颜色保真方面具有更好的效果。