基于图像抠图技术的多聚焦图像融合方法

针对多聚焦图像融合容易出现信息丢失、块效应明显等问题,提出了一种新的基于图像抠图技术的多聚焦图像融合算法。首先,通过聚焦检测获得源图像的聚焦信息,并根据所有源图像的聚焦信息生成融合图像的三分图,即前景、背景和未知区域;然后,利用图像抠图技术,根据三分图获得每一幅源图像的精确聚焦区域;最后,将这些聚焦区域结合起来构成融合图像的前景和背景,并根据抠图算法得到的确定前景、背景对未知区域进行最优融合,增强融合图像前景、背景与未知区域相邻像素之间的联系,实现图像融合。实验结果表明,与传统算法相比,所提算法在客观评价方面能获得更高的互信息量（MI）和边缘保持度,在主观评价方面能有效抑制块明显效应,得到更优的视觉效果。该算法可以应用到目标识别、计算机视觉等领域,以期得到更优的融合效果。     

基于四叉树分解和自适应焦点测度的多聚焦图像融合

为了克服基于块的融合方法对块的大小敏感以及融合图像中存在伪影等问题,提出一种新的基于四叉树分解和自适应焦点测度的多聚焦图像融合方法。首先,设计一种新的基于修正拉普拉斯能量和（SML）和导向滤波的自适应焦点测度,用于获得源图像的焦点图。然后,采用一种新的四叉树分解策略,并结合已经得到的焦点图,进一步将源图像分解成最优大小的树块;同时,从树块中检测出聚焦区域,并构成决策图。最后,对决策图进行优化和一致性验证,并重构出一幅全聚焦图像。通过公共多聚焦图像数据集进行实验,与11种先进的融合方法进行视觉质量和客观指标比较。实验结果表明,本文所提出的融合方法取得了更好的性能。     

基于SML特征检测的RPCA域多聚焦图像融合

针对多聚焦图像融合中难以有效检测聚焦点的问题,提出了一种基于鲁棒主成分分析（RPCA）和区域检测的多聚焦图像融合方法。将RPCA理论运用到多聚焦图像融合中,把源图像分解为稀疏图像和低秩图像;对稀疏矩阵采用区域检测的方法得到源图像的聚焦判决图;对聚焦判决图进行三方向一致性和区域生长法处理得到最终决策图;根据最终决策图对源图像进行融合。实验结果表明,在主观评价方面,所提出的方法在对比度、纹理清晰度、亮度等几方面都有显著的提高;在客观评价方面,用标准差、平均梯度、空间频率和互信息四项评价指标说明了该方法的有效性。     

基于稀疏表示的医学图像融合

针对传统基于K阶奇异值分解(KSVD)的字典学习算法时间复杂度高,学习字典对源图像的表达能力不理想,应用于医学图像融合效果差的问题,提出了一种新的字典学习方法:在字典学习之前对医学图像的特征信息进行筛选,选取能量和细节信息丰富的图像块作为训练集学习字典;根据学习得到的字典建立源图像的稀疏表示模型,运用正交匹配追踪算法(OMP)求解每个图像块的稀疏系数,采用"绝对值最大"策略构造融合图像的稀疏表示系数,最终得到融合图像.实验结果表明:针对不同的医学图像,提出的方法有效.     

基于导向滤波和聚焦区域局部标准差的多聚焦图像融合

针对目前多聚焦图像融合存在着在融合图像边缘处容易出现伪影和光环等问题,提出了一种新的基于导向滤波和聚焦区域局部标准差的多聚焦图像融合方法。首先,设计了一种新的聚焦区域检测策略,它将导向滤波后的源图像与均值滤波后的源图像相减得到绝对差值图像,并以此作为高频信息而生成粗略聚焦图;粗略聚焦图进一步经过导向滤波增强其高频细节信息,从而得到对应源图像的聚焦区域。然后,根据聚焦区域的局部标准差,利用像素级最大化规则得到初始决策图。最后,通过小区域去除策略和导向滤波优化生成最终决策图,并据此利用像素加权平均规则得到融合后的图像。实验结果表明,论文提出的多聚焦图像融合方法在主观视觉效果和客观评价指标方面的综合性能都优于现有的典型融合方法,且其计算效率也较高。     

基于图像分解和稀疏表示的多聚焦图像融合

针对多聚焦图像融合中缺乏细节保护和结构不连续的不足,提出了一种基于图像分解的多聚焦图像融合算法.首先,源图像采用卡通纹理图像分解得到卡通部分和纹理部分;其次,卡通部分采用卷积稀疏表示的方法进行融合,纹理部分采用字典学习进行融合;最后,将卡通和纹理部分融合得到融合图像.实验建立在标准的融合数据集中,并与传统和最近的融合方法进行比较.实验结果证明,该算法所获得的融合结果在方差和信息熵上具有更好的表现,该算法能够有效克服多聚焦图像融合中缺乏细节保护和结构不连续的缺点,同时有更好的视觉效果.     

基于目标图像先验信息的无监督多聚焦图像融合

多聚焦图像融合（MFIF）是从不同源图像中获取聚焦区域,以形成全清晰图像的一种图像增强方法。针对目前MFIF方法主要存在的两个方面问题,即传统的空间域方法在其融合边界存在较强的散焦扩散效应（DSE）以及伪影等问题;深度学习方法缺乏还原光场相机生成的数据集,并且因需要大量手动调参而存在训练过程耗时过多等问题,提出了一种基于目标图像先验信息的无监督多聚焦图像融合方法。首先,将源图像本身的内部先验信息和由空间域方法生成的初始融合图像所具有的外部先验信息分别用于G-Net和F-Net网络输入,其中,G-Net和F-Net网络都是由UNet组成的深度图像先验（DIP）网络;然后,引入一种由空间域方法生成的参考掩膜辅助G-Net网络生成引导决策图;最后,该决策图联合初始融合图像对F-Net网络进行优化,并生成最终的融合图像。验证实验基于具有真实参考图像的Lytro数据集和融合边界具有强DSE的MFFW数据集,并选用了5个广泛应用的客观指标进行性能评价。实验结果表明,该方法有效地缩短了优化迭代次数,在主观和客观性能评价上优于8种目前最先进的MFIF方法,尤其在融合边界具有强DSE的数据集上表现得更有优势。     

改进稀疏表示与积化能量和的多聚焦图像融合

为解决多聚焦图像融合算法中细节信息保留受限的问题,提出改进稀疏表示与积化能量和的多聚焦图像融合算法。首先,对源图像采用非下采样剪切波变换,得到低频子带系数和高频子带系数。接着,通过滑动窗口技术从低频子带系数中提取图像块,构造联合局部自适应字典,利用正交匹配追踪算法计算得到稀疏表示系数,利用方差能量加权规则得到融合后的稀疏系数,再通过反向滑动窗口技术获得融合后的低频子带系数;然后,对于高频子带系数提出积化能量和的融合规则,得到融合后高频子带系数;最后,通过逆变换获得融合图像。实验结果表明,该算法能保留更详细的细节信息,在视觉质量和客观评价上具有一定的优势。     

基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L₁范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解（K-SVD）算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为：71.0783、21.9708、3.6790、0.6603、0.7352和0.7339。该方法可以应用于临床诊断和辅助治疗。     

基于稀疏表示的自适应图像融合方法研究

图像融合是将两幅或两幅以上由不同传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息融合为一幅图像,使得融合图像更有利于人们分析和理解。基于目前经典的图像融合方法的基础,提出一种新的基于稀疏表示的自适应图像融合算法。首先根据训练的超完备字典将两幅源图像表示为两组稀疏系数,然后根据系数的特征自适应地选取融合规则对系数进行融合,最后由融合系数和字典进行重构得到融合图像。该算法在稀疏表示的过程中能够有效地避免产生块效应且能去除噪声,从而提高图像质量。实验结果表明该方法在主观和客观评价上均优于其他算法。     

Multi-focus image fusion using dictionary-based sparse representation

Multi-focus image fusion has emerged as a major topic in image processing to generate all-focus images with increased depth-of-field from multi-focus photographs. Different approaches have been used in spatial or transform domain for this purpose. But most of them are subject to one or more of image fusion quality degradations such as blocking artifacts, ringing effects, artificial edges, halo artifacts, contrast decrease, sharpness reduction, and misalignment of decision map with object boundaries. In this paper we present a novel multi-focus image fusion method in spatial domain that utilizes a dictionary which is learned from local patches of source images. Sparse representation of relative sharpness measure over this trained dictionary are pooled together to get the corresponding pooled features. Correlation of the pooled features with sparse representations of input images produces a pixel level score for decision map of fusion. Final regularized decision map is obtained using Markov Random Field (MRF) optimization. We also gathered a new color multi-focus image dataset which has more variety than traditional multi-focus image sets. Experimental results demonstrate that our proposed method outperforms existing state-of-the-art methods, in terms of visual and quantitative evaluations.     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

微距摄影的多聚焦图像拍摄和融合

目的 对于微距摄影来说,由于微距镜头的景深有限,往往很难通过单幅照片获得拍摄对象全幅清晰的图像.因此要想获取全幅清晰的照片,就需要拍摄多幅具有不同焦点的微距照片,并对其进行融合.方法 传统的微距照片融合方法一般都假定需要融合的图像是已经配准好的,也并没有考虑微距图像的自动采集.因此提出了一种用于微距摄影的多聚焦图像采集和融合系统,该系统由3个部分组成.第1部分是一种微距图像拍摄装置,该硬件能够以高精度的方式拍摄物体在不同焦距下的微距照片.第2部分是一个基于不变特征的图像配准组件,它可以对在多个焦点下拍摄的微距图像进行自动配准和对齐.第3部分是一个基于图像金字塔的多聚焦图像融合组件,这个组件能够对已经对齐的微距照片进行融合,使得合成的图像具有更大的景深.该组件对基于图像金字塔的融合方法进行了扩展,提出了一种基于滤波的权重计算策略.通过将该权重计算与图像金字塔相结合,得到了一种基于多分辨率的多聚焦图像融合方法.结果 论文使用设计的拍摄装置采集了多组实验数据,用以验证系统硬件设计和软件设计的正确性,并使用主观和客观的方法对提出的系统进行评价.从主观评价来看,系统合成的微距图像不仅具有足够的景深,而且在高分辨率下也能够清晰地呈现物体微小的细节.从客观评价来看,通过将系统合成的微距图像与其他方法合成的微距图像进行量化比较,在标准差、信息熵和平均梯度3种评价标准中都是最优的.结论 实验结果表明,该系统是灵活和高效的,不仅能够对多幅具有不同焦点的微距图像进行自动采集、配准和融合,并且在图像融合的质量方面也能和其他方法相媲美.     

Image matting for fusion of multi-focus images in dynamic scenes

In this paper, we address the problem of fusing multi-focus images in dynamic scenes. The proposed approach consists of three main steps: first, the focus information of each source image obtained by morphological filtering is used to get the rough segmentation result which is one of the inputs of image matting. Then, image matting technique is applied to obtain the accurate focused region of each source image. Finally, the focused regions are combined together to construct the fused image. Through image matting, the proposed fusion algorithm combines the focus information and the correlations between nearby pixels together, and therefore tends to obtain more accurate fusion result. Experimental results demonstrate the superiority of the proposed method over traditional multi-focus image fusion methods, especially for those images in dynamic scenes.