基于多尺度边缘保持分解与PCNN的医学图像融合

在医学图像融合过程中,传统多尺度分析方法多采用线性滤波器,由于无法保留图像边缘特征导致分解阶段的强边缘处出现模糊,从而产生光晕。为提高融合图像的视觉感知效果,通过结合多尺度边缘保持分解方法与脉冲耦合神经网络（PCNN）,提出一种新的图像融合方法。对源图像进行加权最小二乘滤波分解得到图像的基础层和细节层,采用高斯滤波器对基础层进行二次分解得到低频层和边缘层,将分解过程中每级边缘层和细节层叠加构建高频层,并引入非下采样方向滤波器组进行方向分析。在此基础上,利用改进的空间频率以及区域能量激励PCNN融合高频层和低频层,通过逆变换得到最终的融合图像。实验结果表明,该方法能够突出医学图像的边缘轮廓并增强图像细节,可将更多的显著特征从源图像分离并转移到融合图像中。     

基于冗余小波变换与引导滤波的多聚焦图像融合

针对传统多尺度变换在多聚焦图像融合中存在的边缘晕圈问题,提出了一种基于冗余小波变换与引导滤波的多聚焦图像融合算法。首先,利用冗余小波变换对图像进行多尺度分解,将源图像分解为一个相似平面和一系列小波平面,该多尺度分解能够有效地提取源图像中的细节信息;然后,对相似平面和小波平面分别采用引导滤波的加权融合规则来构造加权映射,从而得到相似平面和小波平面的加权融合系数;最后,进行冗余小波逆变换,即可得到融合结果图。实验结果表明,与传统融合算法相比,所提算法能够更好地体现图像边缘的细节特征,取得了较好的融合效果。     

基于内生长机制和卷积稀疏表示的红外与可见光图像融合

为了提升红外与可见光图像融合视觉效果,克服融合结果的伪影效应,提出一种基于内生长机制结合卷积稀疏表示的图像融合方法.首先,采用符合人类大脑推理的内生长机制对源图像进行分解,获取预测层和细节层;其次,对细节层采用卷积稀疏表示进行二次分解,获取二次细节层和基本层,并分别对其采用活动水平测度取大以及加权平均规则进行融合;再次,针对预测层定义ISR混合算子融合规则,并进行融合;最后,将融合后的预测层和细节层相加获取最终融合结果.实验中,采用3组具有代表性的红外与可见光图像进行算法测试,实验结果表明所提出的方法具有较好的主观视觉效果,并且客观评价指标更好,具有有效性.     

基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架。首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层。然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利用字典学习算法训练出一种联合字典,同时引入一种多范数的活跃度度量方法选择稀疏系数;细节层的融合则采用自适应加权局部区域能量的融合规则。最后将融合后的平滑层和细节层进行多尺度重构得到融合图像。针对三类不同成像模态的医学图像进行对比实验,结果表明,该方法较其他多尺度变换和稀疏表示的方法能够保留更多显著的边缘特征,对比度也有明显提升,在视觉效果和客观评价上都具有一定优势。     

基于潜在低秩表示及导向滤波的红外与可见光图像融合方法

针对红外与可见光图像融合过程中出现的细节损失严重等问题,提出一种基于潜在低秩表示与导向滤波的红外与可见光图像融合方法.首先,采用潜在低秩表示方法将源图像分解为低秩图层和显著图层,为了更多地提取低秩图层中细节信息,采用导向滤波将低秩图层分解基础图层和细节图层;并针对基础图层、细节图层和显著图层的特性,分别采用视觉显著度加权法、梯度显著度加权法、绝对值最大选择法作为融合规则.特别地,为了解决初始权重具有噪声且不与物体边界对齐问题,采用导向滤波优化初始权重.最后,将基础融合图层、细节融合图层和显著融合图层经叠加运算得到融合图像.通过对比多组融合图像主、客观评价结果表明,该方法能有效挖掘源图像的细节信息,在视觉质量和客观评价方法优于其他图像融合方法.     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

基于拉普拉斯金字塔和CNN的医学图像融合算法

医学图像融合技术因其包含多模态的图像信息,在临床应用中起着越来越重要的作用。医学图像融合效果符合人类视觉感知,减少先验知识对融合效果的影响和增强细节表现力一直是努力的方向。提出基于拉普拉斯金字塔和卷积神经网络的医学图像融合方法,针对图像伪影的问题采用区域拉普拉斯金字塔,为保存更多的细节信息并使参数自适应,对卷积神经网络进行改进。将源图像分别输入区域拉普拉斯金字塔进行分解,采用改进的卷积神经网络生成最优权重图指导融合过程,通过逆过程生成融合图像。实验结果表明,提出的方法在主观视觉和客观评价指标上都取得了良好的融合效果。     

Contourlet变换系数加权的医学图像融合

目的 由于获取医学图像的原理和设备不同,不同模式所成图像的质量、空间与时间特性都有较大差别,并且不同模式成像提供了不互相覆盖的互补信息,临床上通常需要对几幅图像进行综合分析来获取信息。方法 为了提高对多源图像融合信息的理解能力,结合Contourlet变换在多尺度和多方向分析方法的优势,将Contourlet变换应用于医学图像融合中。首先将源图像经过Contourlet变换分解获得不同尺度多个方向下的分解系数。其次通过对Contourlet变换后的系数进行分析来确定融合规则。融合规则主要体现在Contourlet变换后图像中的低频子带系数与高频子带系数的优化处理中。针对低频子带主要反映图像细节的特点,对低频子带系数采用区域方差加权融合规则;针对高频子带系数包含图像中有用边缘细节信息的特点,对高频子带系数采用基于主图像的条件加权融合规则。最后经过Contourlet变换重构获得最终融合图像。结果 分别进行了基于Contourlet变换的不同融合规则实验对比分析和不同融合方法实验对比分析。通过主观视觉效果及客观评价指标进行评价,并与传统融合算法进行比较,该算法能够克服融合图像在边缘及轮廓部分变得相对模糊的问题,并能有效地融合多源医学图像信息。结论 提出了一种基于Contourlet变换的区域方差加权和条件加权融合算法。通过对CT与MRI脑部医学图像的仿真实验表明,该算法可以增加多模态医学图像互补信息,并能较好地提高医学图像融合的清晰度。     

一种基于低频域边缘增强的小波融合方法

提出了一种基于低频域边缘增强的小波融合方法。首先,对参加融合的两幅图像进行小波多尺度分解,然后对最高层（分辨率最低层）高频细节分量图像进行区域绝对值取大和对其它层高频细节分量图像按区域方差最大化的原则进行融合,而对低频近似分量图像采用尺度系数卷积后区域特征度量的融合方法,增强了低频域的边缘,并采用均方根误差对该方法进行了客观评价。实验结果表明该方法有很好的融合效果,与已有的低频域平均法和尺度系数卷积融合方法相比,能更好地突出低频域边缘细节信息和区域特征。     

基于暗通道先验和优化自动色阶的图像去雾算法

针对暗通道先验产生的图像深度边缘上的白色晕圈、天空区域失真等问题,提出基于暗通道先验和优化自动色阶的单图像去雾算法.引入改进暗通道先验对透射率进行导向滤波,精细化透射率传播图,利用加权最小二乘法保留图像边缘信息,以优化自动色阶增强图像.采用定性与定量分析相结合的方法对该算法和几种经典去雾算法进行评价,结果表明该算法能够在保持图像颜色质量的同时保留细节清晰,具有更好的视觉感知.     

利用NSCT域邻域特性区域化方法融合红外与微光图像

针对同一场景的红外与微光(可见光)图像融合问题,提出了一种利用邻域特性区域化处理的非下采样Contourlet变换(NSCT)融合方法.首先,对红外和微光源图像进行多尺度、多方向分解;然后对低频系数采用邻域能量上改进的区域化加权融合规则,高频系数采用邻域能量区域化匹配的系数选择方案与邻域方差上的区域方差取大融合规则;最后利用NSCT反变换进行重构得到融合图像.实验结果表明,本文方法信息熵略低于亮度过度增大的参考文献中的方法,由于传统方法引入虚假细节信息导致空间频率略高于所提方法,但其互信息与边缘保持度(Q)指标值较好,其融合图像整体效果优于对比方法.本文方法在保留源图像主要信息及捕捉细节信息方面效果显著,且融合的图像具有较好的视觉效果.     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于多卷积神经网络融合的SAR舰船分类

针对SAR图像中小型舰船分类准确率较低的问题,提出一种多卷积神经网络加权融合的方法。首先构建高分辨率卷积神经网络对特征图进行多尺度融合,引入微调模型和标签平滑减少训练过拟合的问题;然后利用高分辨网络、MobileNetv2网络和SqueezeNet网络训练3种单分类模型;最后采用加权投票方式对3种分类模型的结果进行融合。采用融合算法对GF-3号舰船数据集进行分类实验,取得94.83%的准确率、95.43%的召回率和0.9513的F1分数的分类性能。实验结果表明,该舰船分类算法模型具有较优的分类能力,验证了其在高分辨率SAR图像舰船分类上的有效性。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于可协调经验小波变换的多聚焦图像融合

提出了可协调经验小波变换,并将其应用于多聚焦图像融合。经验小波变换（EWT）是一种自适应信号分解方法,具有比经验模态分解和传统小波分解更好的特性。其核心思想是通过构造自适应的滤波器实现对信号的自适应分解。但是若直接对两幅多聚焦图像分别进行EWT分解,因各自生成的经验小波互不相关,将出现分解所得对应子带不匹配的情况,影响融合图像的质量。针对这一问题,提出了一种可协调的经验小波变换（C-EWT）,C-EWT分解下的两个多聚焦图像的对应子带是完全匹配的。基于此,利用C-EWT提出了一种新的多聚焦图像融合算法。每幅源图像经过C-EWT分解后,得到一个低频分量和多个高频分量; 对低频分量采用基于改进Laplacian能量和的阈值匹配选择与加权规则进行融合,对高频分量则采用局部Log-Gabor能量取大的融合规则;将融合之后的各子带分量进行重构得到融合图像。仿真实验表明：与其他六种融合算法相比,所提算法在融合聚焦区域、保留边缘和细节信息方面具有优势,融合图像具有更好的视觉效果,且客观评价指标与标准图像最为接近。     

卷积稀疏与细节显著图解析的图像融合

目的 针对图像融合中信息量不够丰富和边缘细节模糊问题,结合多尺度分析、稀疏表示和显著性特征等图像表示方法,提出一种卷积稀疏与细节显著图解析的图像融合方法。方法 首先构造一种自适应样本集,训练出契合度更高的字典滤波器组。然后将待融合图像进行多尺度分析得到高低频子图,对低频子图进行卷积稀疏表示,通过权重分析构建一种加权融合规则,得到信息量更加丰富的低频子图;对高频子图构造细节显著图,进行相似性分析,建立一种高频融合规则,得到边缘细节更加凸显的高频子图。最后进行相应逆变换得到最终图像。结果 实验在随机挑选的3组灰度图像集和4组彩色图像集上进行,与具有代表性的7种融合方法进行效果对比。结果表明,本文方法的视觉效果明显较优,平均梯度上依次平均提高39.3%、32.1%、34.7%、28.3%、35.8%、28%、30.4%;在信息熵上依次平均提高6.2%、4.5%、1.9%、0.4%、1.5%、2.4%、2.9%;在空间频率上依次平均提高31.8%、25.8%、29.7%、22.2%、28.6%、22.9%、25.3%;在边缘强度上依次平均提高39.5%、32.1%、35.1%、28.8%、36.6%、28.7%、31.3%。结论 本文方法在一定程度上解决了信息量不足的问题,较好地解决了图像边缘细节模糊的问题,使图像中奇异性更加明显的内容被保留下来。     

基于提升机制小波变换的SAR与多光谱图像融合算法

在对提升机制小波变换的原理和特点研究的基础上，结合SAR图像与多光谱图像不同成像特性，提出了一种基于提升小波变换区域融合的SAR与多光谱图像融合方法。对于小波变换后的高频子图像，选择区域标准差大的作为融合后的子图像；对于低频子图像，定义区域均值的平均相对偏差作为阈值，融合子图像区域均值偏差大干阈值时，采用逻辑滤波方法融合，反之采用基于像素值加权、平均的融合规则。实验证明，该算法能够有效融合SAR与多光谱图像之间的互补信息，与其它用于图像融合的小波变换方法相比，运筹速度较快，易于DSP实现。