各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

一种多小波滤波器在医学图像融合中的应用

医学图像融合为临床诊断、手术设计与效果评估等提供不同模态影像互补信息。构造具有3阶消失矩的双正交多小波滤波器,其以高斯函数一次泰勒规范展开正交化后得到的完备二次单位正交基作为尺度函数。利用构造的多小波滤波器,分别对CT、MRI医学图像进行分解,使用基于多小波分解改进的局部能量加权规则融合图像。结果表明改进规则融合了源图像主要信息,优于常用的融合规则。应用构造的多小波滤波器可有效地融合医学图像,略优于DGHM多小波。     

各向异性扩散与高斯差分模型的多聚焦图像融合方法

利用各向异性扩散模型具有良好的边缘保持特性,提出一种基于各向异性扩散滤波与高斯滤波差分规则的图像融合算法。各向异性扩散方程对图像进行滤波操作,在图像的同质区域实施正向扩散以平滑图像,而在图像边缘实行较弱平滑以保护边缘细节信息。将通过各向异性扩散模型处理的图像与经过高斯函数滤波的结果图像进行差分操作,可以得到图像的高频系数信息。为提高健壮性,对高频系数进行小窗口累加,其作为像素选择准则,再分别从原始图像中直接获取对应的像素值组成融合结果图像。实验结果表明,所提出的方法可以有效地融合源图像信息,非常适合多聚焦     

基于图像融合的自适应水下图像增强

针对水下图像对比度低及细节模糊的问题,提出一种基于图像融合的自适应水下图像增强方法,实现不同类型水下图像的增强效果。基于颜色校正方法对水下图像进行颜色均衡化预处理;对亮度分量L进行Gamma校正,获得对比度提升的亮度图像;对两个亮度分量进行三层小波分解,提出对分解所得的低频分量及高频分量分别采用线性融合和自适应融合策略进行融合。多尺度融合保证了增强图像细节的丰富性,自适应融合策略体现了融合过程的可控性。实验结果表明,增强的水下图像呈现出高对比度和清晰的细节。     

核Fisher判别分析在多聚焦图像融合中的应用

提出一种基于核Fisher判别分析与图像块分割的多聚焦图像融合方法。该方法首先将源图像进行块分割,计算反映图像块聚焦程度的清晰度特征;再将源图像的部分区域作为训练样本,获得训练后的核Fisher判别分析参数;然后利用已知的核Fisher判别分析获得初步融合图像;最后对位于源图像清晰与模糊区域交界处的源图像块利用冗余小波变换进行处理后,得到最终融合图像。实验结果表明,该方法的图像融合效果优于常用图像融合方法,可在有效提高图像融合质量与减少计算量之间获得较好的折衷。     

基于双边滤波的多尺度图像融合

提出一种彩色图像和近红外图像的融合算法,先给出一种改进核函数的双边滤波器,然后应用该双边滤波器和高斯滤波器相结合多次作用于彩色图像和近红外图像,得到低频图像、边缘图像、细节图像等不同尺度的图像,在不同尺度图像融合的权重选择上,提出一种自适应的权重选择法。该方法综合考虑参与融合的各像素点的邻域来确定各点权重,不仅抑制了融合图像噪声,还使融合图像色彩更贴近原彩色图像。实验表明该方法得到的融合图像具有符合人眼观测习惯的颜色信息,此外融合图像的纹理、边缘等细节信息比原彩色图像更丰富。     

基于引导滤波和快速共现滤波的红外和可见光图像融合

针对红外和可见光图像融合结果背景信息不足、对比度较低的问题,提出一种结合引导滤波和快速共现滤波的融合方法。首先,以高斯滤波将源图像分解为细节层和基础层。然后以去除值域滤波器、全局统计共现信息的方式简化共现滤波,形成快速共现滤波,再用其融合细节层;此外,引入窗口因子,用图像大小与窗口因子比值确定引导滤波窗口值,再用其融合基础层。实验结果表明该算法增加了图像背景细节,提高了人物与背景的对比度。主观和客观的实验分析验证了该算法的有效性。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

基于多尺度分析的图像融合新方法

提出了一种基于Contourlet多尺度分解的图像融合新方法.该方法首先对源图像进行Contourlet分解,得到高频和低频图像.针对不同频段图像的特性,对于高频和低频图像分别采用不同的融合规则,最后进行Contourlet逆变换得到融合图像.采用平均梯度,熵、平均交叉熵和均方根交叉熵4种准则来评价融合算法的性能.实验结果表明,该方法不仅在客观评价指标上优于小波变换法和塔形分解法,而且从主观评价上来看,该方法得到的融合图像更加清晰.     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法...     

Unbox the black-box for the medical explainable AI via multi-modal and multi-centre data fusion: A mini-review,two showcases and beyond

Explainable Artificial Intelligence (XAI) is an emerging research topic of machine learning aimed at unboxing how AI systems’ black-box choices are made. This research field inspects the measures and models involved in decision-making and seeks solutions to explain them explicitly. Many of the machine learning algorithms cannot manifest how and why a decision has been cast. This is particularly true of the most popular deep neural network approaches currently in use. Consequently, our confidence in AI systems can be hindered by the lack of explainability in these black-box models. The XAI becomes more and more crucial for deep learning powered applications, especially for medical and healthcare studies, although in general these deep neural networks can return an arresting dividend in performance. The insufficient explainability and transparency in most existing AI systems can be one of the major reasons that successful implementation and integration of AI tools into routine clinical practice are uncommon. In this study, we first surveyed the current progress of XAI and in particular its advances in healthcare applications. We then introduced our solutions for XAI leveraging multi-modal and multi-centre data fusion, and subsequently validated in two showcases following real clinical scenarios. Comprehensive quantitative and qualitative analyses can prove the efficacy of our proposed XAI solutions, from which we can envisage successful applications in a broader range of clinical questions.     

Multi-scale local features based on anisotropic heat diffusion and global eigen-structure

Multi-scale local feature detection enables downstream registration and recognition tasks in med- ical image analysis. This paper articulates a novel robust method for multi-scale local feature extraction on volumetric data. The central idea is the elegant unification of local/global eigen-structures within the powerful framework of anisotropic heat diffusion. First, the local vector field is constructed by way of Hessian matrix and its eigenvectors/eigenvalues. Second, anisotropic heat kernels are computed using the vector field＇s global graph Laplacian. Robust local features are manifested as extrema across multiple time scales, serving as volumetric heat kernel signature. To tackle the computational challenge for massive volumetric data, we propose a multi- resolution strategy for hierarchical feature extraction based on our feature-preserving down-sampling approach. As a result, heat kernels and local feature identification can be approximated at a coarser level first, and then are pinpointed in a localized region at a finer resolution. Another novelty of this work lies at the initial heat design directly using local eigenvalue for anisotropic heat diffusion across the volumetric domain. We conduct experiments on various medical datasets, and draw comparisons with 3D SIFT method. The diffusion property of our local features, which can be interpreted as random walks in statistics, makes our method robust to noise, and gives rise to intrinsic multi-scale characteristics.     

用于EVS的改进小波变换图像融合算法

为增强小波变换图像融合算法的实时性,提高视觉增强系统(EVS)可见光图像与红外图像实时融合的效率,提出了一种基于矩阵QR分解和小波变换的图像融合算法.该算法对原始图像的像素矩阵进行QR分解,再利用正交矩阵的性质,根据小波变换图像融合算法对QR分解得到的上三角矩阵进行分解融合,利用QR分解得到的正交矩阵逆变换得到融合图像.实验结果表明,该算法能获得较好的实时性,同时保证较好的融合效果.     

医学图像融合中最佳小波分解层数的选择

根据小波低频子带图像的轮廓模糊度和高频子带图像的细节信息量随小波分解层教增多而增多的规律,从图像熵出发,提出了一种基于低频子带图像熵差的最佳小波分解层数选择法,该方法通过计算不同分解层数下各低频子带的图像熵差,选择最接近原始图像熵差的分解层数作为最佳分解层数.用多种基于小波变换的图像融合法分别对两组医学图像进行仿真实验,结果表明根据该分解层数选择法得到的融合图像目视效果最好,与相关系数、峰值信噪比、模糊Chebyshev距离值等客观评价指标保持了很好的一致性.     

Practical image fusion method based on spectral mixture analysis

Conventional image fusion algorithm, such as IHS, SVR, PCS, etc., may show some defects in inheriting the higher-spectral information embedded in the original lower-spatial resolution MS image.A fusion method based on spectral mixture analysis(FSMA) was proposed in previous study, which has potential in solving this problem.While published results are limited to well-behaved simulated data where the endmembers are known a priori and the FSMA method will not work well when applying to real remotely sensed im...     

基于小波分析的多源图像融合去云技术研究

云干扰是遥感图像解译过程中常遇到的问题。在介绍几种常用于多传感器遥感图像去云方法的基础上,采用多分辨力小波分解的图像融合法来达到对影像的去云目的。仿真结果表明:这种方法对多源或多时相影像进行融合处理,能较好地完成云区或阴影区域的填充与更新,达到了去云的效果。     

基于图文融合的情感分析研究综述

随着信息化技术的不断提升,各类社交平台上带有倾向性的图文数据量快速增长,图文融合的情感分析受到广泛关注,单一的情感分析方法不再能够满足多模态数据的需求.针对图文情感特征提取与融合的技术难题,首先,列举了目前应用较广的图文情感分析数据集,介绍了文本特征和图片特征的提取方式;然后,重点研究了当前图文特征融合方式,简述了在图...     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared （IR） and visible image fu- sion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis （ICA） is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can de- press the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fu- sion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the pro- posed method can provide better perception effect.     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared (IR) and visible image fusion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis (ICA) is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can depress the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fusion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the proposed method can provide better perception effect.