热红外与可见光图像融合算法研究

融合热红外与可见光图像能够达到信息的互补,弥补单一模态在某些条件下的不足,因此具有较高的研究和应用价值。采用了一种基于稀疏表示模型的热红外与可见光图像融合算法。首先,根据一定量图像样本学习出较为完备的字典。其次,对于给定的两模态图像对,通过稀疏表示模型在学习出的字典上分别对其进行稀A表示。同时,为了提高鲁棒性,使用了拉普拉斯约束对表示系数进行正则化。然后,根据融合算法对两模态图像进行有效融合。最后,在公共的图像以及收集的图像上进行了实验,实验结果表明,该算法能够有效地融合两模态图像的信息。     

基于稀疏表示的医学图像融合

针对传统基于K阶奇异值分解(KSVD)的字典学习算法时间复杂度高,学习字典对源图像的表达能力不理想,应用于医学图像融合效果差的问题,提出了一种新的字典学习方法:在字典学习之前对医学图像的特征信息进行筛选,选取能量和细节信息丰富的图像块作为训练集学习字典;根据学习得到的字典建立源图像的稀疏表示模型,运用正交匹配追踪算法(OMP)求解每个图像块的稀疏系数,采用"绝对值最大"策略构造融合图像的稀疏表示系数,最终得到融合图像.实验结果表明:针对不同的医学图像,提出的方法有效.     

基于稀疏表示的自适应图像融合方法研究

图像融合是将两幅或两幅以上由不同传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息融合为一幅图像,使得融合图像更有利于人们分析和理解。基于目前经典的图像融合方法的基础,提出一种新的基于稀疏表示的自适应图像融合算法。首先根据训练的超完备字典将两幅源图像表示为两组稀疏系数,然后根据系数的特征自适应地选取融合规则对系数进行融合,最后由融合系数和字典进行重构得到融合图像。该算法在稀疏表示的过程中能够有效地避免产生块效应且能去除噪声,从而提高图像质量。实验结果表明该方法在主观和客观评价上均优于其他算法。     

基于改进l1范数和稀疏表示的SAR与司见光图像快速融合算法

针对多尺度融合算法中合成孔径雷达(SAR)与可见光图像融合结果目标信息易缺失、对比度不高的缺点,提出了一种基于改进I1范数和稀疏表示的图像融合算法,以有效保留源图像的目标信息.首先对SAR与可见光图像经支持度变换(SVT)分解得到的低频系数进行过完备稀疏融合,采用改进l1范数的稀疏系数融合规则以有效保留源图像目标信息,并进行零均值化处理提高了算法运行效率,然后利用基于区域能量的高频融合规则,最大化保留边缘纹理等细节信息.实验结果证明了该算法的有效性.     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标，可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势，可以清楚地显示热源目标及其背景，在军事侦察、安防监控、遥感监测等领域有着广泛的应用，已成为图像融合领域的重点研究方向。近年来，国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍，包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法，对常见的多种客观评价指标进行了归类分析。然后开展对比实验，对各种方法进行了主观评价和定量分析，指出不同方法的优势和不足。最后，对红外和可见光图像融合技术的未来发展趋势进行展望。     

基于混合模型驱动的红外与可见光图像融合

为了解决红外与可见光图像融合中显著特征不突出、图像对比度低的问题,提出一种混合模型驱动的融合算法.首先,采用潜在低秩表示模型分别提取红外与可见光图像的基础子带、显著子带及稀疏噪声子带;其次,采用非下采样剪切波变换模型将基础子带分解为低频系数和高频系数,对低频系数采用字典学习和稀疏表示进行精确拟合,对高频系数采用局部窗口结合逻辑加权进行选择;再次,显著子带采用区域能量比阈值自适应加权法进行融合;最后,对融合后的低频系数和高频系数进行一级重建,得到融合基础子带,舍弃稀疏噪声子带,再结合融合显著子带进行二级重建,得到融合图像.实验结果表明:所提出算法能够得到蕴含丰富信息且较为清晰的融合图像,具有可行性;融合结果的对比度较高,目标轮廓显著,能够提升场景的辨识度,具有有效性.     

基于K-SVD的低信噪比WMSN视频图像稀疏去噪

无线多媒体传感器网络WMSN因感知视频等信息的优势而被广泛应用,但受天气、光照等外因干扰,所采集视频图像常含有较为严重的噪声。因此,在低信噪比条件下进行视频图像去噪是保证WMSN视频监测有效性和可靠性的关键。在分析WMSN视频图像特征的基础上,首先对其进行周期性采集、分帧及帧差等预处理;然后对关键帧运用K SVD训练DCT冗余字典以充分稀疏表示图像特征,并采用基于残差比的改进型Batch OMP实现关键帧去噪及重构,而对残差帧则基于DCT冗余字典进行稀疏去噪处理;最后,叠加去噪后的关键帧和残差帧,从而整体上实现低信噪比WMSN视频图像的去噪及重构。实验表明,本算法能更加有效地、较为快速地滤除视频图像噪声,适用于低信噪比WMSN视频图像去噪。     

基于结构组稀疏表示的遥感图像融合

目的 稀疏表示在遥感图像融合上取得引人注目的良好效果,但由于经典稀疏表示没有考虑图像块与块之间的相似性,导致求解出的稀疏系数不够准确及字典学习的计算复杂度高。为提高稀疏表示遥感图像融合算法的效果和快速性,提出一种基于结构组稀疏表示的遥感图像融合方法。方法 首先,将相似图像块组成结构组,再通过组稀疏表示算法分别计算亮度分量和全色图像的自适应组字典和组稀疏系数;然后,根据绝对值最大规则进行全色图像稀疏系数的部分替换得到新的稀疏系数,利用全色图像的组字典和新的稀疏系数重构出高空间分辨率亮度图像;最后,应用通用分量替换（GCOS）框架计算融合后的高分辨率多光谱图像。结果 针对3组不同类型遥感图像的全色图像和多光谱图像分别进行了退化和未退化遥感融合实验,实验结果表明：在退化融合实验中,本文方法的相关系数、均方根误差、相对全局融合误差、通用图像质量评价指标和光谱角等评价指标比传统的融合算法更优越,其中相对全局融合误差分别是2.326 1、1.888 5和1.816 8均远低于传统融合算法;在未退化融合实验中,除了在绿色植物融合效果上略差于AWLP（additive wavelet luminance proportional）方法外,其他融合结果仍占有优势。与经典稀疏表示方法相比,由于字典学习的优越性,计算复杂度上要远低于经典稀疏表示的遥感图像融合算法。结论 本文算法更能保持图像的光谱特性和空间信息,适用于不同类型遥感图像的全色图像和多光谱图像融合。     

基于内生长机制和卷积稀疏表示的红外与可见光图像融合

为了提升红外与可见光图像融合视觉效果,克服融合结果的伪影效应,提出一种基于内生长机制结合卷积稀疏表示的图像融合方法.首先,采用符合人类大脑推理的内生长机制对源图像进行分解,获取预测层和细节层;其次,对细节层采用卷积稀疏表示进行二次分解,获取二次细节层和基本层,并分别对其采用活动水平测度取大以及加权平均规则进行融合;再次,针对预测层定义ISR混合算子融合规则,并进行融合;最后,将融合后的预测层和细节层相加获取最终融合结果.实验中,采用3组具有代表性的红外与可见光图像进行算法测试,实验结果表明所提出的方法具有较好的主观视觉效果,并且客观评价指标更好,具有有效性.     

基于边缘保留分解和改进稀疏表示的医学图像融合

针对多模态医学图像融合中容易产生伪影且存在细节缺失的问题,提出一种利用多尺度边缘保留分解和稀疏表示的二尺度多模态医学图像融合方法框架。首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层。然后,将改进的稀疏表示算法用于融合平滑层,并在此基础上提出一种基于图像块筛选的策略来构建过完备字典的数据集,再利用字典学习算法训练出一种联合字典,同时引入一种多范数的活跃度度量方法选择稀疏系数;细节层的融合则采用自适应加权局部区域能量的融合规则。最后将融合后的平滑层和细节层进行多尺度重构得到融合图像。针对三类不同成像模态的医学图像进行对比实验,结果表明,该方法较其他多尺度变换和稀疏表示的方法能够保留更多显著的边缘特征,对比度也有明显提升,在视觉效果和客观评价上都具有一定优势。     

基于NSCT和卷积稀疏表示的红外与可见光图像融合

针对红外与可见光图像融合时出现的细节模糊、对比度降低等问题,论文提出了一种基于非下采样轮廓波变换(Nonsubsampled Contourlet Transform,NSCT)和卷积稀疏表示(Convolutional Sparse Representation,CSR)的图像融合方法.首先,分别对红外图像和可见光图...     

可见光-近红外HSV图像融合的场景类字典稀疏识别方法

针对典型自然场景智能观测的需求,为提高稀疏分类器在小样本数据库上的识别精度,提出一种可见光和近红外（NIR）HSV图像融合的场景类字典稀疏识别方法。首先,利用一直应用在计算机视觉显示领域中的图像HSV伪彩色处理技术将近红外图像与可见光图像融合;然后,对融合图像进行通用搜索树（GiST）特征和分层梯度方向直方图（PHOG）特征的提取与融合;最后,结合提出的类字典稀疏识别方法得到场景分类结果。所提方法在RGB-NIR数据库上的实验识别精度达到了74.75%。实验结果表明,融合近红外信息的场景图像的识别精度高于未融合时的识别精度,所提方法能够有效增加稀疏识别框架下场景目标的信息表征质量。     

Infrared and visible image fusion based on random projection and sparse representation

A new image fusion approach for infrared and visible images is explored, combining fusion with data compression based on sparse representation and compressed sensing. The proposed approach first compresses the sensing data by random projection and then obtains sparse coefficients on compressed samples by sparse representation. Finally, the fusion coefficients are combined with the fusion impact factor and the fused image is reconstructed from the combined sparse coefficients. Experimental results validate its rationality and effectiveness, which can achieve comparable fusion quality on the less-compressed sensing data.     

Pixel-level image fusion with simultaneous orthogonal matching pursuit

Pixel-level image fusion integrates the information from multiple images of one scene to get an informative image which is more suitable for human visual perception or further image-processing. Sparse representation is a new signal representation theory which explores the sparseness of natural signals. Comparing to the traditional multiscale transform coefficients, the sparse representation coefficients can more accurately represent the image information. Thus, this paper proposes a novel image fusion scheme using the signal sparse representation theory. Because image fusion depends on local information of source images, we conduct the sparse representation on overlapping patches instead of the whole image, where a small size of dictionary is needed. In addition, the simultaneous orthogonal matching pursuit technique is introduced to guarantee that different source images are sparsely decomposed into the same subset of dictionary bases, which is the key to image fusion. The proposed method is tested on several categories of images and compared with some popular image fusion methods. The experimental results show that the proposed method can provide superior fused image in terms of several quantitative fusion evaluation indexes.     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法中的最优结果分别提升了0.508%、7.347%、14.849%、9.927%和1.281%。结论 与具有领先水平的红外与可见光算法以及现有的融合策略相比,本文融合算法基于特有信息分离和质量引导,融合结果具有更丰富的场景信息、更强的对比度,视觉效果更符合人眼的视觉特征。     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

An infrared and visible image fusion method based on multi-scale transformation and norm optimization

In this paper, we propose a new infrared and visible image fusion method based on multi-scale transformation and norm optimization. In this method, a new loss function is designed with contrast fidelity (L2 norm) and sparse constraint (L1 norm), and the split Bregman method is used to optimize the loss function to obtain pre-fusion images. The final fused base layer is obtained by using a multi-level decomposition latent low-rank representation (MDLatLRR) method to decompose the pre-fusion images. Then, using the pre-fusion image as the reference, image structure similarity (SSIM) is introduced to evaluate the validity of detail information from the visible image, and the SSIM is then transformed into a weight map which is applied to the optimization method based on L2 norm to generate the final detail fusion layer. Our proposed method is evaluated and compared with 18 state-of-the-art image fusion methods, both qualitatively and quantitatively on four public datasets (i.e., CVC14 driving dataset, TNO dataset with natural scenarios, RoadScene dataset, and whole brain atlas dataset). The results show that our proposed method is generally better than the compared methods in terms of highlighting targets and retaining effective detail information.     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.