基于卷积稀疏表示的红外与可见光图像融合

稀疏表示是以块为单位进行编码的,因此破坏了图像块间的相关性。针对上述问题,提出了基于卷积稀疏表示的红外与可见光图像融合算法。该算法采用交替方向乘子算法(ADMM)求解非下采样轮廓波变换(NSCT)域强边缘子带的卷积稀疏系数,完成特征响应系数的融合。同时,采用脉冲耦合神经网络(PCNN)模型的点火图完成NSCT域高频子带的融合。实验结果表明:该算法解决了稀疏表示的“块效应”问题,同时又兼具PCNN模型的视觉特性,可以有效地捕捉源图像的特征信息。另外,在主观视觉评价和客观质量评价方面均优于现有算法。     

红外与可见光图像融合技术的研究进展

红外与可见光融合图像既具有红外的辐射信息又具有可见光的细节信息,在生产生活、军事监视等场景得到广泛应用,已然成为图像融合领域的重点研究方向。根据图像融合方法的核心思想、融合框架、研究进展对基于多尺度变换、稀疏表示、神经网络等融合方法进行详细阐述对比,并综述了红外与可见光图像融合在各领域内的应用现状,以及常用的评价指标。并选择具有代表性的多种融合方法与评价指标,应用于六个不同场景,验证各方法的优势与不足。最后,实验分析并总结现有红外与可见光图像融合方法存在的问题,对红外与可见光图像融合技术的发展趋势进行展望。     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于NSST和自适应稀疏表示的紫外光与可见光图像融合

针对紫外成像仪中紫外光图像与可见光图像的灰度值特点及传统的图像融合方法在图像融合时存在紫外光斑信息丢失的问题,提出一种基于非下采样剪切波变换(NSST)和自适应稀疏表示的紫外光与可见光图像融合方法。首先用NSST变换分解源图像,得到低频子带系数和高频子带系数;然后采用邻域标准偏差取大的融合规则融合低频子带系数,生成近似融合图像;根据自适应稀疏思想指导高频子带系数的融合;最后通过逆NSST变换重构得到融合图像。实验结果表明,该方法在保留可见光背景信息的基础上,很好地融合了紫外光斑信息,改善了图像的主观视觉质量,在客观评价指标上也有所提高。     

基于联合稀疏模型的图像融合方法

为了达到清晰化图像的目的,利用不同传感器获取的影像互补信息,提出一种基于联合稀疏模型的红外与可见光图像融合方法.首先使用经过学习的过完备字典将源图像联合稀疏表示成共同稀疏部分和各自的私有稀疏部分;然后设计一种新颖的融合规则对两类稀疏系数进行融合;最后使用融合后的稀疏系数和经过训练的字典重建图像.仿真实验结果表明,该方法提高了红外与可见光图像的融合效果.     

基于潜在低秩表示的红外和可见光图像融合

红外和可见光图像融合广泛应用于目标跟踪、检测和识别等领域。为了保留细节的同时增强对比度,本文提出一种基于潜在低秩表示的红外和可见光图像融合方法。潜在低秩分解将源图像分解为基层和显著层,其中基层包含主要内容和结构信息,显著层包含能量相对集中的局部区域。进一步利用比例金字塔分解得到低频和高频的基层子带,并针对不同层的特点设计对应的融合规则。利用稀疏表示表达低频基层较分散的能量,设计L1范数最大和稀疏系数最大规则,加权平均融合策略保留不同的显著特征;绝对值最大增强高频基层的对比度信息;而显著层则利用局部方差度量局部显著性,加权平均方式突出对比度较强的目标区域。在TNO数据集上的定性和定量实验分析表明方法具有良好的融合性能。基于低秩分解的方法能够增强红外和可见光融合图像中目标对比度的同时保留了丰富的细节信息。     

基于滚动引导滤波器和卷积稀疏表示的红外与可见光图像融合方法

针对红外与可见光图像在融合过程中目标物体的边缘模糊导致细节丢失的问题,提出一种基于滚动引导滤波器（RGF）和卷积稀疏表示（CSR）的红外与可见光图像融合方法。首先,利用RGF和高斯滤波器对配准后的源图像进行多尺度分解;其次,针对基础层,通过构建对比显著图和权重矩阵进行融合;然后,针对细节层,利用交替方向乘子方法（ADMM）求解卷积稀疏系数,采用CSR融合规则完成特征响应系数融合;最后,经过重构得到融合结果图。实验结果表明,所提方法能够克服在目标物体的边缘处模糊导致细节信息丢失的问题,较好地保留源图像的对比度和边缘纹理信息,同时提高了多个客观评价指标。     

融合NSST和稀疏表示的PET和MRI图像融合

图像融合技术旨在解决单模态图像呈现信息不充分、不全面的问题。本文针对红外和可见光图像的融合,提出了一种新的在非下采样剪切波变换（Non-Subsampled Shearlet Transform, NSST）域下基于引导滤波（Guided Filter, GF）和稀疏表示（Sparse Representation, SR）的融合算法。具体地,①利用NSST对红外与可见光图像分别进行分解,以得到各自的高频子带图像和低频子带图像;②使用GF加权融合策略对高频子带图像进行融合;③使用滚动引导滤波器（Rolling Guidance Filter, RGF）将低频子带图像进一步分解为基础层和细节层：其中基础层采用SR进行融合,细节层利用基于一致性验证的局部最大值策略进行融合;④对融合后的高频子带和低频子带图像进行NSST反变换,从而得到最终的融合结果。在公开数据集上的实验结果表明,相较于其它一些方法,本文方法得到的融合结果的纹理细节信息更丰富、主观视觉效果更好,此外,本文算法所得融合结果的客观评价指标也相对占优。     

基于块分类稀疏表示的图像融合算法

针对基于单一字典训练稀疏表示的图像融合算法忽略图像局部特征的问题,提出了基于块分类稀疏表示的图像融合算法。此算法是根据图像局部特征的差异将图像块分为平滑、边缘和纹理三种结构类型,对边缘和纹理结构分别训练出各自的冗余字典。平滑结构利用算术平均法进行融合,边缘和纹理结构由对应字典利用稀疏表示算法进行融合,并对边缘结构稀疏表示中的残余量进行小波变换融合。实验结果证明,该算法相对于单一字典稀疏表示算法,在融合图像的主观评价和客观评价指标上都有显著改进,并且算法速度也有提高。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

一种基于稀疏表示的红外与微光图像的融合方法

根据人类视觉系统及信号的过完备稀疏表示理论,提出了一种基于稀疏表示的红外与微光图像融合算法。该方法首先把图像分割成部分重叠的图像块,由正交匹配追踪算法完成图像块的稀疏分解;然后采用最大值融合准则选择融合系数并完成图像块的重构,得到融合结果图像。实验结果表明,本文算法的融合效果优于小波变换法、Laplacian塔型方法以及PCA方法等传统融合方法。     

可见光与红外图像结构组双稀疏融合方法研究

传统的可见光与红外稀疏表示融合方法,采用图像块构造解析字典或者学习字典,利用字典的原子表征图像的显著特征.这类方法存在两个问题,一是没有考虑图像块与块之间的联系,二是字典的适应能力不够并且复杂度高.针对这两个问题,本文提出可见光与红外图像结构组双稀疏融合方法.该方法首先利用图像的非局部相似性,将图像块构建成图像相似结构组,然后对图像相似结构组进行字典训练,采用双稀疏分解模型,有效结合解析字典和学习字典的优势,降低了字典训练的复杂度,得到的结构字典更加灵活,适应性提高.该方法能够有效提高红外与可见光融合图像的视觉效果,经对比实验分析,在主观和客观评价上都优于传统的稀疏表示融合方法.     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

基于变分多尺度的红外与可见光图像融合

为解决变换域融合法对强噪声抑制能力差的问题,提出一种基于变分多尺度分解的红外与可见光图像融合方法.首先对待融合图像分别进行变分多尺度分解,获得纹理分量和结构分量.采用引导滤波的方法进行待融合图像的纹理分量融合,在结构分量融合上提出一种以相位一致性、清晰度、亮度综合信息来权衡融合权重的方法,最后将两幅图像融合后的纹理分量和结构分量相加获取最终融合图像.实验结果从主观观察和客观指标看,本文方法在清晰度和细节信息上比离散小波变换（discrete wavelet transform）法、非下采样轮廓波变换（non-subsampled contourlet transform）法、稀疏表示（sparse representation）法、剪切波变换（shearlet transform）法都要高.     

可见光与红外融合的汽车抗晕光图像评价方法

为了解决汽车抗晕光场景中,融合图像质量的客观评价与人眼视觉效果不一致的问题,提出了一种新的可见光与红外融合图像质量评价方法,该方法通过设计自适应迭代阈值法自动确定融合图像的晕光临界灰度值,并将融合图像自动分为晕光区和非晕光区.针对晕光区,设计晕光消除度指标评价晕光消除的效果;针对非晕光区,从多方面评价色彩、细节信息的增强效果,并甄选出合适的指标构成完整的图像质量评价体系.为验证该方法的合理性,对采用4种不同算法的融合图像进行评价,实验分析表明,该方法的主客观评价结果一致,适于评判不同可见光与红外融合的抗晕光图像质量及算法的优劣.     

基于非采样Contourlet变换的红外与可见光图像融合方法

针对同一场景的红外与可见光图像融合,提出了一种基于非采样Contourlet变换（NSCT）和改进的脉冲耦合神经网络（IPCNN）的图像融合新算法。首先利用NSCT对图像进行多尺度、多方向稀疏分解,然后针对各带通方向高频子带系数的选择,提出了一种应用IPCNN计算图像匹配度的融合策略。实验结果表明,该算法能够很好地将红外图像与可见光图像中的重要信息提取并注入到融合图像中,与其他方法相比较,取得了更好的融合效果,提高了融合图像的质量。     

基于分块过完备稀疏表示的多聚焦图像融合

提出一种基于分块过完备稀疏表示的多聚焦图像融合算法。该方法将多聚焦源图像对应分块,采用稀疏模型进行分解,得到每个块的稀疏表示系数。考虑到稀疏系数向量的l1范数越大,带的信息量就越多,采用此因子对稀疏系数加权,求得融合系数,结合过完备字典重构融合图像。实验结果表明该图像融合方法取得较好的融合效果且优于传统小波分解融合方法。同时探讨了字典维数对所提出方法的影响。