基于RGF和改进自适应Unit-Linking PCNN的红外与可见光图像融合

为了进一步提高融合图像的对比度和清晰度,提 出一种基于RGF(Rolling Guidance Filter)和改进自适应Unit-Linking PCNN(Unit-Lin king Pulse Coupled Neural Net work)的红外与可见光图像融合方法。首先,源图像利用RGF和高斯滤波器进行多尺度分解。 然后,针对基础层通过计算其最大区域能量,提出了将最大区域能量与源图像相结合的融合 规则;针对细节层利用改进的自适应Unit-Linking PCNN进行处理,得到相应的神经元点火 频率图,计算每个像素点火频率图的边缘特征,并选择两者边缘特征较大的系数作为融合图 像系数。最后,利用多尺度重构融合图像。实验结果表明,本文融合算法能较好地突出图像 的目标信息,提供丰富的背景细节,在图像的清晰度和人眼视觉效果方面取得较好的融合效 果。     

基于变换域VGGNet19的红外与可见光图像融合

针对红外与可见光图像融合中出现细节信息丢失及边缘模糊的问题,提出一种在变换域中通过VGGNet19网络的红外与可见光图像融合方法。首先,为了使得源图像在分解过程中提取到精度更高的基础与细节信息,将源图像利用具有保边平滑功能的多尺度引导滤波器进行分解,分解为一个基础层与多个细节层;然后,采用具有保留主要能量信息特点的拉普拉斯能量对基础层进行融合得到基础融合图;其次,为了防止融合结果丢失一些细节边缘信息,采用VGGNet19网络对细节层进行特征提取,L1正则化、上采样以及最终的加权平均策略得到融合后的细节部分;最后,通过两种融合图的相加即可得最终的融合结果。实验结果表明,本文方法更好地提取了源图像中的边缘及细节信息,在主观评价以及客观评价指标中均取得了更好的效果。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

基于RGF改进显著性检测与SCM相结合的图像融合

针对传统显著性检测融合方法中目标对比度低,纹理细节不够丰富的问题,提出了一种基于滚动导向滤波(RGF)改进显著性检测与脉冲发放皮层模型(SCM)相结合的可见光与红外图像融合算法。该算法先将源图像经过非下采样剪切波变换(NSST)分解成低频部分和高频部分,然后利用RGF小尺度消除、大尺度边缘恢复特性对Frequency Tuned算法进行改进并提取出红外图像显著图。再使用显著图投影区域指导法融合低频部分,同时采用SCM结合区域能量与改进的拉普拉斯能量和融合高频部分,最后使用逆变换重建图像。仿真结果表明,该算法能在突出显著目标的同时保留丰富的细节信息,在质量指标如标准差、互信息、边缘保留因子等方面均优于对比方法。     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

利用结构化和一致性约束的稀疏表示模型进行红外和可见光图像融合

红外和可见光图像融合作为图像融合技术中一个重要组成部分,被广泛应用于军事、工业和生活领域。它能够集成两种模态图像的互补信息,融合成一幅信息丰富、质量较好的图像,不仅能够突出目标信息,还能够保持源有图像的纹理信息和一些显著性的细节。本文提出一种新的红外和可见光图像融合方法,在鲁棒稀疏表示模型的基础上增加了结构化稀疏约束,同时结合了图像区域特征相似的一致性约束项,克服现有一些方法所存在的局部模糊和纹理细节丢失等问题,提高了图像融合的精度。本文主要构建了结构化稀疏表示与一致性约束模型,将其应用到红外和可见光图像融合中并进行了求解,将源图像分解为背景信息和显著性信息,再对背景和显著性信息分别设计融合规则,最后利用字典进行重构,获得红外和可见光融合后的图像。实验结果表明,本文提出的融合算法优于现有的一些多聚焦图像融合算法。      

基于联合稀疏和指导滤波的绝缘子红外与可见光图像融合方法

针对绝缘子红外与可见光图像融合过程中存在绝缘子伞盘边缘信息模糊,亮度低和对比度差等问题,本文提出了基于联合稀疏和参数自适应选择指导滤波的图像融合方法。图像首先经过联合稀疏模型分解,提取共有特征、红外图像特有特征和可见光图像特有特征,并按照特有特征系数的活跃程度调整权重;同时应用参数自适应选择指导滤波方法,能够较好地保留绝缘子图像的边缘信息和细节信息。通过对比实验,本文方法融合结果亮度高、边缘清晰且边缘强度大,同时客观指标也较好。     

改进快速NSST的热烟羽红外与可见光图像融合

针对非下采样剪切波变换逐步划分子带过程中迭代滤波运算效率不高的问题,提出一种非下采样剪切波变换的快速分解重构方法。改进的分解方法根据分解的尺度卷积非下采样金字塔滤波器组中相应的滤波器,用卷积结果对源图像进行滤波,直接生成子带图像,在提高图像分解速度的同时,也相应减少分解迭代滤波的运算量。本文采用一种基于标准差的区域特性量测方法用于低频系数融合,突出低频系数中的轮廓信息;最高频系数融合采用能量取大的融合规则,其余高频系数通过结合改进的拉普拉斯能量和与梯度特性进行融合,使目标烟羽的边缘信息更加清晰。实验结果表明,融合后热烟羽图像目标细节清晰突出;综合客观评价指标来看,本文方法优于一些常用的红外与可见光图像融合方法。     

基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于CSR和能量特征的红外与可见光图像融合

传统稀疏表示(SR)分块处理策略降低了图像连续性,使得特征信息损失严重。因此,提出了基于卷积稀疏表示(CSR)和能量特征的红外与可见光图像融合算法。该算法将非下采样轮廓波变换(NSCT)域低频子带分解成低频基础分量和细节特征分量,使用局部拉普拉斯能量法(LLE)和卷积稀疏表示分别进行融合,获得低频子带融合图像。同时,根据底层视觉特征构建新活性度量方法来融合高频子带,最后对高、低频部分进行NSCT反变换重建。实验结果表明:该算法有效结合了源图像的边缘纹理信息,在主观和客观评价上皆优于现有的大部分算法。     

基于参数自适应PCNN和卷积稀疏的多聚焦图像融合

针对同一目标不同焦点图像优势互补的需求和现有多焦点图像融合算法存在焦点不清晰、边缘模糊和重影等问题,引入一种基于参数自适应脉冲耦合神经网络(PAPCNN)和卷积稀疏表示(CSR)的多聚焦图像融合算法.在非下采样剪切波变换(NSST)分解高低频子带的基础上,采用CSR融合低频子带系数,其中的高频子带系数利用一种参数自适应...     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于卷积稀疏表示的红外与可见光图像融合

稀疏表示是以块为单位进行编码的,因此破坏了图像块间的相关性。针对上述问题,提出了基于卷积稀疏表示的红外与可见光图像融合算法。该算法采用交替方向乘子算法(ADMM)求解非下采样轮廓波变换(NSCT)域强边缘子带的卷积稀疏系数,完成特征响应系数的融合。同时,采用脉冲耦合神经网络(PCNN)模型的点火图完成NSCT域高频子带的融合。实验结果表明:该算法解决了稀疏表示的“块效应”问题,同时又兼具PCNN模型的视觉特性,可以有效地捕捉源图像的特征信息。另外,在主观视觉评价和客观质量评价方面均优于现有算法。     

山区高速公路隧道出入口视觉融合技术研究北大核心CSCD

针对红外非可见光与可见光视觉在成像过程中不同的感光特性,面向隧道典型的“黑洞”和“白洞”问题,从自动驾驶车辆视角研究光照环境突变条件下的视觉辨识以及融合感知技术。分别选取低照度车辆进入隧道以及弱光线条件下车辆驶离隧道两种情形,利用局部能量、卷积稀疏表示算法(CSR)对两种图像进行融合实验,结合MI、SF、AG、QAB/F、SSIM、PSNR六种评价指标进行评价。实验结果表明,在隧道入口处图像CSR-E算法对比Curvelet、NSCT、NSCT-T、SR-C&L、SF-Energy-Q五种算法,边缘信息传递因子(QAB/F)提高了14.14%,隧道出口处图像运行平均时间减少1.17 ms,结构相似性(SSIM)提高了3.38%,所提出的红外非可见光与可见光视觉融合成像方法弥补单一传感器针对特定场景表达的不全面,实现对场景全面清晰准确的表达,有效解决了源图像的边缘信息丢失,增强图像的光谱信息。     

基于FCM与引导滤波的红外与可见光图像融合

针对传统红外与可见光图像融合算法中存在的目标模糊、细节丢失、算法不稳定等问题,提出了一种基于模糊C均值聚类（Fuzzy C-means, FCM）与引导滤波的红外与可见光图像融合方法。原图像经过非下采样剪切波变换（Nonsubsampled Shearlet Transform, NSST）后对低频子带进行引导滤波增强,再利用FCM与双通道脉冲发放皮层模型（Dual Channel Spiking Cortical Model, DCSCM）结合对高低频子带进行融合,最后经NSST逆变换得到融合图像。实验结果表明,本文算法稳定,主观评价上所得融合图像目标明确,细节保留较为完整,客观评价上在标准差、互信息、平均梯度、信息熵和边缘保留因子等评价标准中表现优良。     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法。首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息。针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像。大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法。     

基于目标增强的红外与可见光图像融合技术研究

针对红外和可见光图像融合算法中存在背景模糊和目标不清晰等问题,提出一种基于目标增强的红外与可见光图像融合算法。首先,利用均值滤波的方法获得透射率的粗估计,通过图像统计信息实现粗透射率的细化,依据大气散射模型实现红外图像的目标增强;然后,对目标增强的红外图像和可见光图像采用改进的Prewitt算子进行边缘检测,并将检测结果二值化,对边缘部分采用基于二值信息的融合规则,对非边缘部分采用比值加权分析的融合规则。实验结果表明,采用基于目标增强的图像融合算法不仅能凸显红外图像的目标信息,还能尽可能多的保留可见光图像丰富的细节信息,具有更好的视觉效果和更高的客观质量评价指标。     

卷积稀疏表示和邻域特征结合的多聚焦图像融合

稀疏表示的分块处理破环了图像的连续性,导致 多聚焦融合图像的清晰测度信息严重丢失。针对上述 问题,提出了卷积稀疏表示和邻域特征结合的多聚焦图像融合算法。该算法将非下采样轮廓 波变换(NSCT)域低频子图通过高斯滤波分解 成基础层和细节层,然后选用交替方向乘子算法(ADMM)求解稀疏系数,完成细节层特征响 应系数的融合。同时, 根据聚焦程度测量函数设计了合理的邻域特征,完成了NSCT域高频子图的融合。实验结果表 明:该算法边缘信息 传递因子(QAB/F)指标略低于对比算法, 但空间频率(SF)、平均梯度(AG)、清晰度(SP)以及视觉信息保 真度(VIFF)指标相比于对比算法分别提高了约16.31% 、41.87%、19.2%以及12.07%,有效地提取了源图像更深 层次的清晰测度信息,克服了稀疏表示的块效应缺陷。     

基于稀疏表示和NSCT-PCNN的红外与可见光图像融合

针对小波变换容易造成细节信息丢失、非下采样轮廓波变换(NSCT)分解的低频子带系数不稀疏以及红外与可见光图像融合结果综合性能不佳的问题,提出了一种基于稀疏表示和NSCT-PCNN的红外与可见光图像融合算法。首先将源图像进行NSCT分解,获得低、高频子带;其次,利用K奇异值分解(K-SVD)算法对低频子带进行字典训练,实现低频子带的稀疏表示和低频稀疏系数的融合;然后,利用高频子带的空间频率激励脉冲耦合神经网络(PCNN),选择较大点火次数的系数作为高频子带的融合系数;最后对低、高频子带融合系数进行NSCT逆变换,得到融合的图像。实验结果表明,该算法在视觉效果和客观指标方面均具有较大优势,且融合结果综合性能优于现有算法。     

NSST域模糊逻辑的红外与可见光图像融合

为了在红外与可见光图像融合时保留各自更多的细节信息,同时降低算法复杂度,采用了非下采样剪切波变换（NSST）和改进模糊逻辑的红外与可见光图像融合方法,利用NSST算法对红外图像和可见光图像分别进行多尺度、多方向稀疏分解,分别得到低频子带系数和高频子带系数。然后对低频子带系数采用基于改进的模糊柯西隶属函数的权值平均融合规则;对高频子带系数采用能量匹配度和视觉敏感度系数相结合的融合规则。最后对低频子带融合系数和高频子带融合系数执行NSST逆变换得到最终的融合图像,并进行了理论分析和实验验证。结果表明,此融合方法不仅可以保证融合清晰度,对缩短算法的运行时间也是有帮助的。