基于边缘检测小波变换的红外与可见光图像融合方法

简要地论述了图像融合中主要的三种像素级融合算法,即简单方法、基于塔形分解以及基于小波分解的融合方法,在现有的红外与可见光图像融合方法之上,提出了以边缘检测为基础的一种小波变换图像融合方法,并对融合效果进行了评价。实验结果表明,经该方法对红外与可见光图像的融合可以提供更多、更有效的信息,提高了图像的分辨效果和人眼对场景目标的发现和识别概率,融合效果较为理想。     

基于剪切波变换的可见光与红外图像融合算法

针对不同传感器的图像融合问题,提出一种基于剪切波变换的可见光与红外图像融合算法.首先通过剪切波变换对多源图像进行多尺度多方向分解,获取图像的低频子带与高频子带系数.在融合过程中,针对高、低频子带系数所反映图像尺度特征的差异性,采用相应的区域显著性方法进行量化描述.鉴于两源图的不同物理特性导致同一场景景物灰度分布存在差异的现象,采用区域相似性进行量化区别.综合区域显著性与区域相似性2个参数制定融合规则,实现多尺度分解系数的优化组合,经剪切波反变换重构各融合后的子带系数,获取最终的融合图像.实验结果表明,该算法与相关融合算法相比,在主观视觉效果与客观量化指标性能上均有所改善.     

基于压缩感知的红外与可见光图像融合

基于压缩感知理论提出了一种红外与可见光图像的融合新方法。该方法将Contourlet变换(CT)和小波变换(WT)相结合,以进一步增加变换后系数的稀疏性,同时对采样模式和融合规则进行改进。首先对图像进行Contourlet变换,再对各高层分解系数进行正交小波变换;然后使用各层采样率不同的分立双放射形采样矩阵对系数采样,并用不同的规则对各层采样值进行融合;最后使用非线性共轭梯度法重构融合图像。实验结果表明,在采样率为0.5时,本文方法融合图像的细节信息比小波方法和小波变换压缩感知(WTCS)方法更加丰富;在所有采样率上,本文方法的融合效果比WTCS法在互信息、空间频率和融合信息逼真度等客观融合质量评价指标上均提高约10%。     

多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

基于视觉显著性的红外与可见光图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像,提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,另一方面又尽可能的保留了可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于快速交替引导滤波和CNN的红外与可见光图像融合

为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN（卷积神经网络）以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。     

基于WEMD和生成对抗网络重建的红外与可见光图像融合

针对红外与可见光图像融合中边缘模糊、对比度较低的问题,提出一种二维窗口经验模式分解(WEMD)和生成对抗网络重建的红外与可见光图像融合算法.将红外和可见光图像进行WEMD分解得到内蕴模式函数分量和残余分量,将内蕴模式函数分量通过主成分分析进行融合,残余分量用加权平均进行融合,重构得到初步融合图像,再将初步融合图像输入生...     

基于 HSV 色彩空间的改进红外与可见光图像融合算法研究

为了增强红外与可见光图像融合的目标信息、环境信息以及图像的人眼辨识度,提出 2 种基于 HSV 色彩空间的红外与可见光图像融合算法。每种算法首先将 RGB 和可见光图像分别转为 HSV 图像,并将 H 、 S 和 V 三通道分离,然后对于红外与可见光的 H 、 S 和 V 通道建立合适的数学模型相互映射融合,再将新的 HSV 图像转换到 RGB 图像。结果表明,所提的融合方法相较于传统空间域的处理方法,拥有更加明亮的目标信息、环境信息和视觉效果。     

结合目标提取和压缩感知的红外与可见光图像融合

针对红外与可见光图像融合易受噪声干扰从而使目标信息减弱的问题,提出了一种基于目标区域提取和压缩感知的融合算法。首先,在频率域上对红外图像进行显著区域检测得到其对应的显著度图,并在显著图指导下结合区域生长法提取红外图像的目标区域,有效抑制噪声与复杂背景的干扰。然后,用非下采样剪切波变换对待融合的图像进行分解,采用不同的融合策略分别对目标与背景区域的高、低频子带进行融合。针对背景区域提出一种新的基于多分辨率奇异值分解和压缩感知的融合规则,最后,进行非下采样剪切波逆变换得到融合图像。与其他算法的对比实验结果表明,本文算法能更好地突出目标区域,保留图像细节信息,抑制噪声干扰;图像质量评价指标中的信息熵、标准差、互信息、边缘保持度分别提高了3.94%,19.14%,9.96%和8.52%。     

基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合

提出了一种基于非下采样双树复轮廓波变换(NSDTCT)和稀疏表示的红外和可见光图像融合方法,以改善传统的基于小波变换的图像融合方法的不足。该方法首先利用形态学变换处理源图像,利用NSDTCT变换进行图像分解得到低频子带系数和高频子带系数。根据高低频系数的不同特点,提出改进的稀疏表示(ISR)的融合规则用于低频子带;然后将改进的空间频率作为脉冲耦合神经网络的外部输入,提出基于自适应双通道脉冲耦合神经网络(2APCNN)的融合策略用于高频子带。最后通过NSDTCT逆变换获得融合后的图像。实验结果表明:本文方法在客观指标和视觉效果方面均优于传统图像融合的方法。与传统的NSCT-SR方法相比,实验的两组图像中4个客观指标:互信息(MI)、边缘信息保留量QAB/F,平均梯度(AG)和标准差(SD)分别提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。     

采用非采样Contourlet变换与区域分类的红外和可见光图像融合

提出基于多尺度变换和区域相结合的红外与可见光图像融合方法,用于有效保留红外图像与可见光图像中的空间信息及热目标信息,提升融合图像的可观测性和可理解性。首先,基于非采样Contourlet变换(NSCT)方法对红外和可见光图像进行初步融合,采用基于局部能量的规则融合低通子带系数,根据尺度内各方向子带的相关性原则融合带通方向子带系数。然后,计算初次融合后所得的融合图像与源图像的结构相似性(SSIM),根据源图像与初次融合图像的结构相似程度对图像进行区域分类,得到相似区域分类标识图。最后,依据区域内各自的相似度特性,分别采用不同的融合策略进行二次融合,从而得到最终的融合结果。实验结果表明:该方法能够充分提取源图像的区域特征和纹理特征,融合结果在主观和客观评价上均优于目前流行的融合方法。与仅使用NSCT法进行融合相比,实验所采用的两组图像的质量评价指标分别提高了16%、85%、54%、36%和18%、102%、84%、41%。表明该方法在主客观评价上均优于双树复杂小波变换(DTCWT)、NSCT、冗余离散小波变换(RDWT)等方法。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。