基于区域目标检测的红外与可见光图像序列融合

提出了一种基于区域目标检测的红外与可见光图像序列融合方法。该方法通过目标检测技术将源图像序列分割成目标和背景区域,并在目标和背景区域里分别采用不同的融合规则,同时使用双树复小波变换方法使每一幅源图像具有移不变多分辨率表示。实验采用了实际图像序列数据。融合结果表明,该方法是可行和高效的,且比其他图像融合方法具有更好的性能。     

有效的红外与可见光图像融合方法研究*

针对红外图像可视化程度弱、对比度低的问题, 提出一种基于轮廓小波变换和区域能量的红外与可见光图像融合算法。首先进行多尺度小波分解, 然后进行多方向滤波; 引入循环平移方法来消除伪吉布斯失真;采用基于区域的能量融合规则, 重构变换系数得到最终融合结果;最后用信息熵、信噪比等指标来评价融合的性能。实验表明,该方法不论在客观评价还是在主观评价指标上都优于其他融合方法, 提高了融合图像的视觉效果, 可以得到更加清晰的融合图像。     

像素级红外与可见光图像融合方法综述

红外与可见光图像融合作为一种针对增强技术被广泛应用,融合技术通过提取可见光和红外各自的显著特征,并将其保留在融合图像中,提高了后续高级视觉任务的效率或人工识别。在吸收国内外众多学者的研究的基础上,通过研究归纳,阐述了图像融合的定义与分类,系统性地总结了红外与可见光融合算法,分析了图像融合算法进一步发展的方向。     

基于彩色传递的红外与可见光图像融合方法

提出了一种基于小波分解和彩色传递理论的图像融合方法。在小波变换的基础上，采用一种融合方法对红外和可见光图像进行融合处理；基于色空间变换对灰度融合图像进行彩色传递，实现灰度到彩色图像的转变。实验表明彩色传递图像的色彩接近自然景物颜色，优于传统的假彩色方法，更有利于人眼对目标和环境的判断识别。     

运动目标检测的红外与可见光图像融合方法

在弱可见光条件下,对同一场景监控的红外与可见光图像进行融合,使融合图像即显示红外目标,又能保留可见光图像的细节结构信息,方便观察者对场景的观察与监控。充分利用红外成像的特点,热目标与背景的温度差会使目标在红外图像中的灰度值更大。使用红外序列建立稳定的背景模型,当前帧与背景的差得到运动目标区域,然后,将目标区域内的红外目标融合到可见光图像中,达到对红外运动目标检测的目的。     

红外与可见光图像分解与融合方法研究

红外与可见光图像融合旨在生成一幅新的图像,能够对场景进行更全面的描述。本文提出一种图像多尺度混合信息分解方法,可有效提取代表可见光特征分量的纹理细节信息和代表红外特征分量的边缘信息。本文方法将边缘信息进行进一步分割以确定各分解子信息的融合权重,以有效地将多尺度红外光谱特征注入到可见光图像中,同时保留可见光图像中重要的场景细节信息。实验结果表明,本文方法能够有效提取图像中的红外目标,实现在融合图像中凸显红外目标的同时保留尽可能多的可见光纹理细节信息,无论是主观视觉还是客观评价指标都优于现有的图像融合方法。     

基于提升小波的红外和可见光图像融合方法

提出了一种基于提升小波变换的红外和可见光图像融合方法.对红外图像进行检测分割,将提取到的目标重要信息融合到可见光图像中.然后进行图像的提升小渡分解,对不同尺度下小波系数进行融合,以像素的局部平均梯度为高频系数融合准则,充分加入原始图像的边缘细节信息.最后依据融合后的小波系数重构图像.实验结果表明,该方法改善了融合效果,提高了运算速度.     

多尺度分解和八度卷积相结合的红外与可见光图像融合

目的 在基于深度学习的红外与可见光图像融合方法中,多尺度分解是一种提取不同尺度特征的重要方式。针对传统多尺度分解方法里尺度设置粗糙的问题,提出了一种基于八度(octave)卷积的改进图像融合算法。方法 融合方法由4部分组成：编码器、特征增强、融合策略和解码器。首先,使用改进后的编码器获取源图像的多尺度上的低频、次低频和高频特征。这些特征会被从顶层到底层进行强化。其次,将这些特征按照对应的融合策略进行融合。最后,融合后的深度特征由本文设计的解码器重构为信息丰富的融合图像。结果 实验在TNO和RoadScene数据集上与9种图像融合算法进行比较。主观评价方面,所提算法可以充分保留源图像中的有效信息,融合结果也符合人的视觉感知;客观指标方面,在TNO数据集上所提算法在信息熵、标准差、视觉信息保真度、互信息和基于小波变换提取局部特征的特征互信息5个指标上均有最优表现,相较于9种对比方法中最优值分别提升了0.54%,4.14%,5.01%,0.55%,0.68%。在RoadScene数据集上所提算法在信息熵、标准差、视觉信息保真度和互信息4个指标上取得了最优值,相较9种对比方法的最优值分别提升了...     

基于NSCT的红外与可见光图像融合

提出一种基于非下采样Contourlet变换的红外与可见光图像融合方法。该方法对源图像经非下采样Contourlet变换分解后的高频系数,考虑不同传感器的成像机理进行活性度量,并结合多分辨率系数间相关性来实现加权融合;低频系数则通过一种局部梯度进行活性度量,再采用加权与选择相结合的规则实现融合。最后,通过非下采样Contourlet逆变换重构获得融合图像。实验结果表明了该方法的有效性和可行性。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

基于GPU的可见光与红外图像融合快速实现

为利用统一计算设备架构（CUDA）强大的并行处理能力实现快速图像融合,提出一种适用于并行运算的图像融合算法,包括高斯滤波、直方图均衡、基于小波变换的图像融合。通过CUDA编程对以上算法进行实现,并将其与对应的CPU程序相比较,实验结果表明,图形处理单元（GPU）执行效率比CPU高出一个数量级,并且随着数据量的增加,GPU的加速比还会增大。     

基于改进的NSCT红外可见光图像融合算法

针对在红外可见光图像融合过程中目标细节信息容易丢失的问题,提出一种使用非下采样轮廓波变换(NSCT)和主成分分析法(PCA)相结合的图像融合算法.首先应用NSCT将源图像分解分别得到低频和高频的子带图像.在低频子带系数中,由于PCA能够突出图像的主要信息,所以选用主成分分析法融合规则.高频子带中,相对来说较高层次系数表...     

基于OpenCV的红外与可见光图像实时融合系统

基于OpenCV图像处理库函数,在VS2013平台下开发了一种红外与可见光图像融合系统,该方法克服了红外图像特征点不明显的缺点,通过特殊的摄像机标定技术,完成了红外与可见光摄像机的标定,进而实现了红外与可见光图像的匹配融合.实验证明,该系统能达到较好的融合效果,并能保证融合的实时性.     

基于目标提取的红外与可见光图像融合算法

分析红外图像与可见光图像融合时,目标信息丢失或减弱的潜在原因,提出一种红外与可见光图像融合算法。该算法根据红外图像与可见光图像的特点,利用灰色关联理论检测并提取红外图像目标,采用替代法对获得的目标信息与可见光图像的背景和细节信息进行融合。实验结果表明,该算法得到的融合图像具有与红外图像相同的目标,且具备可见光图像的细节信息。     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于非降采样Contourlet变换（NSCT）的红外与可见光图像融合及稳健性分析

提出一种基于区域显著性融合规则的非降采样Contourlet 变换的红外与可见光图像融合方法. 首先, 对来自同一场景图像的红外与可见光图像的??分量进行非降采样Contourlet变换; 然后, 依照区域匹配度量和显著性度量规则进行融合, 而融合图像通过非降采样Contourlet反变换即可得到. 最后, 针对此方法进行大量实验, 并将其融合结果与基于小波变换及拉普拉斯金子塔变换的融合结果进行比较, 同时分析它们在不同噪声条件下的性能指标.     

基于红外和可见光融合的目标跟踪

针对单一图像源下目标跟踪精度不高和当目标存在部分遮挡时目标跟踪丢失的问题,本文提出了一种结合红外图像和可见光图像特征进行融合的方法. 首先在进行目标跟踪时,提取可见光图像的颜色信息作为目标模型的参数,提取红外图像的灰度信息作为目标模型的参数,并分别得到目标位置及其子图. 然后再利用目标子图和目标模型分别进行Bhattacharyya系数的计算,根据权值函数来计算各自系数的权值,最后用Mean Shift算法对加权后的目标进行跟踪. 该方法充分利用了红外图像与可见光图像的优点,提高了目标跟踪的精度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.     

基于注意力与残差级联的红外与可见光图像融合方法

红外与可见光图像融合是在复杂环境中获得高质量目标图像的一种有效手段,广泛应用于目标检测、人脸识别等领域。传统的红外与可见光图像融合方法未充分利用图像的关键信息,导致融合图像的视觉效果不佳、背景细节信息丢失。针对该问题,提出基于注意力与残差级联的端到端融合方法。将源图像输入到生成器中,通过层次特征提取模块提取源图像的层次特征,基于U-net连接的解码器融合层次特征并生成初始融合图像。将生成器与输入预融合图像的判别器进行对抗训练,同时利用细节损失函数优化生成器,补充融合图像缺失的信息。此外,在判别器中,采用谱归一化技术提高生成对抗网络训练的稳定性。实验结果表明,该方法的信息熵、标准差、互信息、空间频率分别为7.118 2、46.629 2、14.236 3和20.321,相比FusionGAN、LP、STDFusionNet等融合方法,能够充分提取源图像的信息,所得图像具有较优的视觉效果和图像质量。