红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于特征融合的可见光与红外图像目标检测

为提升目标检测任务在复杂环境下的识别效果,提出了一种基于特征融合的红外与可见光目标检测方法。该方法首先采用并列的卷积神经网络分别提取红外和可见光特征信息,并利用通道和空间注意力机制提升有效特征的权重;其次,为充分利用红外和可见光特征进行信息互补,设计了特征自适应融合结构,以自主学习方式将红外与可见光特征以最优方式加权融合;最后,针对不同尺度目标,通过交替采样方式充分融合深层和浅层特征,保障各维度目标检测效果。通过实验表明,所提方法可以充分利用并融合不同模式、尺度的目标特征信息,实现目标准确识别及定位。同时,在实际电网设备检测中,该方法也体现出较优的鲁棒性和泛化性。     

基于互信息和梯度的红外与可见光图像配准新方法

红外与可见光图像配准是常见的多传感器图像配准,在军事、遥感等领域有着广泛的应用。提出了一种基于互信息和图像梯度的红外与可见光图像的自动配准方法：首先,获得图像的梯度信息,然后根据定义的扩展结构获得边缘区域图像,选择最大归一化互信息作为相似性测度,使用Powell算法获得最佳配准参数。实验结果证明,本文方法较传统的基于互信息和梯度的配准方法,提高了配准的速度和精度,可以作为一种有效的粗配准的方法。     

基于AGF和CNN的红外与可见光图像融合

针对红外与可见光图像融合中出现的边缘模糊和细节丢失等问题,本文提出了一种基于交替引导滤波器(AGF)与掩膜引导卷积神经网络(CNN)的融合算法。首先,将源图像通过交替引导滤波分解为基础层与细节层;然后,将基础层通过能量属性的融合规则得到基础融合图像,细节层在基于掩膜引导的损失函数的指导下,通过卷积神经网络得到融合后的细节图像;最后,将基础融合图像与细节融合图像相加得到最终融合图像;实验结果表明,本文方法能够在突出显著热目标的同时保留丰富的背景边缘纹理信息,在客观评价指标上相较对比方法取得了更好的效果,证明了本文算法的优越性。     

基于语义损失的红外与可见光图像融合算法

提出了一种基于语义损失的红外与可见光图像融合算法,通过语义损失引导生成图像包含更多语义信息,满足高级视觉任务需求。首先使用预训练的分割网络对融合图像进行分割,分割结果与标签图构成语义损失,在语义损失和内容损失的共同引导下,迫使融合网络在保证融合图像质量的前提下同时兼顾图像语义信息量,融合图像满足高级视觉任务需求。同时本文还设计了一种新的特征提取模块,通过残差密集连接实现特征重用,提高细节描述能力,进一步减轻融合框架,从而提高图像融合的时间效率。实验结果表明,本文算法在主观视觉效果和定量指标方面优于现有融合算法,且融合图像包含更丰富的语义信息。     

基于对齐度和互信息的红外与可见光图像配准

针对红外与可见光图像的特点,在此提出了一种结合边缘对齐度与互信息的图像配准方法。首先通过小波变换边缘检测得到红外与可见光图像的边缘图像,并将对齐度和归一化互信息自适应加权平均得到新的相似性测度函数,最终通过计算相似性测度函数的极值求得待配准图像间的变换参数。实验结果表明,该方法可减少配准所需的时间,具有更高的精确性和鲁棒性。     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于随机游走算法的红外与可见光图像融合

红外与可见光图像融合可有效弥补单一传感器的不足,生成视觉效果更好、清晰度更高的融合图像.基于多尺度分解的融合方法在设计融合两幅图像的细节层与基本层的融合规则时,往往仅考虑细节层和基本层中的单尺度信息,易造成融合图像包含的有效特征较少.针对此问题,提出了一种基于随机游走算法的融合规则来融合基本层和细节层,该融合规则从两幅显著图中估计出一幅具有多尺度信息的显著图用于基本层和细节层的融合,可将每层中的多尺度信息有效地融合到输出图像中,从而使融合图像更有益于人眼观察.     

基于多特征的红外与可见光图像融合方法的研究

红外图像包含物体的温度信息,但其存在对比性差、纹理弱等缺陷,限制了应用,目前基于融合的方法能有效改善红外图像的视觉效果,但局限于简单的直接融合,忽略了背景等因素所含噪声的影响及各部分细节信息。文章在这方面做了进一步的研究工作,改进了现有方法的融合规则,提出先将目标从背景中提取出来再以温度阈值及纹理特征为依据分层次分区域融合,从而在细节上极大地改进了目标的视觉效果,提高了效率。最后对融合效果进行了定量评价和比较。实验结果证明处理后的图像能够比原图像获得更丰富的视觉信息。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

基于结构纹理分解的红外与可见光图像融合算法

针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题,提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层,对细节层使用基于结构相似性和L2范数的融合规则融合并增强;然后提出一种结构均值法,将结构层分解为亮度层和基础层,对亮度层使用绝对值取大融合,对基础层设计了一种基于多指标的融合规则进行融合;最后重构各子融合图像得到最终融合图像。为验证算法的有效性,与9种红外与可见光图像融合算法进行对比,使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标,在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明,本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节,且在客观评价指标上取得了更好的效果。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于非下采样Contourlet变换(NSCT)的红外与可见光图像融合算法。该算法对源图像进行NSCT分解,得到低频分量和各带通方向子带分量;引入图像区域相关系数决策度,对低频分量和带通方向子带分量采用不同的融合规则进行融合;最后经过NSCT逆变换得到融合图像。实验证明,该方法可以更好地保留目标信息和图像细节信息。     

可见光与红外图像增强融合算法研究

提出了自适应图像增强算法，用于可见光和红外图像的融合。首先对输入的可见光图像和红外图像进行自适应增强，然后采用基于图像空间能量窗及归一化互相关测度构造融合图像，利用图像的信息熵评估算法的融合效果，最后给出了一组可见光和红外图像融合的试验结果，表明该算法十分有效，融合图像有丰富的互补信息，有利于人眼观察和目标识别。     

基于红外与可见光图像融合技术发展与性能评价

红外图像可以全天候且不受光照条件影响的根据目标和背景热辐射差异来区分目标和背景。可见光图像可以通过人的视觉系统的高空间分辨率和清晰度来提供景物的质地和结构细节。因此将红外图像和可见光图像融合可以结合两种图像优势,融合后的图像效果预期良好。本文对传统经典方法和目前较新融合方法进行综述。首先回顾了红外和可见光图像的融合方法,其次选取了一些融合图像的性能评价指标,然后选择具有代表性的具体算法进行图像融合,根据融合图像结果获取评测指标,最后根据指标进行分析并对现状进行总结讨论,及对以后的工作发展方向进行展望。     

基于FDST和双通道PCNN的红外与可见光图像融合

为提高融合图像的细节表现力和信息冗余度,针对红外与可见光图像,提出一种基于有限离散剪切波变换（FDST）和双通道脉冲耦合神经网络（PCNN）的图像融合方法。首先,利用FDST分解红外与可见光图像得到各自的高低频子带系数;再对高低频子带系数分别采用不同链接强度的改进的空间频率激励的双通道PCNN进行融合;最后,通过FDST反变换得到融合图像。实验结果表明该算法能够有效增强图像清晰度和整体视觉效果,融合效果跟其他融合方法相比,在互信息、边缘信息传递量、标准差多个客观评价指标上具有明显提高。     

基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。