基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

改进残差密集生成对抗网络的红外与可见光图像融合

基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.     

红外与可见光图像分解与融合方法研究

红外与可见光图像融合旨在生成一幅新的图像,能够对场景进行更全面的描述。本文提出一种图像多尺度混合信息分解方法,可有效提取代表可见光特征分量的纹理细节信息和代表红外特征分量的边缘信息。本文方法将边缘信息进行进一步分割以确定各分解子信息的融合权重,以有效地将多尺度红外光谱特征注入到可见光图像中,同时保留可见光图像中重要的场景细节信息。实验结果表明,本文方法能够有效提取图像中的红外目标,实现在融合图像中凸显红外目标的同时保留尽可能多的可见光纹理细节信息,无论是主观视觉还是客观评价指标都优于现有的图像融合方法。     

基于改进Tetrolet变换的图像融合算法研究

针对红外图像目标物体能量高以及可见光图像细节信息丰富的特点,提出一种基于改进的Tetrolet变换的红外与可见光图像融合算法.对红外和可见光图像进行多尺度、多方向分解,在低频融合规则上,对区域能量进行适当缩放,突出红外目标,保留可见光背景信息.实验结果表明,对Tetrolet变换模板的选择的改进,有助于获取更多高频信息;融合算法相对于传统的算法不仅增强了图像对比度,改善了主观视觉效果,而且在客观标准上有了一定提高.     

基于互导滤波和显著性映射的红外可见光图像融合

为了解决传统多尺度红外可见光融合图像边缘模糊、对比度低和目标不显著的问题,提出一种基于互导滤波和显著性映射的红外可见光图像融合算法。由于互导滤波器能将图像一致结构和不一致结构分离并且具有尺度和保边意识,因此首先利用互导滤波器将原图像分解为具有冗余信息的结构层和不同尺度上具有互补信息的纹理层;其次根据过明或过暗区域更容易引起注意的视觉特点构造图像显著性映射函数对结构层和不同尺度的纹理层进行显著性映射;最后根据不同尺度的结构和纹理特性对图像进行融合重构。在两个数据集上的实验结果表明与传统的多尺度融合方法相比提出的方法在保持图像边缘、增强图像对比度、突出目标方面具有较好的主客观评价效果。     

基于目标提取的红外与可见光图像融合算法

分析红外图像与可见光图像融合时,目标信息丢失或减弱的潜在原因,提出一种红外与可见光图像融合算法。该算法根据红外图像与可见光图像的特点,利用灰色关联理论检测并提取红外图像目标,采用替代法对获得的目标信息与可见光图像的背景和细节信息进行融合。实验结果表明,该算法得到的融合图像具有与红外图像相同的目标,且具备可见光图像的细节信息。     

红外与可见光多元信息融合的远距离视觉系统设计

为解决融化图像纹理细节保存不完整的问题,本研究基于红外与可见光多源信息融合技术建立远距离视觉系统,将多源图像的目标和场景的图像数据进行提取和整合,使图像更加完整、清晰。红外图像采集模块使用型号为EP4CE40F23C8的FPGA主控芯片产生时序控制信号,提供正常工作的时钟信号和积分信号等数字信号,设计出阻抗变换电路缓冲探测器输出信号。在生成器中加入注意力模块,将可见光图像和红外图像分别编码、提取各自图像特征。实验结果显示,本研究远距离视觉系统的融合图像具有丰富的细节信息,画面清晰,对比度强,融合图像的峰值信噪在35 dB以上。     

基于IHS和小波变换的可见光与红外图像融合

针对红外与可见光图像所表现的目标特征不同,提出了一种基于IHS和小波变换的图像融合方法.首先对可见光图像进行IHS 变换得到亮度I、色度H、饱和度S 3个分量,再对红外图像进行灰度变换;然后对亮度分量和已变换红外图像进行小波分解,对低频分量和高频分量分别采用不同的融合规则;最后进行IHS逆变换得到融合图像.实验结果表明,该方法在红外与可见光图像融合处理中取得了很好的融合效果,优于传统的 IHS变换法和小波变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息,同时融合了在可见光图像中看不到而在红外图像里可以观察到的热目标.     

运动目标检测的红外与可见光图像融合方法

在弱可见光条件下,对同一场景监控的红外与可见光图像进行融合,使融合图像即显示红外目标,又能保留可见光图像的细节结构信息,方便观察者对场景的观察与监控。充分利用红外成像的特点,热目标与背景的温度差会使目标在红外图像中的灰度值更大。使用红外序列建立稳定的背景模型,当前帧与背景的差得到运动目标区域,然后,将目标区域内的红外目标融合到可见光图像中,达到对红外运动目标检测的目的。     

基于改进l1范数和稀疏表示的SAR与司见光图像快速融合算法

针对多尺度融合算法中合成孔径雷达(SAR)与可见光图像融合结果目标信息易缺失、对比度不高的缺点,提出了一种基于改进I1范数和稀疏表示的图像融合算法,以有效保留源图像的目标信息.首先对SAR与可见光图像经支持度变换(SVT)分解得到的低频系数进行过完备稀疏融合,采用改进l1范数的稀疏系数融合规则以有效保留源图像目标信息,并进行零均值化处理提高了算法运行效率,然后利用基于区域能量的高频融合规则,最大化保留边缘纹理等细节信息.实验结果证明了该算法的有效性.     

树状小波局部对比度与图像融合及性能评估

针对红外热成像中目标识别和跟踪的特点,提出了一种基于树状小波变换的局部对比度融合算法,首先采用多尺度树状小波变换的方法对已配准的源图像在相应的能量准则下进行分解,克服了小波变换的移变性;对于分解后的低频子图像采用加权平均的融合规则,对于高频子图像采用局部对比度量测的融合规则,融合图像既保持了源图像的细节信息,又滤去了红外成像中的各类噪声。采用交叉分辨力评价算子量测红外图像中目标与背景的衬比度;通过仿真及基于客观的图像融合评价标准,分别从信息熵、标准差、平均梯度和交叉熵四个参数对图像融合效果进行评估,证明了对于双波段红外辐射图像的融合,提出的融合算法优于小波融合算法、形态学区域分割融合算法。算法尤其适用于红外热成像系统的目标识别和跟踪。     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

一种改进PCNN的红外与可见光图像融合算法研究

红外图像与可见光图像运用传统图像融合技术进行图像融合时,融合图像出现细节模糊、对比度降低等问题。针对此问题,提出了一种通过面积比改进脉冲耦合神经网络(PCNN)结合NSCT的图像融合方法。首先利用直方图双向均衡化对源图像预处理;其次经过NSCT分解图像得到低频子带和高频子带,高频部分采用改进的PCNN作为融合规则得到高频融合系数,低频部分采用加权平均作为融合规则得到低频融合系数;最后NSCT逆变换处理高低频融合系数得到融合图像。实验结果表明,融合算法在保留图像细节信息、增强图像轮廓信息方面优于传统图像融合算法,提高了图像对比度。     

红外与可见光视频序列融合算法研究

提出了一种基于动态目标区域检测的红外与可见光图像视频序列融合方法;应用改进的混合帧差法对红外图像序列中的目标区域进行检测,并采用一种新的基于非下采样Contourlet变换的图像融合规则,对红外与可见光图像中的目标区域进行融合,并将融合后的目标区域与已配准的可见光图像的背景相结合得到最终的融合图像;实验结果表明相对于其他传统的方法,新算法所得图像的信息熵、标准差和互信息值最大,融合效果要优于其他算法;不仅具有良好的红外图像的目标特征,同时也保留了可见光图像的细节信息,并具有平移不变性以及良好的实时性。     

基于LLF和RBD检测的红外和可见光图像融合

提出一种基于LLF和RBD检测的红外和可见光图像融合方法。运用局部拉普拉斯滤波对红外图像平滑处理和对可见光增强处理,以充分利用红外图像的目标信息和可见光图像的细节信息。在此基础上,采用增强背景检测的RBD显著性检测算法处理红外图像,以很好地检测出目标。此外,为了增强目标信息,减弱背景干扰,对RBD检测的结果进行S曲线变换。然后,对红外和可见光图像应用NSST分解得到高频分量与低频分量。最后,使用S曲线变换后获得的显著图对低频分量进行加权融合,采用绝对值取大的规则对高频分量进行融合。实验结果表明,该方法能够得到红外目标突出,细节增强的融合图像。     

结合视觉显著性与Dual PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。     

基于深度卷积特征提取的红外与可见光图像融合方法

目前多数红外与可见光图像融合算法在融合过程中通常需要对源图像进行分解,这样易导致融合图像细节模糊和显著性目标丢失.为解决该问题,提出一种基于深度卷积特征提取的红外与可见光图像融合方法.首先,利用迁移学习理论对EfficientNet特征提取性能进行分析,选择7个特征提取模块;然后,直接将源图像送入特征提取模块以实现显著性特征提取;接着,构造通道归一化和平均算子操作用于获取显著图,再使用Softmax与Up-sampling组合的融合规则来得到融合权重,将融合权重与源图像进行卷积,生成7幅候选融合图像;最后,将候选融合图像的像素最大值作为最终的重构融合图像.所有实验均在公共数据集上进行,并与经典的传统和深度学习方法比较,主客观实验结果均表明,所提出方法能够有效地融合红外与可见光图像中的重要信息,突显融合图像的细节纹理,具有更好的视觉效果和更少的图像伪影以及人工噪声.     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标，可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势，可以清楚地显示热源目标及其背景，在军事侦察、安防监控、遥感监测等领域有着广泛的应用，已成为图像融合领域的重点研究方向。近年来，国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍，包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法，对常见的多种客观评价指标进行了归类分析。然后开展对比实验，对各种方法进行了主观评价和定量分析，指出不同方法的优势和不足。最后，对红外和可见光图像融合技术的未来发展趋势进行展望。     

基于双边滤波和NSST的红外与可见光图像融合

针对传统图像融合容易导致目标信息减弱、背景细节不清晰的问题,提出一种基于非下采样剪切波变换（Non-subsampled Shearlet Transform, NSST）和双边滤波的融合算法。首先,利用双边和高斯滤波器处理红外与可见光图像,得到包含红外目标的大尺度边缘图像;然后,采用NSST分解红外与可见光图像,得到相应的高频和低频子带系数,低频部分利用已得的大尺度边缘图像指导加权,高频部分采用绝对值取大的方法;最后将融合后的各频带系数经过NSST逆变换得到融合结果。实验结果显示,该方法既能有效突出红外目标,又充分保留了可见光图像中的背景信息,在信息熵、互信息和峰值信噪比等客观评价指标上也都优于传统的融合算法。     

可见光与红外图像区域级反馈融合算法

目的 可见光图像具有丰富的纹理信息,红外图像具有较强的目标指示信息,进行融合时只有合理地设计融合规则才能充分利用两者的互补信息,为此,提出一种基于效果评估的可见光与红外图像区域级反馈融合算法.方法 首先对待融合图像进行非下采样轮廓波变换(NSCT),将其分解为低频和高频部分.同时采用分形特征对红外图像进行人造目标增强,通过阈值分割得到目标区域与背景区域.在设计低频融合规则时,选取目标区域与背景区域的加权融合系数作为参数,根据图像融合效果评估的量化指标,运用遗传算法进行参数的优化求解.对高频部分采用基于区域的加权平均融合规则.最后,利用优化后的融合系数进行NSCT逆变换得到融合图像.结果 采用3组图像,结合主观评价和客观评价指标对4种融合算法的结果进行了比较分析,实验结果表明,本文算法融合后图像更自然,目标更显著,客观评价结果总体上最优.结论 本文算法有效结合了红外图像的目标信息与可见光图像的背景信息,融合图像具有更强的对比度,有利于进行战场态势显示和目标识别任务.