结合视觉显著性与Dual PCNN的红外与可见光图像融合

针对现存的红外与可见光图像融合算法亮度不均、目标不突出、对比度不高、细节丢失等问题,结合非下采样剪切波变换(NSST)具有多尺度、最具稀疏表达的特性,显著性检测具有突出红外目标的优势,双通道脉冲耦合神经网络(Dual-PCNN)具有耦合、脉冲同步激发等优点,提出一种基于NSST结合视觉显著性引导Dual-PCNN的图像融合方法。首先,通过NSST分解红外与可见光图像各方向的高频与低频子带系数;然后,低频子带系数采用基于显著性决策图引导Dual-PCNN融合策略,高频子带系数采用改进的空间频率作为优化Dual-PCNN的激励进行融合;最后,经过NSST逆变换得到融合图像。实验结果表明,融合图像红外目标突出且可见光背景细节丰富。该方法相比于其他融合算法在主观评价与客观评价上都有一定程度的改善。     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

基于生物视觉特性的红外与可见光图像融合方法

脉冲耦合神经网络PCNN以其在图像分割、目标识别等领域的独特优势而成为当前的研究热点。本文对其在红外与可见光图像融合领域的应用进行了研究,并针对传统脉冲耦合神经网络参数无法自动设定的难题,提出了基于修正PCNN的参数自动设定方案。针对可见光与红外图像融合的大量实验结果表明,本文方法无论在主观视觉效果还是客观评价参数上均明显优于基于多分辨分析的融合算法,对于拓宽PCNN的应用领域有一定价值。     

基于互导滤波和显著性映射的红外可见光图像融合

为了解决传统多尺度红外可见光融合图像边缘模糊、对比度低和目标不显著的问题,提出一种基于互导滤波和显著性映射的红外可见光图像融合算法。由于互导滤波器能将图像一致结构和不一致结构分离并且具有尺度和保边意识,因此首先利用互导滤波器将原图像分解为具有冗余信息的结构层和不同尺度上具有互补信息的纹理层;其次根据过明或过暗区域更容易引起注意的视觉特点构造图像显著性映射函数对结构层和不同尺度的纹理层进行显著性映射;最后根据不同尺度的结构和纹理特性对图像进行融合重构。在两个数据集上的实验结果表明与传统的多尺度融合方法相比提出的方法在保持图像边缘、增强图像对比度、突出目标方面具有较好的主客观评价效果。     

基于NSCT的红外与可见光图像融合

针对红外与可见光图像的不同特点,提出一种基于非采样Contourlet变换（NSCT）的红外与可见光图像融合算法。采用NSCT对源图像进行多尺度、多方向分解;分别采用基于局部能量和区域特征的融合规则得到融合图像的低频子带系数和带通方向子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法能够获得较理想的融合图像,其融合效果优于基于Contourlet变换的图像融合算法。     

基于NSCT的红外与可见光图像融合

提出一种基于非下采样Contourlet变换的红外与可见光图像融合方法。该方法对源图像经非下采样Contourlet变换分解后的高频系数,考虑不同传感器的成像机理进行活性度量,并结合多分辨率系数间相关性来实现加权融合;低频系数则通过一种局部梯度进行活性度量,再采用加权与选择相结合的规则实现融合。最后,通过非下采样Contourlet逆变换重构获得融合图像。实验结果表明了该方法的有效性和可行性。     

基于卷积神经网络与视觉显著性的图像融合

传统的红外与可见光图像融合方法,多数需要手动提取特征且特征提取单一。而深度学习可以自动选择图像特征,改善特征提取的单一性,因此提出一种基于卷积神经网络与视觉显著性的红外和可见光图像融合方法。利用卷积神经网络获得红外目标与背景的二分类图;利用条件随机场对分类图进行精分割得到显著性目标提取图;采用非下采样轮廓波变换并结合目标提取图,得到融合图像。实验结果表明,该方法在主观视觉和客观评价方面均优于传统非智能方法,并且5个客观评价指标(边缘信息保留量,结构相似度,互信息,信息熵和标准差)均有显著提高。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

基于FPDE的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.     

基于BEEMD分解的红外与可见光图像融合

针对二维经验模态分解(BEMD)算法在图像分解过程中存在模态混叠,提出了一种基于二维集合经验模态分解(Bi-dimensional Ensemble Empirical Mode Decomposition,BEEMD)算法的红外与可见光图像融合方法.为了抑制分解过程中存在的模态混叠现象,获得准确的特征分量和残差分量,...     

基于非降采样Contourlet变换（NSCT）的红外与可见光图像融合及稳健性分析

提出一种基于区域显著性融合规则的非降采样Contourlet 变换的红外与可见光图像融合方法. 首先, 对来自同一场景图像的红外与可见光图像的??分量进行非降采样Contourlet变换; 然后, 依照区域匹配度量和显著性度量规则进行融合, 而融合图像通过非降采样Contourlet反变换即可得到. 最后, 针对此方法进行大量实验, 并将其融合结果与基于小波变换及拉普拉斯金子塔变换的融合结果进行比较, 同时分析它们在不同噪声条件下的性能指标.     

基于FPDEs与CBF的红外与可见光图像融合

针对传统红外与可见光图像融合结果中的对比度不足、块状效应、伪影以及边缘区域信息失真等问题,文中提出一种基于四阶偏微分方程(FPDEs)和交叉双边滤波器(CBF) 的红外与可见光图像融合方法。首先,分别使用FPDEs和CBF方法从源图像中获取近似层和细节层;其次,针对多尺度分解获得的近似层含有残余低频信息导致融合图像的整体视觉反差较大的问题,采用基于视觉显著性映射(VSM)的方法对近似层进行融合;然后,对细节层使用改进的Karhunen-Loeve变换获得权重,而后进行细节层融合;最后,通过线性组合方式将近似层与细节层融合,从而产生融合图像。实验结果表明,经基于FPDEs与CBF的方法融合后,相较于基于主成分分析和基于交叉双边滤波器的方法,基于FPDEs与CBF的方法所得融合图像的标准差 平均 提高了43.73%左右;相较于基于引导滤波器和基于视觉显著性最小二乘优化的方法,融合图像的平均梯度提高了约9.46%,空间频率平均提高了19.79%左右。     

视觉显著性检测与金字塔变换相结合的图像融合

提出了一种利用人类视觉机制进行图像融合的算法。首先对源图像进行金字塔分解;接着对低频和高频分量采用不同的融合策略,低频分量依据最大显著性准则选择融合像素,高频分量利用相关性加权准则选择融合像素。初步融合后的低频和高频分量经金字塔重建获得最终融合结果。金字塔变换可提供多分辨率的图像表示,但不区分图像区域的重要性;而视觉显著性检测可定位图像最显著区域,但对噪声敏感;两算法的结合能取长补短,获得好的融合结果。实验表明,提出的方法优于已发表的其他基于金字塔变换的图像融合算法,适用于多聚焦图像、多波段图像和多光谱图像融合。     

基于彩色传递的红外与可见光图像融合方法

提出了一种基于小波分解和彩色传递理论的图像融合方法。在小波变换的基础上，采用一种融合方法对红外和可见光图像进行融合处理；基于色空间变换对灰度融合图像进行彩色传递，实现灰度到彩色图像的转变。实验表明彩色传递图像的色彩接近自然景物颜色，优于传统的假彩色方法，更有利于人眼对目标和环境的判断识别。     

基于双正交多小波的红外和可见光图像融合

利用双正交单小波的对称性和良好的滤波性能，给出了具有GMPs (Good Multifilter Properties)的双正交多小波滤波器，对其经过平衡处理后，结合Burt提出的选择和平均的融合方案，对可见光图像和红外图像进行了融合实验，充分利用红外波段和可见光波段的信息互补性，达到便于观察的目的。仿真结果表明该方法能取得较好的融合效果。     

基于曲波变换的红外与可见光图像融合算法

针对小波不能有效捕捉图像轮廓的不足,提出一种基于第2代曲波变换的图像融合算法。近似分量计算采用加权平均融合规则,细节分量计算采用像素级多分辨率融合扩展框架和对比敏感带通函数融合规则。实验结果表明,该算法在保留源图像边缘轮廓、抑制噪声方面均优于小波,融合图像更符合人眼视觉特性。     

非下采样轮廓波域红外与可见光图像配准算法

针对灰度和对比度存在较大差异的可见光图像与红外图像的配准问题,提出了一种基于非下采样轮廓波变换的多分辨率配准方法。该方法分别对可见光图像和红外图像进行非下采样轮廓波分解,引入梯度归一化互信息作为配准图像的相似性测度,利用基于种群成熟度描述的自适应确定交叉和变异比率的改进遗传算法作为搜索策略,对高尺度低频图像进行粗配准。然后,根据粗匹配结果在低尺度低频图像上进行进一步配准,最终实现全分辨率条件下红外和可见光图像的配准。实验结果表明,提出的算法能够有效提高配准精度和速度。     

基于改进的BEMD的红外与可见光图像融合方法

将红外图像与可见光图像融合在一起,可增强视觉效果,使人产生更完整的场景感知。基于二维经验模态分解(Bidimensional Empirical Mode Decomposition,BEMD)的图像融合方法运行时间较长,因此,文中提出了一种基于改进的二维经验模态分解的红外与可见光图像快速自适应融合方法,采用顺序统计滤波器和高斯滤波器直接生成均值包络曲面,从而加速图像的分解过程。首先,将可见光图像转化到HIS(Hue-Intensity-Saturation)颜色空间;然后,用改进的BEMD对强度分量I和红外图像进行分解,生成高频分量和低频分量,高频分量和低频分量分别采用自适应局部加权融合规则和算术平均融合规则;最后,将强度分量I与红外图像的融合结果图经过逆HIS变换到RGB颜色空间,从而得到融合图像。仿真实验表明,该融合算法不仅运行速度快,而且融合效果最佳,最大程度地保留了红外图像的边缘细节特征和可见光图像的光谱信息。     

基于视觉显著度的多聚焦图像融合方法

多聚焦图像存在聚焦区和离焦区,聚焦区通常吸引人的注意力,具有突出的视觉显著性。传统融合算法缺乏对聚焦区域的定位能力,对多聚焦图像融合的适应性普遍较差。为此,提出一种模拟人类视觉注意机制的多聚焦图像融合方法。利用谱残差算法计算源图像的显著度图,通过判断不同源图像相同位置上的像素显著性,选择显著度大的图像像素组成该源图像的聚焦区,显著度相等的像素构成边界带,使用腐蚀膨胀操作消除聚焦区内的孤立像素点,以每幅源图像的聚焦区域和梯度值较大的边界带像素作为融合图像的像素。实验结果表明,该方法能自主选择清晰像素,获得37d B以上的高峰值信噪比,且基本无参数设置,在不同类型图像融合中均表现出较强的鲁棒性。