基于补偿机制的NSCT域红外与可见光图像融合

针对传统基于非下采样Contourlet变换和脉冲耦合神经网络的图像融合方法易出现图像失真的缺点,本文提出一种基于小波变换与PCNN补偿的NSCT域内红外与可见光图像融合方法。首先将红外和可见光图像分别进行NSCT分解,得到低频分量和高频分量;然后对低频分量进行二维小波分解,得到1个低频子带和3个方向子带,对其低频子带采用局部能量加权的方法进行融合,其余3个子带采用绝对值取大的方法进行融合;NSCT分解的高频子带融合规则分为对最高层的融合和其他层的融合,最高层采用绝对值取大的方法进行融合,而其余层采用的是基于改进型的PCNN的方法进行融合;最后将得到的低频子带和高频子带进行NSCT重构获得融合图像。合成及真实图像集实验结果表明,本文算法相对于传统的融合方法增加了图像的纹理和细节信息,有效地抑制了图像失真问题,具有较高的融合精度与较快的融合效率。     

改进的响尾蛇双模式细胞模型的图像融合

由于基于经典Waxman融合模型得到的伪彩色融合图像目标不够清晰,本文提出了一种改进的感受野融合模型。对红外图像和可见光图像分别进行了ON对抗增强和OFF对抗增强;将红外ON对抗增强图像馈入中心-环绕感受野模型的中心兴奋区域,可见光OFF对抗增强图像馈入环绕抑制区,得到融合图像的B分量;将红外OFF对抗增强图像馈入中心-环绕感受野模型的环绕抑制区域,可见光ON对抗增强图像馈入中心兴奋区,得到融合图像的G分量;将可见光ON对抗增强图像直接作为融合图像的R分量;然后,输出RGB伪彩色融合图像。最后,用Waxman方法和本文提出的方法分别对两组源图像进行融合,并用信息熵和平均梯度对融合结果进行了评价。结果表明,采用提出的模型,第一组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.314 6和0.004 1,第二组融合图像的信息熵和平均梯度比Waxman融合模型分别高出0.255 1和0.002 7。得到的数据显示本文提出的融合模型的融合效果优于经典Waxman模型。     

利用脉冲耦合神经网络的图像融合

为了获得对同一场景更为准确、全面和可靠的图像描述,提出了一种基于脉冲耦合神经网络(PCNN)的图像融合方法。将多源传感器图像配准后的各个源图像用9/7小波变换的提升算法进行分解,从而得到各个源图像的低频分量和高频分量。对于低频分量,采用像素绝对值选大法进行融合;而高频分量则作为PCNN的输入,在迭代结束后,通过比较PCNN点火次数得到一系列融合子图像;然后,用9/7小波的提升算法将获取的一系列多尺度融合子图像进行反变换得到最终的融合图像。设计了可见光图像与红外图像的融合实验,对融合图像的熵、平均梯度、标准差、空间频率进行了定量比较。当使用标准源图像进行融合时,各值比使用传统小波变换与PCNN相结合的图像融合方法分别高0.0104,0.2459,0.1131和0.2846。     

一种基于HSI和小波变换的可见光和红外图像融合新方法

针对传统的HSI(色度—饱和度—亮度)图像融合方法易出现颜色失真和传统的小波融合方法存在分块模糊的现象,文中提出一种基于HSI和小波变换的可见光和红外图像融合新方法。该方法首先通过HSI变换获得红外和可见光图像的亮度成分,采用基于方差匹配度的融合规则对两者进行小波融合,得到新的亮度分量,并选用红外图像的饱和度分量和可见光图像的色度分量,进行HSI逆变换获得最终融合图像。实验结果表明:该方法在提高图像清晰度、突出图像细节和热目标等方面效果显著。     

结合分数阶显著性检测及量子烟花算法的NSST域图像融合

针对传统红外与可见光图像融合算法中存在的细节纹理信息不够清晰,边缘信息保留不够充分等问题,提出一种基于分数阶显著性及改进量子烟花算法的非下采样Shearlet变换(NSST)域图像融合方法.首先对红外与可见光图像进行NSST分解,低频分量先进行基于分数阶微分增强的显著性检测;然后按照显著图匹配度的融合规则进行融合,高频...     

基于边缘检测小波变换的红外与可见光图像融合方法

简要地论述了图像融合中主要的三种像素级融合算法,即简单方法、基于塔形分解以及基于小波分解的融合方法,在现有的红外与可见光图像融合方法之上,提出了以边缘检测为基础的一种小波变换图像融合方法,并对融合效果进行了评价。实验结果表明,经该方法对红外与可见光图像的融合可以提供更多、更有效的信息,提高了图像的分辨效果和人眼对场景目标的发现和识别概率,融合效果较为理想。     

基于NSST和改进PCA相结合的红外偏振图像融合

针对当前红外偏振图像融合的主流方法——多尺度几何分析法对图像表示只侧重某一方面的特点和空间域融合方法主成分分析法(PCA)易丢失小目标的缺点的问题,本文提出一种基于非下采样剪切波变换(NSST)和改进PCA相结合的红外偏振图像融合方法.该方法能充分利用NSST对图像细节表示的有效性和PCA能突出主要特征的特点,综合二者的互补性,充分保留不同源图像的目标和细节特征.首先用NSST将源红外光强和偏振图像分解为低频和不同方向的高频分量;其次,低频分量用改进的PCA进行融合,高频分量用局部能量和局部方差联合进行决策融合;最后,用NSST逆变换重构融合图像,得到最终红外偏振融合结果图.实验结果表明,本文方法在细节保留和视觉效果等方面较其它方法均有较高优势.     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

oRGB颜色空间的夜视图像彩色融合

针对红外与可见光双波段夜视图像增强提出了基于oRGB颜色空间的彩色融合算法。选择亮度与颜色分离的对立色颜色空间,应用多尺度Top-hat变换方法将红外与可见光增强融合图像作为伪彩色图像的亮度分量,根据双波段图像的差异性并结合参考图像色调构造颜色分量;为避免线性变换的颜色传递方法容易造成灰度级压缩或过饱和情况,在分析颜色传递机理的基础上,使用非线性的直方图匹配方法实现颜色传递。实验结果表明,融合图像的颜色分布更自然,纹理细节、整体亮度和对比度等视觉特征表现更优。     

一种图像融合的实时实现方法

针对可见光和红外图像实时融合的需要,提出了一种实时图像融合系统。该系统由成像和图像处理两部分组成。成像部分使用同一孔径以减少视差效应,并采用分光器以使红外和可见光传感器共用同一光路。图像处理利用FPGA实现了一种基于拉普拉斯塔形分解的图像融合方法,实现了对两路PAL制黑白视频图像实时进行融合。和Matlab中双精度运算结果相比,该系统的输出结果可达约50dB的信噪比,满足实际的工程应用。     

结合引导滤波和卷积稀疏表示的红外与可见光图像融合

为了解决红外与可见光图像融合时信息容易相互干扰、影响融合质量的问题,将引导滤波、高斯低通滤波与非下采样方向滤波器组相结合,提出一种新的图像融合方法。利用引导滤波和高斯低通滤波,将源图像分解为低频近似部分、强边缘部分和高频细节部分,并将高频细节部分进行非下采样方向滤波,进一步得到高频方向细节部分;对低频近似部分应用基于局部区域能量的融合规则,对强边缘部分提出一种基于卷积稀疏表示的融合规则,对高频方向细节部分提出改进的脉冲耦合神经网络的融合规则,得到相应的融合部分,并通过逆变换得到最终的融合图像。对多组红外与可见光图像的实验结果表明,算法得到的融合结果的主观视觉效果和客观评价指标均优于传统的图像融合方法,其客观评价指标中的标准差、信息熵、互信息、平均梯度和空间频率相比融合效果较好的基于离散小波变换和稀疏表示的融合方法平均提高20.28%、2.24%、47.41%、5.34%、8.02%。     

结合目标提取和压缩感知的红外与可见光图像融合

针对红外与可见光图像融合易受噪声干扰从而使目标信息减弱的问题,提出了一种基于目标区域提取和压缩感知的融合算法。首先,在频率域上对红外图像进行显著区域检测得到其对应的显著度图,并在显著图指导下结合区域生长法提取红外图像的目标区域,有效抑制噪声与复杂背景的干扰。然后,用非下采样剪切波变换对待融合的图像进行分解,采用不同的融合策略分别对目标与背景区域的高、低频子带进行融合。针对背景区域提出一种新的基于多分辨率奇异值分解和压缩感知的融合规则,最后,进行非下采样剪切波逆变换得到融合图像。与其他算法的对比实验结果表明,本文算法能更好地突出目标区域,保留图像细节信息,抑制噪声干扰;图像质量评价指标中的信息熵、标准差、互信息、边缘保持度分别提高了3.94%,19.14%,9.96%和8.52%。     

基于非下采样双树复轮廓波变换和稀疏表示的红外和可见光图像融合

提出了一种基于非下采样双树复轮廓波变换(NSDTCT)和稀疏表示的红外和可见光图像融合方法,以改善传统的基于小波变换的图像融合方法的不足。该方法首先利用形态学变换处理源图像,利用NSDTCT变换进行图像分解得到低频子带系数和高频子带系数。根据高低频系数的不同特点,提出改进的稀疏表示(ISR)的融合规则用于低频子带;然后将改进的空间频率作为脉冲耦合神经网络的外部输入,提出基于自适应双通道脉冲耦合神经网络(2APCNN)的融合策略用于高频子带。最后通过NSDTCT逆变换获得融合后的图像。实验结果表明:本文方法在客观指标和视觉效果方面均优于传统图像融合的方法。与传统的NSCT-SR方法相比,实验的两组图像中4个客观指标:互信息(MI)、边缘信息保留量QAB/F,平均梯度(AG)和标准差(SD)分别提高了9.89%、6.39%、104.64%、55.09%和9.53%、17.77%、95.66%、52.89%。     

基于视觉显著性的红外与可见光图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像,提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,另一方面又尽可能的保留了可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

基于压缩感知的红外与可见光图像融合

基于压缩感知理论提出了一种红外与可见光图像的融合新方法。该方法将Contourlet变换(CT)和小波变换(WT)相结合,以进一步增加变换后系数的稀疏性,同时对采样模式和融合规则进行改进。首先对图像进行Contourlet变换,再对各高层分解系数进行正交小波变换;然后使用各层采样率不同的分立双放射形采样矩阵对系数采样,并用不同的规则对各层采样值进行融合;最后使用非线性共轭梯度法重构融合图像。实验结果表明,在采样率为0.5时,本文方法融合图像的细节信息比小波方法和小波变换压缩感知(WTCS)方法更加丰富;在所有采样率上,本文方法的融合效果比WTCS法在互信息、空间频率和融合信息逼真度等客观融合质量评价指标上均提高约10%。     

基于视觉显著性的可见红外图像融合

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光-红外图像,本文提出了一种结合红外图像视觉显著性提取的双波段图像融合方法,一方面旨在凸显红外图像的目标信息,同时又能尽可能的保留可见光图像的丰富细节信息。首先,在局部窗口内实现红外图像的显著性图提取,并通过窗口尺寸的变化形成多尺度的显著性图,并对这些显著性图进行最大值的优选叠加,以获取能反映整幅红外图像各个尺寸目标的显著性图;其次,通过结合显著性图与红外图实现显著性图的加权增强;最后,利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验,数据表明该方法给出的融合图像视觉效果好,运算速度快,客观评价值优于对比的7种融合方法。     

颜色传递技术的快速彩色图像融合

以红外和可见光图像为研究对象,提出了一种基于颜色传递技术的快速彩色图像融合算法。该算法直接用灰度融合图像和源多波段图像的差异信号构成源YCBCR分量,然后在YCBCR空间运用统计颜色传递技术形成一幅具有与目标图像相似色彩效果的彩色融合图像。算法中利用像素平均融合法和多分辨率融合法作为灰度融合方法,形成两种不同的融合策略以分别满足高实时性和高融合质量的需求。实验结果表明,提出的彩色图像融合算法能够有效地生成一幅具有自然日光色彩效果的融合图像,算法中即使采用像素平均法进行灰度融合同样可以获得令人满意的融合效果。