基于特征能量加权的红外与可见光图像融合

目前红外与可见光图像直接融合存在红外目标取舍和场景信息提取困难,结合非采样Contourlet的多尺度、多方向性和平移不变性的优点,本文提出了一种基于非采样Contourlet变换(NSCT)的红外与可见光图像融合方法.首先对源图像进行分解,然后低频子带通过构造基于区域的特征像素能量,进行加权融合,高频子带直接选用方差取大法融合.使用该算法进行了融合实验,并给出了融合质量评价.实验结果表明,本文提出的基于NSCT的图像融合算法在保留图像细节信息、增加信息量方面都有显著地提高.     

多网络联合的红外与可见光图像融合算法研究

目的针对红外与可见光图像在融合过程中,融合图像失真以及可见光图像信息融合不足的问题,提出一种联合多网络结构的红外与可见光图像融合算法。方法首先采用基于密集残差连接的编码器对输入的红外与可见光图像进行特征提取,然后利用融合策略对得到的特征图进行融合,最后将融合后的特征图送入基于GAN网络的解码器中。结果通过与可见光图像对抗优化训练,使得融合后的图像保留了更多可见光图像的细节、背景信息,增强了图像的视觉效果。结论实验表明,与现有的融合算法相比,该算法达到了更好的实验效果,在主观感知和客观评价上都具有更好的表现力。     

改进的Shearlet变换耦合频率特征的图像融合算法

目的解决当前图像融合算法大都直接在图像的像素灰度空间上进行融合,导致融合图像存在视觉效果差及算法鲁棒性不强等问题。方法文中提出改进的Shearlet变换耦合频率特征的多聚焦图像融合算法。将Shearlet变换(ST)和非下采样小波变换(NSWT)进行融合,形成改进的Shearlet变换(ST-NSWT)对源图像分解,获取图像的低、高频子带系数;构建区域能量模型,对源图像之间的低频子带系数进行相关性度量,完成低频子带的融合;对高频子带的频率特征进行分析,建立方差模型、平均梯度模型、空间频率模型,分别对源图像的灰度相关性、清晰度相关性及活跃度相关性进行测量,完成高频子带的融合,最后通过ST-NSWT逆变换,输出融合图像。结果与当前多聚焦图像融合算法相比,文中算法融合的图像能较好地保留更多的细节及边缘信息,使融合图像具备更佳的视觉效果。结论所提算法具有更好的融合质量,可用于遥感探测与包装印刷检测等领域。     

基于分形特征和导引滤波的可见光与红外图像融合算法

为充分利用红外图像的目标指示信息,本文提出了一种基于分形特征和导引滤波的可见光与红外图像融合算法。该算法首先采用分形特征对红外图像中的人造目标进行增强,通过阈值分割得到目标分布图。待融合图像经过一层分解得到近似图像和细节图像,基于目标分布图利用导引滤波分别得到可见光与红外近似图像与细节图像的融合系数。实验结果表明,融合后图像充分结合了可见光图像的背景信息与红外图像中的目标信息,有利于后续的目标识别任务。     

基于多目标粒子群算法的多传感器图像融合

针对图像融合中参数优化的问题,提出了一种基于多目标粒子群优化算法的多传感器图像融合方法。首先采用非采样Contourlet变换(NSCT)对源图像进行多尺度、多方向分解;然后选取图像融合的客观评价指标为优化目标函数,采用多目标粒子群优化算法对低频系数的融合参数进行优化,带通方向子带系数采用取绝对值最大的融合规则;最后通过NSCT逆变换得到融合图像。分别对多聚焦图像融合和红外与可见光图像进行融合实验,并对融合图像进行主客观评价,实验结果表明,得到的融合图像具有较好的主观视觉效果和客观评价指标。     

基于LNSST与PCNN的红外与可见光图像融合

为了提升红外与可见光图像融合精度,提出了一种局部化非下抽样剪切波变换与脉冲耦合神经网络相结合的红外与可见光图像融合方法。首先,利用局部化非下抽样剪切波对源图像进行多尺度、多方向分解;然后,在分解后的各子带图像中进行块奇异值分解,求取区域特征能量值作为脉冲耦合神经网络对应神经元的链接强度。经过脉冲耦合神经网络点火处理,获取子带图像的点火映射图,通过判决选择算子,选择各子带图像中的明显特征部分生成子带融合图像;最后,应用局部化非下抽样剪切波逆变换重构图像。采用多组红外与可见光图像进行融合实验,并对融合结果进行了客观评价。实验结果表明本文提出的融合方法在主观和客观评价上均优于已有文献的一些典型融合方法,可获得更好的融合效果。     

基于NSCT和PCNN的红外与可见光图像融合方法

提出了一种基于非采样Contourlet变换(NSCT)和脉冲耦合神经网络(PCNN)的红外与可见光图像融合方法.首先用NSCT对已配准的源图像进行分解,得到低频子带系数和各带通子带系数;其次对低频子带系数采取一种基于边缘的方法以得到融合图像的低频子带系数;对各带通子带系数提出了一种改进的基于PCNN的图像融合方法来确定融合图像的各带通子带系数;最后经过NSCT逆变换得到融合图像.实验结果表明,本文方法优于Laplaeian方法、小波方法和传统的NSCT方法.     

Shearlet变换和稀疏表示相结合的甲状腺图像融合

针对甲状腺肿瘤超声图像对比度低和SPECT图像边界模糊的特点,结合多尺度几何分析和单尺度稀疏表示的思想,提出了一种 Shearlet 变换与稀疏表示相结合的图像融合算法。首先,用该变换对已经精确配准的源图像进行分解,得到图像的高低频子带系数。对稀疏性较差的低频子带系数进行字典训练并求解其稀疏表示系数,并采用能量值取大的规则进行融合。高频子带系数采用区域拉普拉斯能量和的规则。最后,用 Shearlet 逆变换得到融合图像。实验结果表明,此算法在主观视觉效果和客观评价指标上优于多尺度融合方法和单尺度下基于稀疏表示的图像融合方法。     

特征级与像素级相混合的SAR与可见光图像融合

SAR和可见光图像成像机理不同,图像差异较大,较难取得良好的融合效果。本文面向目标识别,通过分析图像的成像机理,首先在NSCT融合框架下,将SAR图像中重要的目标信息加入到可见光图像中,并尽可能多的保留源图像的边缘细节信息;再结合数学形态学和多尺度空间理论,提取源图像的亮、暗细节特征,进行特征级融合,得到亮、暗细节特征显著增强的融合图像。实验结果表明,本文算法有效的融合了SAR图像的目标信息,并增强了源图像的细节特征,达到了较好的视觉效果,提高了图像的目标检测和识别能力。     

基于复合激励模型的Surfacelet域多聚焦图像融合方法

针对基于传统多尺度分析对图像分解得到的方向子带数量较少,抑制噪声能力弱,融合图像边缘连贯性不好的缺点,本文提出一种基于Surfacelet变换和复合激励模型的多聚焦图像融合方法。通过分别将两幅图像经Surfacelet变换后得到若干不同频带子图像,该方法根据低频子带和高频子带的特点,建立复合激励模型,即分别把改进的拉普拉斯能量和与空间频率作为复合型PCNN的外部激励,采用复合型PCNN优选融合系数,改善融合效果。获取的融合图像的灰度级分布更加分散,图像纹理连贯,细节突出。实验结果表明,该算法克服传统多聚焦图像融合方法的缺陷,客观评价指标显示本方法优于Laplace、DWT和PCA等传统图像融合方法。     

基于Retinex的弱可见光和红外图像融合算法

目的 针对目前弱可见光与红外图像融合后的图像仍存在细节大量丢失、目标模糊不清的问题,提出一种基于Retinex对弱可见光图像进行增强预处理后,再基于NSST和SWT变换进行图像融合的算法。方法 首先用SSR对弱可见光图像进行增强处理,增强后的可见光和红外图像进行NSST分解得到第1次的高低频系数,高频系数采用基于局部能量特征的方法进行融合;低频系数经过SWT分解得到第2次高低频系数,第2次的高频系数采用同样的方法融合,低频系数采用线性加权方法融合,然后将第2次高低频的融合结果经过SWT逆变换得到新的低频系数。最后把第1次高频系数融合结果和新的低频系数进行NSST逆变换得到融合图像。结果 通过仿真实验,将文中算法与NSST,NSCT以及文献[5]算法进行对比,结果表明主观视觉上融合图像细节更加清晰,客观评价上,平均梯度、空间频率（SF）、标准差、信息熵、边缘信息保留量等指标分别提高了35.63%,26.73%,16.89%,7.2%,4.6%。结论 文中算法对图像融合有较好的改善作用,融合图像的可视性和图像质量都得到显著提高。     

基于多级LatLRR和HSI空间的彩色图像融合算法

目的 为提高红外与彩色可见光融合图像的可视性,更好地再现图像的对比度和色彩效果,提出一种基于多级低秩表示和HSI颜色空间的彩色图像融合算法.方法 首先利用RGB到HSI颜色空间转换,把彩色可见光RGB图像转化到HSI颜色空间,并分离H,S,I三通道.然后利用LatLRR对彩色可见光图像的I通道图像和红外图像进行二级分解,可得到显著的细节部分和基础部分,并将彩色可见光图像I通道和红外图像的细节部分采用核范数自适应加权融合策略进行融合,基础部分采用高斯模糊逻辑值自适应加权进行融合.最后把融合后的细节部分和基础部分相加产生新的I通道图像,结合H,S通道再转到RGB空间,得到融合图.结果 实验结果表明,文中算法得到的融合图主观上彩色失真度最小、场景细节最清晰、红外目标更突出,同时客观评价指标值上升约1％～24％.结论 文中算法是一种有效的算法,对彩色图像融合结果有较好的改善作用.     

Intelligent Fusion of Infrared and Visible Image Data Based on Convolutional Sparse Representation and Improved Pulse-Coupled Neural Network

Multi-source information can be obtained through the fusion of infrared images and visible light images, which have the characteristics of complementary information. However, the existing acquisition methods of fusion images have disadvantages such as blurred edges, low contrast, and loss of details. Based on convolution sparse representation and improved pulse-coupled neural network this paper proposes an image fusion algorithm that decompose the source images into high-frequency and low-frequency subbands by non-subsampled Shearlet Transform (NSST). Furthermore, the low-frequency subbands were fused by convolutional sparse representation (CSR), and the high-frequency subbands were fused by an improved pulse coupled neural network (IPCNN) algorithm, which can effectively solve the problem of difficulty in setting parameters of the traditional PCNN algorithm, improving the performance of sparse representation with details injection. The result reveals that the proposed method in this paper has more advantages than the existing mainstream fusion algorithms in terms of visual effects and objective indicators.     

信息融合的飞机识别方法

以信息融合的理论为基础，利用从可见光图像序列和8-12μm长波红外图像序列中提取的信息对不同种类飞机进行识别。采用矩特征并结合BP神经网络的方法，分别在特征级和决策级两个不同层次上实现了信息融合。实验结果表明，通过信息融合进行飞机识别的准确率可达到90％以上。     

基于NSST和SWT的红外与可见光图像融合算法研究

目的鉴于非下采样剪切波变换NSST的红外与可见光图像融合的结果存在细微特征缺失问题,提出一种基于NSST和SWT的红外与可见光图像融合算法,以提升融合图像的质量。方法首先分别对红外与可见光图像进行NSST分解,各得到一个低频系数和多个不同方向、尺度的高频系数。然后低频系数分别通过SWT分解得到新的低频系数和高频系数,通过SWT分解得到的新的低频系数和高频系数分别采用采用线性加权平均法和区域平均能量取大的融合策略,融合结果再进行SWT逆变换得到低频系数融合结果。高频系数采用区域平均能量取大的融合策略进行融合。最后通过NSST逆变换得到最终的融合图像。结果通过仿真实验结果表明,文中算法与NSST,SWT和NSCT等算法相比,融合图像在主观视觉上的红外目标更突出,图像细节更清晰,且在IE, AG, QAB/F, SF和SD等评价指标上也最优。结论文中算法的融合结果能更好地表现源图像的目标信息和细节纹理信息,表明该算法具有优越性。     

Fusion of visible and infrared images based on multiple differential gradients

ABSTRACT

The ideal fusion of infrared and visible images is to preserve the details of the visible image as much as possible and superimpose important highlights of the infrared image on the visible image. Therefore, this paper proposes a multiple differential gradient method (MDG) that fuses the infrared image with the difference image of the visible light image and the gradient image of the infrared image. First, an image with comprehensive information is obtained through the difference between the infrared image and the visible image, and it is fused with the suppressed visible image. The new image obtained is then fused with the divergent image of the infrared gradient. Finally, the gray value of the visible image is compared with the new image, and the point with the larger gray value is selected to be fused into the new image. The result is better than most classical algorithms.     

基于NSST与IHS的红外与彩色可见光图像融合

目的 鉴于传统的红外与彩色可见光图像融合算法得到的融合图像,无法很好兼顾清晰度、对比度和色彩是否失真等,提出一种新的基于NSST和IHS颜色空间的彩色图像融合算法。方法 首先将源彩色可见光的RGB图像变换到各通道相关性最小的IHS颜色空间,分离出亮度分量和色度分量。其次对彩色可见光的亮度分量和红外图像分别进行NSST分解,对分解得到的低频系数采用基于自适应高斯模糊逻辑函数的系数选择方案,对高频系数则采用基于像素点的绝对值取大的系数选择方案,然后对经过选择的低、高频系数进行NSST逆变换,得到的融合图像作为新的亮度分量,结合已有的色度分量将其进行IHS逆变换,得到最终的RGB融合图像。结果 通过2种场景的红外与彩色可见光图像进行仿真实验,将提出的算法与LPT,SWT和NSCT等算法对比,通过主观评价和客观评价指标IE, AG, SF和SD等,可知新算法的融合结果图像场景细节最清晰,红外隐藏目标对比度最高,且色彩未出现明显失真现象,图像融合质量最高。结论 提出的算法相较于传统的红外与彩色可见光图像的融合质量,全面提升了效果,表明该算法具有优越性。