颜色对比度增强的红外与可见光图像融合方法

针对红外与可见光彩色融合图像中目标与背景间的低对比度的问题,提出一种基于HSI空间颜色对比度增强的红外和可见光图像融合方法.首先对输入的可见光与红外图像进行直方图均衡和中值滤波加强处理,然后对加强的红外图像模糊阈值分割得到红外目标,最后把分割的红外目标图像和加强的可见光和红外图像在HSI空间的三通道线性融合和色彩传递,为了增强目标与背景间的颜色对比度,在色彩传递阶段, H通道的色彩传递方程中引入一个比例因子.实验结果表明:与其他算法相比,该方法得到的彩色融合图像热目标和低温物体与背景间的颜色对比度明显加强,同时背景的细节信息呈现白天类似的自然彩色,更加符合人眼视觉感知.     

Perceptual-based image fusion for hyperspectral data

Three hierarchical multiresolution image fusion techniques are implemented and tested using image data from the Airborne Visual/Infrared Imaging Spectrometer (AVIRIS) hyperspectral sensor. The methods presented focus on combining multiple images from the AVIRIS sensor into a smaller subset of images white maintaining the visual information necessary for human analysis. Two of the techniques are published algorithms that were originally designed to combine images from multiple sensors, but are shown to work well on multiple images from the same sensor. The third method presented was developed specifically to fuse hyperspectral images for visual analysis. This new method uses the spatial frequency response (contrast sensitivity) of the human visual system to determine which features in the input images need to be preserved in the composite image(s) thus ensuring the composite image maintains the visually relevant features from each input image. The image fusion algorithms are analyzed using test images with known image characteristics and image data from the AVIRIS hyperspectral sensor. After analyzing the signal-to-noise ratios and visual aesthetics of the fused images, contrast sensitivity based fusion is shown to provide excellent fusion results and, in every case, outperformed the other two methods     

基于滚动引导滤波的红外与可见光图像融合

为提高融合图像更加适应人类视觉感知,并解决可见光图像受光线、天气等影响而导致融合效果不佳的问题,本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先,利用引导滤波对可见光图像的内容进行增强,然后,利用滚动引导滤波将可见光和红外图像进行多尺度分解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则解决融合时可见光与红外图像不同特征带来的困扰,提高融合图像的视觉效果;在基础层的融合过程中采用优化的视觉显著图融合规则,减少对比度损失。最后,将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。     

基于DT-CWT的红外与可见光图像自适应融合

针对低可见光图像和红外图像的特点,提出一种基于DT-CWT的自适应图像融合算法.该算法具有好的平移不变性和方向选择性,更适合于人类视觉.先对源图像作双树复小波变换,充分考虑各尺度分解层的系数特征,对低通子带引入免疫克隆选择,根据统计评价准则定义亲和度函数,自适应获得最优融合权值;对高通子带则根据人类视觉特性定义局部方向对比度,并作为融合准则,突出和增强了各源图像的对比度与细节信息.实验结果表明:与基于小波的融合结果相比较,本文的融合算法自适应性和鲁棒性更强,较好地保护和显示了源图像中的边缘和细节信息,对比度和清晰度都有所提高.     

基于灰度变换与两尺度分解的夜视图像融合

为了获得更适合人感知的夜视融合图像,该文提出一种基于灰度变换与两尺度分解的夜视图像融合算法。首先,利用红外像素值作为指数因子对可见光图像进行灰度转换,在达到可见光图像增强的同时还使可见光与红外图像融合任务转换为同类图像融合。其次,通过均值滤波对增强结果与原始可见光图像进行两尺度分解。再次,运用基于视觉权重图的方法融合细节层。最后,综合这些结果重构出融合图像。由于该文方法在可见光波段显示结果,因此融合图像更适合视觉感知。实验结果表明,所提方法在视觉质量和客观评价方面优于其它5种对比方法,融合时间小于0.2 s,满足实时性要求。融合后图像背景细节信息清晰,热目标突出,同时降低处理时间。     

基于对比度的多分辨图像融合

本文给出一种基于对比度的多分辨图像融合算法.首先,利用小波变换得到待融合图像的多分辨分析,同时得到图像的多分辨对比度序列;然后以对比度为判据,在图像的多分辨分析的相应各级上进行融合,得到融合图像的多分辨分析;最后,利用小波逆变换重构融合图像.算法使用同一场景可见光图像和红外图像进行了验证,结果表明,融合图像完好地显示了源图像各自的信息.     

针对人类视觉系统的双波段红外图像融合算法研究

提出了一种针对人类视觉系统的双波段红外图像融合算法。首先采用非下采样Contourlet变换把源图像分解成尺多度、多方向上的子带,然后采用绝对值最大算子的方法对高频部分进行融合,采用基于区域方差的方法对低频部分进行融合,最后进行重构得到融合图像。对试验中采集的双波段红外图像进行了融合实验,并将融合效果与梯度金字塔变换方法和小波变换方法进行了比较。实验结果表明,针对人类视觉系统的双波段红外图像融合算法有效可行,可以获得比常用的算法更好的融合效果。     

NSST框架下结合局部自适应亮度与DCAPCNN的双波段图像融合

针对现有红外与可见光图像融合后,易出现边缘平滑严重、纹理细节恢复不足、对比度低、显著目标不突出、部分信息缺失等问题,提出一种基于非下采样剪切波变换(non-subsampled shearlet transform,NSST)的红外与可见光双波段图像融合算法。首先,采用基于自适应引导滤波(adaptive guided filter,AGF)的方法对源红外、可见光图像增强。其次,利用NSST正变换分别对源红外与可见光图像分解,得到红外、可见光图像的低、高频子带分量。然后,分别通过基于局部自适应亮度(local adaptive intensity,LAI)与双通道自适应脉冲耦合神经网络(dual channel adaptive pulse coupled neural network,DCAPCNN)规则融合低、高频子带分量。最后,通过NSST逆变换得到最终融合图像。实验结果表明,本文算法整体对比度更适宜,对红外热目标及可见光背景的边缘与纹理的细节恢复性更好,融合图像信噪比高,有效结合了红外及可见光图像的各自优势,与现有传统图像融合与深度学习融合算法相比,本文算法达到了更好的实验效果,在主观视觉感知和客观指标评价中均具有更好的融合性能。     

基于热辐射信息保留的图像融合算法

针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题,提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解,得到各自的高频子带和低频子带,可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数,高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数,最后通过逆NSCT变换重构得到融合图像。实验表明,相较于其它图像融合算法,所提算法能在保留红外图像热辐射信息的同时,保有较好的清晰细节表现能力,并在多项客观评价指标上优于其它算法,具有更好的视觉效果,且在伪彩色变换后有良好的视觉体验,验证了所提算法的有效性和可行性。     

增强融合图像视觉效果的图像融合方法

针对现有图像融合方法得到的融合图像对比度低，图像纹理细节信息保留不充分，图像视觉效果差等问题，论文提出一种新的基于图像对比度增强的红外与可见光图像融合方法，以有效提高融合图像的视觉效果。首先，为提高可见光图像低亮度细节的能见度，在融合之前，提出一种基于引导滤波器的动态范围压缩与线性变换相结合的自适应图像增强方法；其次，采用基于引导滤波器和高斯滤波器相结合的多尺度融合方法，将红外图像信息有效地注入可见光图像中；最后运用非局部均值滤波对融合后的图像进行后处理，以得到效果增强的融合图像。实验结果表明，该方法能够获得较好的图像融合效果，无论从主观视觉还是客观评价指标上，都要优于现有的常用图像融合方法。      

一种像素级多算子红外与可见光图像融合方法

给出了一种新的基于多尺度分解的像素级图像融合方法。该方法利用小波变换对每一图像进行多尺度分解,按照不同的融合规则,采用多种融合算子去构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像。该方法被成功地用于红外与可见光图像的融合处理。实验结果表明该融合方法十分有效,获得的融合图像更符合人们的视觉特性、更有利于机器视觉。     

基于卷积神经网络的红外图像融合算法

红外图像与可见光图像融合的目的是为人类观察或其他计算机视觉任务生成信息更加丰富的图像。本文针对深度学习近年来在计算机视觉领域取得的巨大成功,提出一种基于卷积神经网络的红外与可见光图像融合算法。首先,使用引导滤波和高斯滤波器组成的尺度感知边缘保护滤波器对输入的源图像进行多尺度分解,基础层利用像素强度分布的加权平均融合规则进行融合,细节层借助卷积神经网络对空间细节进行提取融合。实验结果表明,本文算法可以较好的将特定尺度信息进行保存,并减小滤波对边缘细节带来的光晕影响,融合后图像噪声较少,细节呈现的更加自然,并且适合人类视觉感知。     

基于人眼视觉的红外图像增强算法研究

红外图像具有低对比度、噪声大、动态范围大以及视觉效果差等特点。传统的图像增强算法具有各自的局限性,处理后的视觉效果并不理想。为了改善红外图像的视觉效果,增强图像中目标的识别力,研究了基于人眼视觉特性的Retinex算法,结合红外图像的成像机制,将适用于可见光图像的Retinex增强算法应用于红外图像,取得了良好的视觉效果。在此基础上,对算法进行自适应改进,提出了AMSR算法。采用几种传统的图像增强算法和基于Retinex的算法对具有典型特性的红外图像进行增强处理,并计算客观评价指标。通过对实验结果的主观评价和客观指标分析,验证了AMSR增强算法对红外图像具有适用性和优越性。本文的研究工作对红外目标探测和识别具有重要的意义。     

基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于视觉感知特性的红外图像质量评价方法

根据红外成像特点,设计了一种基于视觉感知特性的红外图像质量评价算法。该算法结合人眼视觉和红外图像的结构信息对图像的失真程度进行描述,通过提取图像的边缘特征、对比度特征,然后利用视觉显著模型对特征进行差异融合,从而实现对红外失真图像的质量评测。实现结果表明,本文方法可对失真红外图像进行有效评价,与传统方法相较,此评价指标与人眼主观感知更一致。     

Gradient-based multiresolution image fusion

A novel approach to multiresolution signal-level image fusion is presented for accurately transferring visual information from any number of input image signals, into a single fused image without loss of information or the introduction of distortion. The proposed system uses a "fuse-then-decompose" technique realized through a novel, fusion/decomposition system architecture. In particular, information fusion is performed on a multiresolution gradient map representation domain of image signal information. At each resolution, input images are represented as gradient maps and combined to produce new, fused gradient maps. Fused gradient map signals are processed, using gradient filters derived from high-pass quadrature mirror filters to yield a fused multiresolution pyramid representation. The fused output image is obtained by applying, on the fused pyramid, a reconstruction process that is analogous to that of conventional discrete wavelet transform. This new gradient fusion significantly reduces the amount of distortion artefacts and the loss of contrast information usually observed in fused images obtained from conventional multiresolution fusion schemes. This is because fusion in the gradient map domain significantly improves the reliability of the feature selection and information fusion processes. Fusion performance is evaluated through informal visual inspection and subjective psychometric preference tests, as well as objective fusion performance measurements. Results clearly demonstrate the superiority of this new approach when compared to conventional fusion systems.     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

Fusion of Infrared and Visible Images Based on Infrared Object Extraction

The ideal fused results of infrared and visible images, should contain the important infrared objects, and preserve the visible textural detail information as much as possible. The fused images are more consistent with human visual perception effect. For this purpose, a novel infrared and visible image fusion framework is proposed. Under the guidance of the model, the source images are decomposed into large-scale edge, small-scale textural detail and coarse-scale base level information. Among which, the large-scale edge information contains the main infrared features, on this basis, the infrared image is further segmented into the object, transition and background regions by OTSU multi-threshold segmentation algorithm. In the end, the fused weights for the decomposed sub-information are determined by the segmented results, so that, the infrared object information can be effectively injected into the fused image, and the important visible textural detail information can be preserved as much as possible in the fused image. Experimental results show that, the proposed method can not only highlight the infrared objects, but also preserve the visual information in the visible image as much as possible. The fused results are superior to the commonly used representative fusion methods, both in subjective perception and objective evaluation.     

基于NSST的红外与可见光图像融合算法

针对红外与可见光图像具有不同的特点,提出一种新的基于非下采样剪切波变换（NSST）的红外与可见光图像融合算法.算法首先采用NSST将已配准的红外与可见光图像进行分解,得到低频子带图像和各尺度各方向的高频子带图像;然后对低频子带图像采用一种基于显著图的低频融合规则进行融合,而对高频子带图像的融合,结合人眼视觉特性,采用一种基于改进的区域对比度的融合规则;最后,对融合的低频子带图像和高频子带图像进行NSST逆变换得到融合图像.实验结果表明,该算法能够有效地综合红外与可见光图像中的重要信息,融合效果要优于一般的基于NSCT、NSST的图像融合方法.     

一种自适应的红外与可见光图像融合算法

通过一种自适应算法对红外图像和可见光图像进行了融合,该方法能根据当前环境下的图像特性自适应地调整融合参数。分析了红外与可见光图像的特性,并对已有的小波融合算法进行仿真验证,最终提出了基于小波变换的自适应融合算法,并对其进行了测试。实验结果表明,该方法产生的融合图像更有利于人眼观察,且融合性能指标也有所提升。