Background-Subtraction in Thermal Imagery Using Contour Saliency

We present a new contour-based background-subtraction technique to extract foreground objects in widely varying thermal imagery. Statistical background-subtraction is first used to identify local regions-of-interest. Within each region, input and background gradient information are combined to form a Contour Saliency Map. After thinning, an A ^∗ path-constrained search along watershed boundaries is used to complete and close any broken contour segments. Lastly, the contour image is flood-filled to produce silhouettes. Results of our approach are presented for several difficult thermal sequences and compared to alternate approaches. We quantify the results using manually segmented thermal imagery to demonstrate the robustness of the approach.     

Object's contour detection scheme based on image fusion

Three novel object's contour detection schemes based on image fusion are proposed in this paper. In these schemes an active contour model is applied to detect the object's contour edge. Since an object's contour in an infrared (IR) image is usually clearer than that in a visible image, the convergent active contour in a visible image is improved with that in an IR image. The first contour detection scheme is realized by revising the shape-preserving active contour model. The second scheme minimizes the B-spline L ₂ norm's square of the difference of the B-spline control point vectors in two modal images. Contour tracking and extraction experiments indicate that the first scheme outperforms the second one. Moreover, a third scheme based on the active contour and pixel-level image fusion is proposed for images with incomplete but complementary scene information. An example using contour extraction of a partially hidden tank proves its efficacy.     

使用统计模型的动态红外和可见光图像融合

针对动态红外和可见光图像融合,提出了一种新的基于统计模型的融合方法,即将图像的小波分解系数用广义高斯分布来建模。首先,源图像分别用双树复小波进行分解;然后,采用加权平均融合规则来进行小波系数的融合,其中加权系数由估计的广义高斯分布参数来计算;最后,将融合后的系数重构为一幅图像。融合图像采用熵、互信息和边缘保持度Q^AB/F来进行质量评价,实验结果表明方法的性能优于其他两种动态图像融合方法。     

信息分离和质量引导的红外与可见光图像融合

目的 红外与可见光图像融合的目标是将红外图像与可见光图像的互补信息进行融合,增强源图像中的细节场景信息。然而现有的深度学习方法通常人为定义源图像中需要保留的特征,降低了热目标在融合图像中的显著性。此外,特征的多样性和难解释性限制了融合规则的发展,现有的融合规则难以对源图像的特征进行充分保留。针对这两个问题,本文提出了一种基于特有信息分离和质量引导的红外与可见光图像融合算法。方法 本文提出了基于特有信息分离和质量引导融合策略的红外与可见光图像融合算法。设计基于神经网络的特有信息分离以将源图像客观地分解为共有信息和特有信息,对分解出的两部分分别使用特定的融合策略;设计权重编码器以学习质量引导的融合策略,将衡量融合图像质量的指标应用于提升融合策略的性能,权重编码器依据提取的特有信息生成对应权重。结果 实验在公开数据集RoadScene上与6种领先的红外与可见光图像融合算法进行了对比。此外,基于质量引导的融合策略也与4种常见的融合策略进行了比较。定性结果表明,本文算法使融合图像具备更显著的热目标、更丰富的场景信息和更多的信息量。在熵、标准差、差异相关和、互信息及相关系数等指标上,相较于对比算法中的最优结果分别提升了0.508%、7.347%、14.849%、9.927%和1.281%。结论 与具有领先水平的红外与可见光算法以及现有的融合策略相比,本文融合算法基于特有信息分离和质量引导,融合结果具有更丰富的场景信息、更强的对比度,视觉效果更符合人眼的视觉特征。     

基于语义分割的红外和可见光图像融合

红外图像即使在低光照条件下,也能根据热辐射的差异将目标与背景区分开来,而可见光图像具有高空间分辨率的纹理细节,此外,红外和可见光图像都含有相应的语义信息.因此,红外与可见光图像融合,需要既保留红外图像的辐射信息,也保留可见光图像的纹理细节,同时,也要反映出二者的语义信息.而语义分割可以将图像转换为带有语义的掩膜,提取源图像的语义信息.提出了一种基于语义分割的红外和可见光图像融合方法,能够克服现有融合方法不能针对性地提取不同区域特有信息的缺点.使用生成式对抗神经网络,并针对源图像的不同区域设计了2种不同的损失函数,以提高融合图像的质量.首先通过语义分割得到含有红外图像目标区域语义信息的掩模,并利用掩模将红外和可见光图像分割为红外图像目标区域、红外图像背景区域、可见光图像目标区域和可见光图像背景区域;然后对目标区域和背景区域分别采用不同的损失函数得到目标区域和背景区域的融合图像;最后将2幅融合图像结合起来得到最终融合图像.实验表明,融合结果目标区域对比度更高,背景区域纹理细节更丰富,提出的方法取得了较好的融合效果.     

基于混合模型驱动的红外与可见光图像融合

为了解决红外与可见光图像融合中显著特征不突出、图像对比度低的问题,提出一种混合模型驱动的融合算法.首先,采用潜在低秩表示模型分别提取红外与可见光图像的基础子带、显著子带及稀疏噪声子带;其次,采用非下采样剪切波变换模型将基础子带分解为低频系数和高频系数,对低频系数采用字典学习和稀疏表示进行精确拟合,对高频系数采用局部窗口结合逻辑加权进行选择;再次,显著子带采用区域能量比阈值自适应加权法进行融合;最后,对融合后的低频系数和高频系数进行一级重建,得到融合基础子带,舍弃稀疏噪声子带,再结合融合显著子带进行二级重建,得到融合图像.实验结果表明:所提出算法能够得到蕴含丰富信息且较为清晰的融合图像,具有可行性;融合结果的对比度较高,目标轮廓显著,能够提升场景的辨识度,具有有效性.     

BEMD分解和W变换相结合的红外与可见光图像融合

目的 针对传统的基于多尺度变换的图像融合算法的不足,提出了一种基于W变换和2维经验模态分解（BEMD）的红外与可见光图像融合算法。方法 首先,为了更有效地提取图像的高频信息,抑制BEMD中存在的模态混叠现象,提出了一种基于W变换和BEMD的新的多尺度分解算法（简称W-BEMD）;然后,利用W-BEMD对源图像进行塔式分解,获得图像的高频分量WIMFs和残差分量WR;接着,对源图像对应的WIMFs分量和WR分量分别采用基于局部区域方差选择与加权和基于局部区域能量选择与加权的融合规则进行融合,得到融合图像的W-BEMD分解;最后,通过W-BEMD逆变换得到最终融合图像。W-BEMD分解算法的主要思想是通过W变换递归地将BEMD分解过程中每层所得低频分量中滞留的高频成分提取出来并叠加到相应的高频分量中,实现更有效的图像多尺度分解。结果 对比实验结果表明,本文方法得到的融合图像视觉效果更佳,既有突出的红外目标,又有清晰的可见光背景细节,而且在平均梯度（AG）、空间频率（SF）、互信息（MI）3个客观评价指标上也有显著优势。结论 本文提出了一种新的红外与可见光图像融合算法,实验结果表明,该算法具有较好的融合效果,在保留可见光图像中的细节信息和突出红外图像中的目标信息方面更加有效。     

FusionGAN: A generative adversarial network for infrared and visible image fusion

Infrared images can distinguish targets from their backgrounds on the basis of difference in thermal radiation, which works well at all day/night time and under all weather conditions. By contrast, visible images can provide texture details with high spatial resolution and definition in a manner consistent with the human visual system. This paper proposes a novel method to fuse these two types of information using a generative adversarial network, termed as FusionGAN. Our method establishes an adversarial game between a generator and a discriminator, where the generator aims to generate a fused image with major infrared intensities together with additional visible gradients, and the discriminator aims to force the fused image to have more details existing in visible images. This enables that the final fused image simultaneously keeps the thermal radiation in an infrared image and the textures in a visible image. In addition, our FusionGAN is an end-to-end model, avoiding manually designing complicated activity level measurements and fusion rules as in traditional methods. Experiments on public datasets demonstrate the superiority of our strategy over state-of-the-arts, where our results look like sharpened infrared images with clear highlighted targets and abundant details. Moreover, we also generalize our FusionGAN to fuse images with different resolutions, say a low-resolution infrared image and a high-resolution visible image. Extensive results demonstrate that our strategy can generate clear and clean fused images which do not suffer from noise caused by upsampling of infrared information.     

基于独立成分分析和IHS变换域的灰度可见光和红外图像融合

针对灰度可见光和红外图像的融合图像缺乏色彩信息、图像的高阶信息在变换域中统计独立性不足的缺陷, 提出一种基于独立分量分析和IHS (亮度-色度-饱和度) 变换域的融合方法. 该方法利用IHS 变换域能够有效分离图像亮度分量和彩色信息的优势, 对灰度可见光图像建立灰度图像的彩色传递模型. 利用各分量的独立性进行基于独立分量分析和IHS 变换域的图像融合, 并得到最终的彩色融合图像, 使融合图像更加符合人类视觉要求. 仿真实验验证了所提出算法的有效性.

     

红外与可见光图像渐进融合深度网络

目的 红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力,很多基于深度学习的融合方法被提出,在深度特征空间进行图像融合,并取得了良好的效果。此外,受传统基于多尺度分解的融合方法的启发,不同尺度的特征有利于保留源图像的更多信息。基于此,提出了一种新颖的渐进式红外与可见光图像融合框架(progressive fusion, ProFuse)。方法 该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,既对包含全局信息的高层特征和包含更多细节的低层特征进行融合,也在原始尺寸特征(保持更多细节)和其他更小尺寸特征(保持语义信息)上进行融合,最终逐层重建融合图像。结果 实验在TNO(Toegepast Natuurwetenschappelijk Onderzoek)和INO(Institut National D’optique)数据集上与其他6种方法进行比较,在选择的6项客观指标上,本文方法在互信息(mutual Information, MI)上相比FusionGAN(generative adversarial ...     

多路径卷积神经网络的轮廓感知

目的 引入视觉信息流的整体和局部处理机制,提出了一种多路径卷积神经网络的轮廓感知新方法。方法 利用高斯金字塔尺度分解获得低分辨率子图,用来表征视觉信息中的整体轮廓;通过2维高斯导函数模拟经典感受野的方向选择性,获得描述细节特征的边界响应子图;构建多路径卷积神经网络,利用具有稀疏编码特性的子网络（Sparse-Net）实现对整体轮廓的快速检测;利用具有冗余度增强编码特性的子网络（Redundancy-Net）实现对局部细节特征提取;对上述多路径卷积神经网络响应进行融合编码,以实现轮廓响应的整体感知和局部检测融合,获取轮廓的精细化感知结果。结果 以美国伯克利大学计算机视觉组提供的数据集BSDS500图库为实验对象,在GTX1080Ti环境下本文Sparse-Net对整体轮廓的检测速度达到42幅/s,为HFL方法1.2幅/s的35倍;而Sparse-Net和Redundancy-Net融合后的检测指标数据集尺度上最优（ODS）、图片尺度上最优（OIS）、平均精度（AP）分别为0.806、0.824、0.846,优于HED （holistically-nested edge detection）方法和RCF （richer convolution features for edge detection）方法,结果表明本文方法能有效突出主体轮廓并抑制纹理背景。结论 多路径卷积神经网络的轮廓感知应用,将有助于进一步理解视觉感知机制,并对减弱卷积神经网络的黑盒特性有着重要的意义。     

Multiscale Fusion of Visible and Thermal IR Images for Illumination-Invariant Face Recognition

This paper describes a new software-based registration and fusion of visible and thermal infrared (IR) image data for face recognition in challenging operating environments that involve illumination variations. The combined use of visible and thermal IR imaging sensors offers a viable means for improving the performance of face recognition techniques based on a single imaging modality. Despite successes in indoor access control applications, imaging in the visible spectrum demonstrates difficulties in recognizing the faces in varying illumination conditions. Thermal IR sensors measure energy radiations from the object, which is less sensitive to illumination changes, and are even operable in darkness. However, thermal images do not provide high-resolution data. Data fusion of visible and thermal images can produce face images robust to illumination variations. However, thermal face images with eyeglasses may fail to provide useful information around the eyes since glass blocks a large portion of thermal energy. In this paper, eyeglass regions are detected using an ellipse fitting method, and replaced with eye template patterns to preserve the details useful for face recognition in the fused image. Software registration of images replaces a special-purpose imaging sensor assembly and produces co-registered image pairs at a reasonable cost for large-scale deployment. Face recognition techniques using visible, thermal IR, and data-fused visible-thermal images are compared using a commercial face recognition software (FaceIt^®) and two visible-thermal face image databases (the NIST/Equinox and the UTK-IRIS databases). The proposed multiscale data-fusion technique improved the recognition accuracy under a wide range of illumination changes. Experimental results showed that the eyeglass replacement increased the number of correct first match subjects by 85% (NIST/Equinox) and 67% (UTK-IRIS).     

基于NSST 域隐马尔可夫树模型的SAR 和灰度可见光图像融合

针对合成孔径雷达(SAR) 图像和可见光图像融合问题, 提出一种基于非下采样剪切波变换域的隐马尔可夫树模型的图像融合方法(NHMM), 图像经过非下采样剪切波变换(NSST) 分解形成一个低频子带和多个高频子带.在NSST 域中, 对低频系数采用基于标准差的融合策略; 针对高频子带, 建立NSST 域隐马尔可夫树(HMT) 模型对高频系数进行训练, 并根据梯度能量对训练后的高频系数进行选择, 最后通过NSST 逆变换得到融合图像. 实验结果表明, 所提出的方法可提高图像的融合质量, 并能降低图像噪声, 具有一定的有效性和实用性.

     

Novel infrared and visible image fusion method based on independent component analysis

The goal of infrared (IR) and visible image fusion is for the fused image to contain IR object features from the IR image and retain the visual details provided by the visible image. The disadvantage of traditional fusion method based on independent component analysis (ICA) is that the primary feature information that describes the IR objects and the secondary feature information in the IR image are fused into the fused image. Secondary feature information can depress the visual effect of the fused image. A novel ICA-based IR and visible image fusion scheme is proposed in this paper. ICA is employed to extract features from the infrared image, and then the primary and secondary features are distinguished by the kurtosis information of the ICA base coefficients. The secondary features of the IR image are discarded during fusion. The fused image is obtained by fusing primary features into the visible image. Experimental results show that the proposed method can provide better perception effect.     

图像分解与色彩先验下的多曝光图像融合

目的 多曝光图像融合（multi-exposure fusion，MEF）是利用一组不同曝光度的低动态范围（low dynamic range，LDR）图像进行合成，得到类似高动态范围（high dynamic range，HDR）图像视觉效果图像的过程。传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题。为了充分综合待融合图像的有效信息，提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法。方法 使用快速导向滤波进行图像分解，分离出细节层对其进行增强处理，保留更多的细节信息，同时减少融合图像的光晕伪影；根据色彩先验，利用亮度和饱和度之差判断图像曝光程度，并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重，同时保障融合图像的亮度和对比度；利用导向滤波对权重图进行优化，抑制噪声，增加像素之间的相关性，提升融合图像的视觉效果。结果 在24组多曝光图像序列上进行实验，从主观评价角度来看，该融合方法能够提升图像整体对比度及色彩饱和度，并兼顾过曝光区域和欠曝光区域的细节提升。从客观评价标准分析，采用两种不同的多曝光图像序列融合结果的质量评估算法，评价结果显示融合性能均有所提高，对应的指标均值分别为0.982和0.970。与其他对比算法的数据结果比较，在两种不同的结构相似性指标上均有所提升，平均提升分别为1.2%和1.1%。结论 通过主观和客观评价，证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著，具有良好的融合性能。     

基于CNN与直方图规定化的红外与低照度可见光图像融合

针对红外与低照度可见光图像融合时,细微的纹理信息不能有效地保留的问题,提出了基于CNN与直方图规定化的红外与低照度可见光图像融合算法。首先,通过基于卷积神经网络的融合方法得到融合后的图像;其次,计算融合后图像的灰度直方图,通过直方图规定化将可见光图像的直方图映射到融合图像的直方图的区间上,以增强图像的纹理信息;最后,将直方图规定化的图像与红外图像通过卷积神经网络的方法进行融合,得到融合图像。实验结果表明,本文提出的算法在视觉效果和客观评价上均优于基于卷积神经网络的融合方法。     

多方向Laplacian能量和与tetrolet变换的图像融合

目的 红外与可见光图像融合算法大部分可以达到认知场景的目的,但是无法对场景中的细节特征进行更加细致的刻画。为进一步提高场景辨识度,提出一种基于tetrolet变换的多尺度几何变换图像融合算法。方法 首先,将红外与可见光图像映射到tetrolet变换域,并将二者分解为低频系数和高频系数。然后,对低频系数,将区域能量理论与传统的加权法相结合,利用区域能量的多变性和区域像素的相关性,自适应地选择加权系数进行融合;对高频系数,利用改进的多方向拉普拉斯算子方法计算拉普拉斯能量和,再引入区域平滑度为阈值设定高频系数融合规则。最后,将融合所得新的低频和高频系数进行图像重建得到融合结果。结果 在kaptein、street和road等3组红外与可见光图像上,与轮廓波变换（contourlet transformation,CL）、离散小波变换（discrete wavelet transformation,DWT）和非下采样轮廓波变换（nonsubsampled contourlet transformation,NSCT）等3种方法的融合结果进行比较,主观评判上,本文算法融合结果在背景、目标物以及细节体现方面均优于其他3种方法;客观指标上,本文算法相较于其他3种方法,运行时间较NSCT方法提升了0.37 s,平均梯度（average gradient,AvG）值和空间频率（spatial frequency,SF）值均有大幅提高,提高幅度最大为5.42和2.75,峰值信噪比（peak signal to noise ratio,PSNR）值、信息熵（information entropy,IE）值和结构相似性（structural similarity index,SSIM）值分别提高0.25、0.12和0.19。结论 本文提出的红外与可见光图像融合算法改善了融合图像的细节刻画,使观察者对场景的理解能力有所提升。     

基于图像分层树的图像语义分割方法

针对传统语义分割模型缺乏空间结构信息,无法准确地描述对象轮廓的问题,提出了一种基于图像分层树的图像语义分割方法。分层树模型采用结构森林方法生成轮廓模型,为防止过度分割,运用超度量轮廓图算法得到多尺度轮廓图,然后利用支持向量机训练多尺度轮廓图生成图像分层树,通过随机森林精炼分层树,最终输出图像语义分割结果。在测试实验中,像素精确度达到82.1%,相比区域选择方法(Selecting Regions)提升了2.7%。并在较难区分的树和山脉的预测精确度上,相比层次标记方法(Stacked Labeling)分别提升了16%,25%,具有更高的稳定性。实验结果表明,在复杂的室外环境下,对图像语义分割的精确度、稳定性和速率均有明显改善。     

基于FRC框架的红外与可见光图像融合方法

像素级图像融合方案多采用全局统一的融合规则,融合过程易导致区域层级信息丢失.对此,提出一种基于模糊区域特征(FRC)框架的红外与可见光图像融合方法.首先,制定一种模糊区域规则,该规则依据区域特征的模糊性质,对源图像依次施行区域分割、模糊判定和解模糊,全局图像的融合转化为3种不同属性区域的融合;然后,分别对目标区域、过渡区域和背景区域采用期望值最大(EM)、加权平均融合、主成分分析(PCA)的融合策略进行融合;最后,融合后的区域图重构得到最终的融合图像.为验证FRC框架保护区域特征的有效性,还提出一种区域特征一致性的度量指标(RC^{\rm ABF}),经主观视觉与客观指标检验,融合图像在保持红外目标显著性的同时,具有清晰的背景细节,优于现有的红外与可见光图像融合方法,宜应用于红外目标的监控与分析.     

Multi-focus image fusion with deep residual learning and focus property detection

Multi-focus image fusion methods can be mainly divided into two categories: transform domain methods and spatial domain methods. Recent emerged deep learning (DL)-based methods actually satisfy this taxonomy as well. In this paper, we propose a novel DL-based multi-focus image fusion method that can combine the complementary advantages of transform domain methods and spatial domain methods. Specifically, a residual architecture that includes a multi-scale feature extraction module and a dual-attention module is designed as the basic unit of a deep convolutional network, which is firstly used to obtain an initial fused image from the source images. Then, the trained network is further employed to extract features from the initial fused image and the source images for a similarity comparison, aiming to detect the focus property of each source pixel. The final fused image is obtained by selecting corresponding pixels from the source images and the initial fused image according to the focus property map. Experimental results show that the proposed method can effectively preserve the original focus information from the source images and prevent visual artifacts around the boundary regions, leading to more competitive qualitative and quantitative performance when compared with the state-of-the-art fusion methods.